Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Evaluating the cloud: On benchmarking and choosing a cloud
KTH, School of Computer Science and Communication (CSC).
2013 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

The introduction of the cloud changes the way we look upon data and computations. It is no longer clear what "our system" is or if data is really "our data" as it isn’t stored on our own disks and computations are not performed on our own processors. While this shift brings many benefits, there are also problems. Questions regarding performance variation, security, loss of control, data and code lock-in etcetera are still a concern. As such, any cloud deployment carries a certain risk. In order to better understand this risk customers have to evaluate various cloud providers from a multitude of angles, which is a time consuming and difficult task.

In this report we show how a public cloud can be evaluated and benchmarked for a number of key parameters by first assessing how a number of common workloads fare in a cloud setting and then by performing a technical benchmark of Windows Azure and Amazon EC2. Discussions regarding the non-technical aspects to a cloud are also provided. Lastly, a real world situation in which a medium sized organization chose a cloud provider is examined and analyzed.

One of the key findings from the technical evaluation, aside from the actual benchmarking results, was that it is not possible to perform a time and effort efficient evaluation of a cloud platform. We find that as the task of cloud evaluation is so complex and costly, most cloud customers are likely to choose platform based on non-technical factors only, such as costs and general preferences. We believe this to be a potentially harmful development. Regarding workloads, we found that security-critical and computationally intensive applications don’t do well in a cloud setting. However, applications which utilize scalability or need to be geographically spread can find the cloud to suit their needs very well. Generally, workloads that are of a sensitive nature or requires serious performance should avoid the cloud for now.

In conclusion, we believe that much work needs to be done in order to ease the process of evaluating and choosing cloud platform. There is a lack of openness and standardization which is hurting both business and customers. Considering the many benefits that cloud computing brings, such as scalability and low price; we also think that if these issues were properly dealt with, cloud computing has the potential to truly transform the way we consume and develop programs and data to the better.

Abstract [sv]

Introduktionen av molnet förändrar hur vi ser på data och beräkningar. Det är inte längre tydligt vad som är "vårt system" eller om data verkligen är "vår data" då den inte ligger på våra diskar och beräkningar inte utförs i egna processorer. Även om detta skifte för med sig många fördelar, så finns där också nackdelar. Frågor rörande variation i prestanda, säkerhet, tappad kontroll och att data och kod låses in förblir orosmoment. Som sådant bär varje molndeployment en viss risk. För att bättre förstå den risken måste kunder evaluera diverse tillhandahållare utifrån en rad olika vinklar vilket är ett tidsödande och svårt arbete.

I den här rapporten visar vi hur ett publikt moln kan utvärderas för ett antal nyckelparametrar genom att först bedöma hur ett antal vanliga arbetsbördor klarar sig i en molnmiljö och sedan genom att utföra en teknisk utvärdering av Windows Azure och Amazon EC2. Diskussioner rörande de icke-tekniska aspekterna av ett moln ges också. Slutligen studerar vi ett verkligt exempel på hur processen av att välja en molnplattform ofta går till, i form av en fallstudie.

En av de viktigaste upptäckterna från den tekniska utvärderingen var, förutom själva datan, att det inte är möjligt att genomföra en tidseffektiv, och inom rimlig ansträngning, utvärdering av en molnplattform. Vi kommer fram till att eftersom uppgiften att utvärdera en plattform är så komplex och tidskrävande, kommer de flesta kunder sannolikt att välja plattform utifrån icke-tekniska parametrar bara, så som pris och allmänna preferenser. Vi anser att det är en potentiellt skadlig utveckling. Rörande arbetsbördor fann vi att säkerhetskritiska och beräkningsintensiva applikationer inte klarar sig bra i en molnmiljö. Däremot fann vi också att applikationer som kräver skalbarhet eller måste vara geografiskt sprida kan finna att molnet fyller deras krav mycket väl. Rent generellt så bör arbetsbördor som är av känslig natur eller kräver hög prestanda undvika molnet som det är just nu.

Sammanfattningsvis tror vi att mycket arbete till behövs för att underlätta processen av att utvärdera och välja molnlösning. Det finns en brist på öppenhet och standardisering som skadar både branschen och kunderna. Med molnets alla goda egenskaper i sinne, så som skalbarhet och låga pris; tror vi dock att om dessa problem togs itu med på allvar skulle molnet kunna nå sin fulla potential och i grunden förändra hur vi konsumerar och utvecklar program och data till det bättre.

Place, publisher, year, edition, pages
2013.
National Category
Computer Science
Identifiers
URN: urn:nbn:se:kth:diva-142432OAI: oai:DiVA.org:kth-142432DiVA: diva2:700602
Educational program
Master of Science in Engineering - Computer Science and Technology
Supervisors
Examiners
Available from: 2014-03-11 Created: 2014-03-04 Last updated: 2014-03-11Bibliographically approved

Open Access in DiVA

fulltext(723 kB)204 downloads
File information
File name FULLTEXT01.pdfFile size 723 kBChecksum SHA-512
46639e48f4a6f49b3e336eab75b864241c39491cea88a5536b995b9a1eb4474ff8ab7dc90e856c8cf29455f2915c0d8df17eec3f0013d7abdbd2d88b36723532
Type fulltextMimetype application/pdf

By organisation
School of Computer Science and Communication (CSC)
Computer Science

Search outside of DiVA

GoogleGoogle Scholar
Total: 204 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 399 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf