Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Docker Orchestration for Scalable Tasks and Services
KTH, School of Information and Communication Technology (ICT).
2015 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Distributed services and tasks, i.e. large-scale data processing (Big Data), in the cloud became popular in recent years. With it came the possibility, to scale infrastructure according to the current demand, which promises to reduce costs. However, running and maintaining a company internal cloud, which is extended to one or more public clouds (hybrid cloud) is a complex challenge. In the recent years, Docker containers became very popular with the promise to solve compatibility issues in hybrid clouds. Packaging software with their dependencies inside Docker containers, promises less incompatibility issues. Combining hybrid clouds and Docker Containers, leads to a more cost effective, reliable and scalable data processing in the cloud.

The problem solved in this thesis is: how to manage hybrid clouds, which run scalable distributed tasks or services. Fluctuating demand requires adding or removing computers from the current infrastructure, and changes dependencies, which are necessary to execute tasks or services. The challenge is, to provide all dependencies for a reliable execution of tasks or services. Furthermore, distributed tasks and services need to have the ability to communicate even on a hybrid infrastructure.

The approach of this thesis is, to prototype three different Docker integrations for Activeeon’s ProActive, a hybrid cloud middleware. Further, each of the prototypes is evaluated, and one prototype is improved to an early stage product. The software-defined networks weave and flannel are benchmarked, in their impact on the network performance. How Docker containers affect the CPU, memory and disk performance is analyzed through literature review. Finally, the distributed large-scale data processing software Apache Flink is benchmarked inside containers, to measure the impact of containerizing a distributed large-scale data processing software.

The results of this thesis show that Docker container orchestration is feasible with ProActive and software defined networks (weave and flannel). While both show impact on the pure network performance, the Apache Flink benchmark did not reveal any impact of using containers and software defined networks. Therefore, Docker containers together with orchestration through ProActive are able to form a large-scale data processing platform.

Abstract [sv]

Distributed Services eller Tasks, exempelvis storskalig data (Big data), i moln-lösningar har blivit populärt under de senaste åren. Med detta följer möjligheten att skala om infrastrukturen till den rådande efterfrågan, med syfte att minska kostnader. Men att köra och underhålla ett företags interna moln, som är kopplat till ett eller fler offentliga moln (Hybrid-moln) är en komplex utmaning. Under de senaste åren har Dockers blivit mycket populära, detta med syfte att lösa kompabilitets problem i hybrid-moln. Att paketera mjukvara med dess delar inuti en Docker medför färre kompabilitetsproblem. Att kombinera hybrid-moln och Dockers leder till en mer kostnadseffektiv, pålitlig och skalbar datahantering i molnet.

Problemet som har lösts i denna uppsatts är: Hur kan man hantera hybrid-moln som kör Distributed Services och Tasks. Varierande efterfrågan kräver att man lägger till eller tar bort datorer från den nuvarande nätverk, samt att man ändrar beroendeförhållanden vilka är nödvändiga för att utföra uppgifter eller service. Utmaningen ligger i att tillhandahålla alla delar för ett säkert genomförande av uppgiften eller servicen. Vidare krävs även att Distributed Services och Tasks har möjlighet att kommunicera även om det är i en hybrid-molns lösning.

Syftet med denna uppsats är att skapa tre olika prototyper av Docker-behållare för Activeeon´s ProActive, en hybrid-molns middleware. Vidare är varje prototyp utvärderad, en av prototyperna är även vidareutvecklad till ett tidigt produktstadie. Det mjukvarudefinerade nätverken weave och flannel är benchmarkade i deras påverkan på nätverket. Hur Dockers påverkar CPU:n, minnet och diskeffekten är analyserat i en litteraturstudie. Slutligen är mjukvaran Apache Flink Benchmarkad inuti Dockers-behållarna, detta för att kunna mäta effekten av en paketerad och distribuerad storskalig datahanterings mjukvara.

Resultatet av denna studie visar att Dockers-behållarens samansättning är passande med ProActive och mjukvarunätverk (Weave och Flannel). Båda visar påverkan på den rena nätverkseffektiviteten men Apache Flink benchmarkingen visade inte någon påverkan av att använda behållare och mjukvarudefinerade nätverk. Därav ger samansättning av Dockers-behållare genom ProActive möjligheten att skapa en plattform att processa storskalig data.

Place, publisher, year, edition, pages
2015. , 64 p.
Series
TRITA-ICT-EX, 2015:212
National Category
Computer and Information Science
Identifiers
URN: urn:nbn:se:kth:diva-187015OAI: oai:DiVA.org:kth-187015DiVA: diva2:928545
Examiners
Available from: 2016-05-16 Created: 2016-05-16 Last updated: 2016-05-16Bibliographically approved

Open Access in DiVA

fulltext(1279 kB)136 downloads
File information
File name FULLTEXT01.pdfFile size 1279 kBChecksum SHA-512
19571aef05ded629f23738ceb76f74458c8108eb9caf1c65b4ecf1d239b2db0661b41c4acdc81bc3d746adef16cea9b1eb4547537ba1c842748e4dc583c7d79e
Type fulltextMimetype application/pdf

By organisation
School of Information and Communication Technology (ICT)
Computer and Information Science

Search outside of DiVA

GoogleGoogle Scholar
Total: 136 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 239 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf