Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Data Transfer and Management through the IKAROS framework: Adopting an asynchronous non-blocking event driven approach to implement the Elastic-Transfer's IMAP client-server connection
KTH, School of Information and Communication Technology (ICT), Communication Systems, CoS, Radio Systems Laboratory (RS Lab). (CCS)
2015 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Given the current state of input/output (I/O) and storage devices in petascale systems, incremental solutions would be ineffective when implemented in exascale environments. According to the "The International Exascale Software Roadmap", by Dongarra, et al. existing I/O architectures are not sufficiently scalable, especially because current shared file systems have limitations when used in large-scale environments. These limitations are:

  • Bandwidth does not scale economically to large-scale systems,
  • I/O traffic on the high speed network can impact on and be influenced by other unrelated jobs, and
  • I/O traffic on the storage server can impact on and be influenced by other unrelated jobs.

Future applications on exascale computers will require I/O bandwidth proportional to their computational capabilities. To avoid these limitations C. Filippidis, C. Markou, and Y. Cotronis proposed the IKAROS framework.

In this thesis project, the capabilities of the publicly available elastic-transfer (eT) module which was directly derived from the IKAROS, will be expanded.

The eT uses Google’s Gmail service as an utility for efficient meta-data management. Gmail is based on the IMAP protocol, and the existing version of the eT framework implements the Internet Message Access Protocol (IMAP) client-server connection through the ‘‘Inbox’’ module from the Node Package Manager (NPM) of the Node.js programming language. This module was used as a proof of concept, but in a production environment this implementation undermines the system’s scalability and there is an inefficient allocation of the system’s resources when a large number of concurrent requests arrive at the eT′s meta-data server (MDS) at the same time. This thesis solves this problem by adopting an asynchronous non-blocking event driven approach to implement the IMAP client-server connection. This was done by integrating and modifying the ‘‘Imap’’ NPM module from the NPM repository to suit the eT framework.

Additionally, since the JavaScript Object Notation (JSON) format has become one of the most widespread data-interchange formats, eT′s meta-data scheme is appropriately modified to make the system’s meta-data easily parsed as JSON objects. This feature creates a framework with wider compatibility and interoperability with external systems.

The evaluation and operational behavior of the new module was tested through a set of data transfer experiments over a wide area network environment. These experiments were performed to ensure that the changes in the system’s architecture did not affected its performance.

Abstract [sv]

Givet det nuvarande läget för input/output (I/O) och lagringsenheter för system i peta-skala, skulle inkrementella lösningar bli ineffektiva om de implementerades i exa-skalamiljöer. Enligt ”The International Exascale Software Roadmap”, av Dongarra et al., är nuvarande I/O-arkitekturer inte tillräckligt skalbara, särskilt eftersom nuvarande delade filsystem har begränsningar när de används i storskaliga miljöer. Dessa begränsningar är:

  • Bandbredd skalar inte på ett ekonomiskt sätt i storskaliga system,
  • I/O-trafik på höghastighetsnätverk kan ha påverkan på och blir påverkad av andra orelaterade jobb, och
  • I/O-trafik på lagringsservern kan ha påverkan på och bli påverkad av andra orelaterade jobb.

Framtida applikationer på exa-skaladatorer kommer kräva I/O-bandbredd proportionellt till deras beräkningskapacitet. För att undvika dessa begränsningar föreslog C. Filippidis, C. Markou och Y. Cotronis ramverket IKAROS.

I detta examensarbete utökas funktionaliteten hos den publikt tillgängliga modulen elastic-transfer (eT) som framtagits utifrån IKAROS.

Den befintliga versionen av eT-ramverket implementerar Internet Message Access Protocol (IMAP) klient-serverkommunikation genom modulen ”Inbox” från Node Package Manager (NPM) ur Node.js programmeringsspråk. Denna modul användes som ett koncepttest, men i en verklig miljö så underminerar denna implementation systemets skalbarhet när ett stort antal värdar ansluter till systemet. Varje klient begär individuellt information relaterad till systemets metadata från IMAP-servern, vilket leder till en ineffektiv allokering av systemets resurser när ett stort antal värdar är samtidigt anslutna till eT-ramverket. Denna uppsats löser problemet genom att använda ett asynkront, icke-blockerande och händelsedrivet tillvägagångssätt för att implementera en IMAP klient-serveranslutning. Detta görs genom att integrera och modifiera NPM:s ”Imap”-modul, tagen från NPM:s katalog, så att den passar eT-ramverket.

Eftersom formatet JavaScript Object Notation (JSON) har blivit ett av de mest spridda formaten för datautbyte så modifieras även eT:s metadata-struktur för att göra systemets metadata enkelt att omvandla till JSON-objekt. Denna funktionalitet ger ett bredare kompatibilitet och interoperabilitet med externa system.

Utvärdering och tester av den nya modulens operationella beteende utfördes genom en serie dataöverföringsexperiment i en wide area network-miljö. Dessa experiment genomfördes för att få bekräftat att förändringarna i systemets arkitektur inte påverkade dess prestanda.

Place, publisher, year, edition, pages
2015. , xi,83 p.
Series
TRITA-ICT-EX, 2015:29
Keyword [en]
parallel file systems, distributed file systems, IKAROS file system, elastic-transfer, grid computing, storage systems, I/O limitations, exascale, low power consumption, low cost devices, synchronous, blocking, asynchronous, non-blocking, event-driven, JSON.
Keyword [sv]
parallella filsystem, distribuerade filsystem, IKAROS filsystem, elastic-transfer, grid computing, lagringssystem, I/O-begränsningar, exa-skala, låg energiförbrukning, lågkostnadsenheter, synkron, blockerande, asynkron, icke-blockerande, händelsedriven, JSON
National Category
Communication Systems
Identifiers
URN: urn:nbn:se:kth:diva-166740OAI: oai:DiVA.org:kth-166740DiVA: diva2:812044
Presentation
2015-05-06, Seminar room Grimeton, Isafjordsgatan 22, Kista, 16:00 (English)
Supervisors
Examiners
Available from: 2015-05-21 Created: 2015-05-14 Last updated: 2015-05-21Bibliographically approved

Open Access in DiVA

fulltext(2117 kB)189 downloads
File information
File name FULLTEXT01.pdfFile size 2117 kBChecksum SHA-512
89c208c190e602c203e5ab3c640e4313dbd6ddc23a2d9ec021e8489bfdf48dcbafcb3afdf0124e4486858611251cfd83984dfe21e88cbdea99783b2e361841cf
Type fulltextMimetype application/pdf

Search in DiVA

By author/editor
Gkikas, Nikolaos
By organisation
Radio Systems Laboratory (RS Lab)
Communication Systems

Search outside of DiVA

GoogleGoogle Scholar
Total: 189 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 237 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf