Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Secure data streaming into HopsWorks from occasionally connected mobile devices
KTH, School of Electrical Engineering and Computer Science (EECS).
2018 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

The number of devices that are connected to the internet has recently surpassed the number of human beings living on our planet. These devices are capable of generating a tremendous amount of data. Organizations, researchers and companies are faced with unique challenges when collecting, storing and analysing the data for the benefit and progress of the human kind. To address such challenges, cutting-edge Big Data platforms are needed like the Hadoop Open Platform-as-a-Service (Hops) ecosystem which is the resulting work of many years of continuous research conducted at RISE SICS in collaboration with KTH Royal Institute of Technology. This master thesis provides a means for ingesting streams of data generated from internet enabled devices into Hops in a secure and reliable way for storage and further stream processing and data analysis. In order to accomplish data ingestion, the HopsWorks component of Hops has been extended with an API where authenticated devices can stream data to. Furthermore, as a use case scenario the hopsworks-android-client library has been built in the Android platform for facilitating the secure and reliable data collection of streams of records from any Android application. The library has also been used as a testbed for performing system reliability and system end-to-end performance experiments for the developed system extension. The results show that this approach works and since the system is based on the well defined and heavily used HTTPS protocol it enables any interested stakeholder to collect data from mobile or IoT devices into Hops in order to not only utilize all the functional features that Hops offers but also to leverage its desired system properties such as high-availability, high-performance and scalability.

Abstract [sv]

Antalet enheter som är anslutna till internet har nyligen överträffat antalet människor som lever på vår planet. Dessa enheter kan generera enorma mängd data. Organisationer, forskare och företag står inför unika utmaningar när de samlar, lagrar och analyserar datan till förmån och framsteg av mänskligheten. För att ta itu med sådana utmaningar behövs allra senaste Big Data-plattformar som Hadoop Open Platform-as-a-Service (Hops) ekosystem, som är resultatet av många års kontinuerlig forskning som utförts på RISE SICS i samarbete med KTH.

Denna master uppsats ger ett medel för att införa strömmar av data som genereras från internetaktiverade enheter till Hops på ett säkert och pålitligt sätt för lagring och vidare streambehandling och dataanalys. För att uppnå datainsamling har HopsWorks-komponenten i Hops utökats med ett API där autentiserade enheter kan strömma data till. Dessutom är hopsworks-android-client-biblioteket som ett användarscenario byggt på Android-plattformen för att underlätta säker och pålitlig datainsamling av strömmar av poster från alla Android-applikationer. Biblioteket har också använts som testbädd för att utföra systemets tillförlitlighet och system-end-to-end prestationsexperiment för den utvecklade systemtillägget.

Resultaten visar att detta tillvägagångssätt fungerar och, eftersom systemet är baserat på det väldefinierade och kraftigt använt HTTPS-protokollet, gör det möjligt för alla intresserade intressenter att samla in data från mobila eller IoT-enheter till Hops för att inte bara utnyttja alla funktionella funktioner somHops ger, men ocksåatt utnyttja de önskade systemegenskaperna, såsom hög tillgänglighet, hög prestanda och skalbarhet.

Place, publisher, year, edition, pages
2018. , p. 52
Series
TRITA-EECS-EX ; 2018:20
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-248009OAI: oai:DiVA.org:kth-248009DiVA, id: diva2:1301514
Subject / course
Information and Software Systems
Educational program
Master of Science - Software Engineering of Distributed Systems
Supervisors
Examiners
Available from: 2019-04-02 Created: 2019-04-02 Last updated: 2019-04-02Bibliographically approved

Open Access in DiVA

No full text in DiVA

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric score

urn-nbn
Total: 50 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf