kth.sePublikationer KTH
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Evaluating model serving strategies over streaming data
KTH, Skolan för elektroteknik och datavetenskap (EECS), Datavetenskap, Programvaruteknik och datorsystem, SCS.ORCID-id: 0000-0002-8573-0090
KTH, Skolan för elektroteknik och datavetenskap (EECS), Datavetenskap, Programvaruteknik och datorsystem, SCS.ORCID-id: 0000-0002-9351-8508
2022 (Engelska)Ingår i: Proceedings of the 6th Workshop on Data Management for End-To-End Machine Learning, DEEM 2022 - In conjunction with the 2022 ACM SIGMOD/PODS Conference, Association for Computing Machinery (ACM) , 2022, artikel-id 4Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

We present the first performance evaluation study of model serving integration tools in stream processing frameworks. Using Apache Flink as a representative stream processing system, we evaluate alternative Deep Learning serving pipelines for image classification. Our performance evaluation considers both the case of embedded use of Machine Learning libraries within stream tasks and that of external serving via Remote Procedure Calls. The results indicate superior throughput and scalability for pipelines that make use of embedded libraries to serve pre-trained models. Whereas, latency can vary across strategies, with external serving even achieving lower latency when network conditions are optimal due to better specialized use of underlying hardware. We discuss our findings and provide further motivating arguments towards research in the area of ML-native data streaming engines in the future.

Ort, förlag, år, upplaga, sidor
Association for Computing Machinery (ACM) , 2022. artikel-id 4
Nyckelord [en]
data streams, machine learning inference
Nationell ämneskategori
Annan data- och informationsvetenskap
Identifikatorer
URN: urn:nbn:se:kth:diva-317104DOI: 10.1145/3533028.3533308ISI: 001119155700006Scopus ID: 2-s2.0-85133190958OAI: oai:DiVA.org:kth-317104DiVA, id: diva2:1693181
Konferens
6th Workshop on Data Management for End-To-End Machine Learning, DEEM 2022 - In conjunction with the 2022 ACM SIGMOD/PODS Conference, 12 June 2022, Virtual, Online
Anmärkning

QC 20220906

Part of proceedings: ISBN 978-145039375-1

Tillgänglig från: 2022-09-06 Skapad: 2022-09-06 Senast uppdaterad: 2025-12-05Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltextScopus

Person

Horchidan, Sonia-FlorinaCarbone, Paris

Sök vidare i DiVA

Av författaren/redaktören
Horchidan, Sonia-FlorinaCarbone, Paris
Av organisationen
Programvaruteknik och datorsystem, SCS
Annan data- och informationsvetenskap

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 172 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf