kth.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Sub-frame synchronisation and motion interpolation for panoramic video stitching
KTH, Skolan för elektroteknik och datavetenskap (EECS).
2022 (Engelska)Självständigt arbete på avancerad nivå (masterexamen), 20 poäng / 30 hpStudentuppsats (Examensarbete)Alternativ titel
Synkronisering och Interpolering av Videodata för Panoramagenerering (Svenska)
Abstract [en]

This study was carried out in collaboration with Tracab, a brand leader in real-time digital sports data. As a result, the application field is centred on sports analytics. The technology, for instance, consists of multiple cameras that capture a football pitch in a panoramic setup. The alignment of two or more cameras in both a spatial and temporal manner is referred to as sub-frame synchronisation. Because the cameras are already in the same geometric coordinates, only temporal synchronisation will be addressed in this project. The main method for retrieving the desynchronisation information that affects the cameras is based on optical flow. The off-sync cameras' spacial information is then synthesised to the time required by the synchronisation constraint using motion interpolation. In addition, the created system is compared to a real-time intermediate flow interpolation approach. The latter method relies on machine learning techniques, whereas this study focuses on more traditional methods. The metrics Peak Signal-to-Noise Ratio and Structural Similarity Index Measure are used to address the quality criteria required by this subject of study. Furthermore, visually perceived quality is examined to identify differences between measured and perceived quality. The results reveal that in every realistic situation investigated, temporal synchronisation can be addressed by an error measure of less than 1ms. The frame synthesis stage, on the other hand, fails to accurately estimate complicated scenarios, while the machine learning approach stands out. The implemented approach, on the other hand, addresses fast-moving objects with greater precision. Furthermore, the machine learning approach is unable to interpolate intermediate frames in arbitrary time steps, which is critical for the project's application. Finally, considering the lack of real-time computational speed and the quality achieved by machine learning approaches, more research is required in these directions.

Abstract [sv]

Denna studie genomfördes i samarbete med Tracab, en marknadsledare inom digital sportdata levererad i realtid. Studiens applikationsområde kommer där av centreras kring sportdata där två eller flera kameror filmar en fotbollsplan i ett videopanorama. Kamerasynkroniseringen måste ske både spatialt och temporalt. Eftersom kamerorna har samma position kommer endast den temporala synkronisering tas upp i detta projekt. Den övergripande metoden för att göra detta är baserat på optiskt flöde. Data från en ej synkroniserad kamera syntetiseras via en synkroniseringkonstant mha. rörelseinterpolering. Detta jämförs även mot ett tillvägagångssätt som bygger på maskininlärning medan man i denna studie fokuserar på en mer traditionell lösningsmetod. Mätvärdena Peak Signal-to-Noise Ratio och Structural Similarity Index Measure används som kvalitetskriteria. Även visuellt upplevd kvalitet undersöks för att identifiera skillnaden mellan mätt och upplevd kvalitet. Resultatet visar att vid realistiska situationer kan den temporala synkroniseringen beräknas till under 1ms. Den syntetiserade datan lyckas dock inte estimera komplicerade situationer, medan maskininlärningsmetoden presterar bra. Dock så klarar studiens lösningsmetod att bättre generera objekt i snabb rörelse. Vidare så kan inte maskininlärningsmetoden generera video med en godtycklig tidförskjutning, något som är avgörande för projektets tillämpningsområde. Slutligen, med tanke på svårigheter i realtidsberäkning kontra kvaliteten hos maskin- inlärningsmetoder krävs därför mer forskning inom området.

Ort, förlag, år, upplaga, sidor
2022. , s. 94
Serie
TRITA-EECS-EX ; 2022:799
Nyckelord [en]
Sub-Frame Synchronisation, Motion Interpolation, Optical Flow, Panoramic Stitching, Traditional Approach, NVIDIA Optical Flow SDK
Nyckelord [sv]
Synkronisering, Interpolering, Rörelseinterpolering, NVIDIA Optical Flow SDK, Panoramagenerering, Panorama, Optiskt Flöde
Nationell ämneskategori
Naturvetenskap
Identifikatorer
URN: urn:nbn:se:kth:diva-321809OAI: oai:DiVA.org:kth-321809DiVA, id: diva2:1713293
Externt samarbete
Tracab
Handledare
Examinatorer
Tillgänglig från: 2023-01-24 Skapad: 2022-11-24 Senast uppdaterad: 2023-11-06Bibliografiskt granskad

Open Access i DiVA

fulltext(4634 kB)313 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 4634 kBChecksumma SHA-512
97f549944fd4fca19f4a88bb51be8489bcb48303c71b186548940f8ea77dd684323b4ab3c905bff10c78ece978c96a489b3816be55ba0e993125f284f955868d
Typ fulltextMimetyp application/pdf

Av organisationen
Skolan för elektroteknik och datavetenskap (EECS)
Naturvetenskap

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 313 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 323 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf