Endre søk
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Sub-frame synchronisation and motion interpolation for panoramic video stitching
KTH, Skolan för elektroteknik och datavetenskap (EECS).
2022 (engelsk)Independent thesis Advanced level (degree of Master (Two Years)), 20 poäng / 30 hpOppgaveAlternativ tittel
Synkronisering och Interpolering av Videodata för Panoramagenerering (svensk)
Abstract [en]

This study was carried out in collaboration with Tracab, a brand leader in real-time digital sports data. As a result, the application field is centred on sports analytics. The technology, for instance, consists of multiple cameras that capture a football pitch in a panoramic setup. The alignment of two or more cameras in both a spatial and temporal manner is referred to as sub-frame synchronisation. Because the cameras are already in the same geometric coordinates, only temporal synchronisation will be addressed in this project. The main method for retrieving the desynchronisation information that affects the cameras is based on optical flow. The off-sync cameras' spacial information is then synthesised to the time required by the synchronisation constraint using motion interpolation. In addition, the created system is compared to a real-time intermediate flow interpolation approach. The latter method relies on machine learning techniques, whereas this study focuses on more traditional methods. The metrics Peak Signal-to-Noise Ratio and Structural Similarity Index Measure are used to address the quality criteria required by this subject of study. Furthermore, visually perceived quality is examined to identify differences between measured and perceived quality. The results reveal that in every realistic situation investigated, temporal synchronisation can be addressed by an error measure of less than 1ms. The frame synthesis stage, on the other hand, fails to accurately estimate complicated scenarios, while the machine learning approach stands out. The implemented approach, on the other hand, addresses fast-moving objects with greater precision. Furthermore, the machine learning approach is unable to interpolate intermediate frames in arbitrary time steps, which is critical for the project's application. Finally, considering the lack of real-time computational speed and the quality achieved by machine learning approaches, more research is required in these directions.

Abstract [sv]

Denna studie genomfördes i samarbete med Tracab, en marknadsledare inom digital sportdata levererad i realtid. Studiens applikationsområde kommer där av centreras kring sportdata där två eller flera kameror filmar en fotbollsplan i ett videopanorama. Kamerasynkroniseringen måste ske både spatialt och temporalt. Eftersom kamerorna har samma position kommer endast den temporala synkronisering tas upp i detta projekt. Den övergripande metoden för att göra detta är baserat på optiskt flöde. Data från en ej synkroniserad kamera syntetiseras via en synkroniseringkonstant mha. rörelseinterpolering. Detta jämförs även mot ett tillvägagångssätt som bygger på maskininlärning medan man i denna studie fokuserar på en mer traditionell lösningsmetod. Mätvärdena Peak Signal-to-Noise Ratio och Structural Similarity Index Measure används som kvalitetskriteria. Även visuellt upplevd kvalitet undersöks för att identifiera skillnaden mellan mätt och upplevd kvalitet. Resultatet visar att vid realistiska situationer kan den temporala synkroniseringen beräknas till under 1ms. Den syntetiserade datan lyckas dock inte estimera komplicerade situationer, medan maskininlärningsmetoden presterar bra. Dock så klarar studiens lösningsmetod att bättre generera objekt i snabb rörelse. Vidare så kan inte maskininlärningsmetoden generera video med en godtycklig tidförskjutning, något som är avgörande för projektets tillämpningsområde. Slutligen, med tanke på svårigheter i realtidsberäkning kontra kvaliteten hos maskin- inlärningsmetoder krävs därför mer forskning inom området.

sted, utgiver, år, opplag, sider
2022. , s. 94
Serie
TRITA-EECS-EX ; 2022:799
Emneord [en]
Sub-Frame Synchronisation, Motion Interpolation, Optical Flow, Panoramic Stitching, Traditional Approach, NVIDIA Optical Flow SDK
Emneord [sv]
Synkronisering, Interpolering, Rörelseinterpolering, NVIDIA Optical Flow SDK, Panoramagenerering, Panorama, Optiskt Flöde
HSV kategori
Identifikatorer
URN: urn:nbn:se:kth:diva-321809OAI: oai:DiVA.org:kth-321809DiVA, id: diva2:1713293
Eksternt samarbeid
Tracab
Veileder
Examiner
Tilgjengelig fra: 2023-01-24 Laget: 2022-11-24 Sist oppdatert: 2023-11-06bibliografisk kontrollert

Open Access i DiVA

fulltext(4634 kB)313 nedlastinger
Filinformasjon
Fil FULLTEXT01.pdfFilstørrelse 4634 kBChecksum SHA-512
97f549944fd4fca19f4a88bb51be8489bcb48303c71b186548940f8ea77dd684323b4ab3c905bff10c78ece978c96a489b3816be55ba0e993125f284f955868d
Type fulltextMimetype application/pdf

Av organisasjonen

Søk utenfor DiVA

GoogleGoogle Scholar
Totalt: 313 nedlastinger
Antall nedlastinger er summen av alle nedlastinger av alle fulltekster. Det kan for eksempel være tidligere versjoner som er ikke lenger tilgjengelige

urn-nbn

Altmetric

urn-nbn
Totalt: 323 treff
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf