kth.sePublications KTH
System disruptions
There are recurring service disruptions on some of the search portals due to high traffic. We are working to resolve the issue, you may temporarily encounter an error message.
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
HiMo: High-Speed Objects Motion Compensation in Point Clouds
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0002-7882-948X
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0009-0009-6935-6797
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL. Scania Group, Södertälje, Sweden, 151 87.ORCID iD: 0000-0002-6679-4021
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0001-7687-3025
Show others and affiliations
2025 (English)In: IEEE Transactions on robotics, ISSN 1552-3098, E-ISSN 1941-0468, Vol. 41, p. 5896-5911Article in journal (Refereed) Published
Abstract [en]

LiDAR point cloud is essential for autonomous vehicles, but motion distortions from dynamic objects degrade the data quality. While previous work has considered distortions caused by ego motion, distortions caused by other moving objects remain largely overlooked, leading to errors in object shape and position. This distortion is particularly pronounced in high-speed environments such as highways and in multi-LiDAR configurations, a common setup for heavy vehicles. To address this challenge, we introduce HiMo, a pipeline that repurposes scene flow estimation for non-ego motion compensation, correcting the representation of dynamic objects in point clouds. During the development of HiMo, we observed that existing self-supervised scene flow estimators often produce degenerate or inconsistent estimates under high-speed distortion. We further propose SeFlow++, a real-time scene flow estimator that achieves state-of-the-art performance on both scene flow and motion compensation. Since well-established motion distortion metrics are absent in the literature, we introduce two evaluation metrics: compensation accuracy at a point level and shape similarity of objects. We validate HiMo through extensive experiments on Argoverse 2, ZOD and a newly collected real-world dataset featuring highway driving and multi-LiDAR-equipped heavy vehicles. Our findings show that HiMo improves the geometric consistency and visual fidelity of dynamic objects in LiDAR point clouds, benefiting downstream tasks such as semantic segmentation and 3D detection. See https://kin-zhang.github.io/HiMo for more details.

Place, publisher, year, edition, pages
Institute of Electrical and Electronics Engineers (IEEE) , 2025. Vol. 41, p. 5896-5911
Keywords [en]
Autonomous Driving Navigation, Computer Vision for Transportation, Motion Compensation, Range Sensing
National Category
Computer graphics and computer vision Robotics and automation Vehicle and Aerospace Engineering Signal Processing
Identifiers
URN: urn:nbn:se:kth:diva-372474DOI: 10.1109/TRO.2025.3619042ISI: 001600720400002Scopus ID: 2-s2.0-105019222489OAI: oai:DiVA.org:kth-372474DiVA, id: diva2:2012338
Note

QC 20251107

Available from: 2025-11-07 Created: 2025-11-07 Last updated: 2026-09-25Bibliographically approved
In thesis
1. Beyond Standard Assumptions in Autonomous Driving Perception
Open this publication in new window or tab >>Beyond Standard Assumptions in Autonomous Driving Perception
2026 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Autonomous driving perception is commonly developed and evaluated under a set of enabling assumptions: that multi-sensor evidence is physically consistent at the frame level, that geometry is sufficiently dense to support reliable inference about other traffic participants and the surrounding environment, and that learning can rely on either abundant human labels or self-supervised objectives derived from the sensor stream. This thesis examines what remains feasible when these assumptions no longer hold, and develops methods and design principles for perception under asynchronous sensing, long-range sparsity, and weak or unreliable supervision.

We first study physical inconsistency in multi-sensor data. We show that rolling and asynchronous acquisition, motion during aggregation, and annotation practices that implicitly assume temporal coherence can render the perception problem ill-posed before any representation choice is made. We therefore treat data preparation, motion compensation, and annotation consistency as integral parts of the perception pipeline, since errors at this stage can propagate directly into annotation, training, and evaluation.

We then examine representation under long-range sparsity. We show that long-range performance is limited not only by model capacity, but by the representations used to encode and expose ambiguous evidence. In particular, object-centric outputs and dense internal representations can force premature commitment when available evidence collapses at distance. To study this, we present results on long-range 3D object detection and sparse long-range scene flow, showing both the limits of object-centric perception under weak observability and the value of motion-centric estimation as range increases.

Finally, we study learning signals when labels and geometry-derived self-supervision become unreliable. We show that motion supervision can be recovered by importing physically grounded constraints from complementary modalities, using radar Doppler to guide LiDAR scene flow learning. We further show that scalable semantic supervision can be obtained from foundation-model priors through curriculum-based synthetic-to-real adaptation, which anchors language-aligned representations to real LiDAR characteristics.

Abstract [sv]

Uppfattning om autonom körning utvecklas och utvärderas vanligtvis under en uppsättning möjliggörande antaganden: att multisensorbevis är fysiskt konsistenta på bildnivå, att geometrin är tillräckligt tät för att stödja tillförlitlig slutsats om andra trafikdeltagare och den omgivande miljön, och att inlärning kan förlita sig på antingen rikliga mänskliga etiketter eller självövervakade mål som härrör från sensorströmmen. Denna avhandling undersöker vad som förblir genomförbart när dessa antaganden inte längre gäller, och utvecklar metoder och designprinciper för uppfattning under asynkron avkänning, långdistansgleshet och svag eller opålitlig övervakning.

Vi studerar först fysisk inkonsekvens i multisensordata. Vi visar att rullande och asynkron förvärv, rörelse under aggregering och annoteringsmetoder som implicit antar temporal koherens kan göra uppfattningsproblemet felaktigt ställt innan något representationsval görs. Vi behandlar därför dataförberedelse, rörelsekompensation och annoteringskonsistens som integrerade delar av uppfattningsprocessen, eftersom fel i detta skede kan fortplanta sig direkt till annotering, träning och utvärdering.

Vi undersöker sedan representation under långdistansgleshet. Vi visar att prestanda på lång räckvidd begränsas inte bara av modellens kapacitet, utan också av de representationer som används för att koda och exponera tvetydiga bevis. I synnerhet kan objektcentrerade utdata och täta interna representationer tvinga fram för tidigt engagemang när tillgängliga bevis kollapsar på avstånd. För att studera detta presenterar vi resultat om 3D-objektdetektering på lång räckvidd och gles scenflöde på lång räckvidd, vilket visar både gränserna för objektcentrerad perception under svag observerbarhet och värdet av rörelsecentrerad uppskattning när avståndet ökar.

Slutligen studerar vi inlärningssignaler när etiketter och geometri-härledd självövervakning blir opålitliga. Vi visar att rörelseövervakning kan återställas genom att importera fysiskt grundade begränsningar från komplementära modaliteter, med hjälp av radar-Doppler för att vägleda LiDAR-scenflödesinlärning. Vi visar vidare att skalbar semantisk övervakning kan erhållas från grundläggande modellprior genom läroplanbaserad syntetisk-till-real-anpassning, som förankrar språkanpassade representationer till verkliga LiDAR-egenskaper.

Place, publisher, year, edition, pages
KTH Royal Institute of Technology, 2026. p. 103
Series
TRITA-EECS-AVL ; 2026:22
Keywords
Autonomous Driving, Computer Vision, Robotics
National Category
Computer graphics and computer vision Robotics and automation
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-378742 (URN)978-91-8106-558-9 (ISBN)
Public defence
2026-04-17, Kollegiesalen, Brinellvägen 8, Stockholm, 09:00 (English)
Opponent
Supervisors
Note

Zoom link: https://kth-se.zoom.us/s/68091974260

Available from: 2026-03-27 Created: 2026-03-26 Last updated: 2026-04-08Bibliographically approved
2. Temporal Modeling of Dynamic 3D Scenes for Self-supervised Scene Flow
Open this publication in new window or tab >>Temporal Modeling of Dynamic 3D Scenes for Self-supervised Scene Flow
2026 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

The physical world is never still. This thesis studies how the 3D motion of a dynamic scene can be estimated from point clouds without human annotation. Scene flow assigns a displacement vector to every observed point, but dense motion labels are prohibitively expensive, which has kept the representation from practical use.

We approach the problem through the physical nature of motion. Unlike the categories behind detection or segmentation, motion is not defined by people; it is a physical quantity of the scene, and three of its properties are exploited here. It is measurable from geometry, so supervision can be derived from observations rather than annotators. It is continuous in time, so past frames constrain the present one. And it depends on kinematics rather than appearance, so it can be generated at scale in simulation and transferred to real sensors.

We first show that feed-forward models trained with point-wise matching systematically underestimate dynamic motion, because nearest-neighbor correspondences on large moving objects point to the wrong surface. Separating static structure from dynamic objects and enforcing object-level kinematic constraints yields reliable label-free supervision from a pair of frames. To exploit the temporal continuity of motion, we then extend supervision to multiple frames, which raises two problems: computation that grows with the temporal window, which we keep constant through a compact residual representation, and correspondences that shift abruptly across frames, which we resolve by aggregating the most temporally consistent cues from a candidate pool, keeping multi-frame self-supervision stable. Even with such carefully designed objectives, self-supervision still relies on proxy signals derived from geometric assumptions. These signals remain noisy under sensor sparsity and occlusion, so scaling unlabeled real data yields diminishing returns. Because motion depends on kinematics rather than appearance, we instead turn to simulation, prioritizing motion complexity over sensor realism to generate large-scale synthetic data with noise-free labels derived directly from simulator states. The resulting motion prior generalizes zero-shot across sensors and sharply reduces the need for real annotations. Finally, we show that reliable flow estimates act as point-level velocity fields that remove motion distortion from raw LiDAR sweeps.

Together, these results show that the physical objectivity of motion is more than a conceptual idea: it is a property that can be exploited to make dynamic scene understanding scalable and generalizable without human supervision.

Abstract [sv]

Den fysiska världen står aldrig stilla. Denna avhandling studerar hur tredimensionell rörelse i en dynamisk scen kan skattas från punktmoln utan mänsklig annotering. Scenflöde tilldelar varje observerad punkt en förskjutningsvektor. Att annotera rörelsen för varje punkt i stora mängder punktmolnsdata är orimligt kostsamt. Detta har hindrat scenflöde från att komma till praktisk användning.

Vi angriper problemet utifrån rörelsens fysikaliska natur. Till skillnad från de mänskligt definierade kategorierna som används för detektion och segmentering är scenflöde en fysikalisk storhet i scenen. Vi utnyttjar tre av dess egenskaper. Rörelse är mätbar utifrån geometri, så handledning kan härledas ur observationerna i stället för från annoteringar. Rörelse är kontinuerlig i tiden, så tidigare rörelse begränsar den aktuella. Rörelse beror dessutom på kinematik snarare än utseende, så data kan genereras i stor skala genom simulering och överföras till verkliga sensorer.

Vi visar först att framåtmatande modeller som tränas med punktvis matchning systematiskt underskattar dynamisk rörelse, eftersom närmaste-granne-korrespondenser på stora rörliga objekt pekar mot fel yta. Genom att separera statisk struktur från dynamiska objekt och införa kinematiska bivillkor på objektnivå erhålls tillförlitlig annoteringsfri handledning för två på varandra följande bildrutor. För att utnyttja att rörelse är kontinuerlig i tid utvidgar vi sedan handledningen till flera bildrutor, vilket skapar två utmaningar: beräkningskostnaden växer med tidsfönstrets storlek, vilket vi håller konstant genom en kompakt residualrepresentation, och korrespondenserna växlar abrupt mellan bildrutor, vilket vi löser genom att ur en kandidatmängd aggregera de ledtrådar som är mest konsistenta över tid, så att självhandledning över flera bildrutor förblir stabil. Även med sådana noggrant utformade målfunktioner bygger självhandledning fortfarande på indirekta träningssignaler som härleds ur geometriska antaganden. Dessa signaler förblir brusiga vid glesa sensormätningar och ocklusion, och att skala upp mängden oannoterade verkliga data ger därför allt mindre förbättring. Eftersom rörelse beror på kinematik snarare än utseende vänder vi oss i stället till simulering. Vi prioriterar rörelsekomplexitet framför sensorrealism och genererar storskaliga syntetiska data med brusfria etiketter som härleds direkt ur simulatorns tillstånd. Den resulterande förhandsmodellen för rörelse generaliserar mellan olika sensorer utan ytterligare träning (zero-shot) och minskar kraftigt behovet av annoterade verkliga data. Slutligen visar vi att tillförlitliga flödesskattningar fungerar som hastighetsfält på punktnivå och kan korrigera rörelsedistorsion i råa LiDAR-svep.

Sammantaget visar resultaten att rörelsens objektiva, fysikaliska natur inte bara är en konceptuellt tilltalande idé utan också kan utnyttjas för att göra dynamisk scenförståelse skalbar och generaliserbar utan mänsklig handledning.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2026. p. ix, 38
Series
TRITA-EECS-AVL ; 2026:82
National Category
Computer Vision and Learning Systems
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-388958 (URN)978-91-8106-709-5 (ISBN)
Public defence
2026-10-23, https://kth-se.zoom.us/j/68797563146, Kollegiesalen, Brinellvägen 6, Stockholm, 09:00 (English)
Opponent
Supervisors
Funder
Wallenberg AI, Autonomous Systems and Software Program (WASP), 30014J
Note

QC 20260928

Available from: 2026-09-28 Created: 2026-09-25 Last updated: 2026-09-28Bibliographically approved

Open Access in DiVA

No full text in DiVA

Other links

Publisher's full textScopus

Authority records

Zhang, QingwenKhoche, AjinkyaYang, YiLing, LiAndersson, OlovJensfelt, Patric

Search in DiVA

By author/editor
Zhang, QingwenKhoche, AjinkyaYang, YiLing, LiAndersson, OlovJensfelt, Patric
By organisation
Robotics, Perception and Learning, RPL
In the same journal
IEEE Transactions on robotics
Computer graphics and computer visionRobotics and automationVehicle and Aerospace EngineeringSignal Processing

Search outside of DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetric score

doi
urn-nbn
Total: 211 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf