This thesis explores the application of Neural Radiance Fields (NeRFs) to Multibeam Echosounder Systems (MBES) data. The problem statement is whether NeRF-like methods can estimate the material properties of MBES backscatter data, enabling unsupervised segmentation of the seafloor and underwater vegetation using the learned material properties.

The importance of this work lies in the lack of labeled MBES datasets. By using the material properties solved by the NeRF for segmentation, this research aims to overcome this challenge by performing unsupervised segmentation of underwater environments.

The methodology involves adapting NeRFs for one channel of MBES data and addressing the problem of modeling multipath noise by developing unsupervised learning-based filtering techniques. The methodology also involves demonstrating how to use the learned material properties for segmentation of underwater environments.

The results indicate that NeRFs can effectively learn MBES data with minor adaptions to the data loading and rendering processes to capture the physical model of the MBES. However, the learned material properties suffer from the multipath noise not adhering to the simplified physical model of sound used in the rendering by the NeRF. The results also show that learning-based noise filtering combined with NeRF allows the NeRF to learn useful material properties for segmentation.

Emphasis is placed on the fact that the unsupervised learning-based noise filter is not perfect and needs further refinement. However, it works most of the time and greatly improves the usefulness of the learned material properties for segmentation.

Further work should focus on using multiple channels, corresponding to carrier wave frequencies, of the MBES. This would enable a more nuanced 3D density space, making clustering easier and, hence, also making segmentation easier and more nuanced because different materials interact with sound of different frequencies in different ways, which would give rise to different colors for different materials.

Detta examensarbete utforskar användandet av Neural Radiance Fields (NeRF) på Multibeam Echosounder (MBES) data. Problemformuleringen är om NeRF-inspirerade metoder kan estimera materialegenskaperna i undervattensmiljöer från MBES-backscatterdata, vilket möjliggör icke väggledd segmentering av sjöbotten, vatten och undervattensväxtlighet.

Det som gör detta arbete värdfullt är att annoterade MBES dataset är sällsynta. Genom att använda materialegensakperna estimerade av NeRF modellen i icke vägledda grupperings algorithmer kan undervattenmiljöer segmenteras utan annoterade dataset, vilket runtgår bristen på annoterade MBES dataset.

Metoden för att uppnå oövervakad segmentering av vatten, undervattensvegetation och sjöbotten består av att modifiera NeRF-arkitekturen för att endast arbeta i en färgkanal, ändra dataladdningen för att passa formatet hos MBES-data samt att ändra renderings-ekvationerna så att de beskriver hur sonarstrålar beter sig och hur multipath-noise kan hanteras genom icke väggledd lärningsbaserade filter. Metoden inkluderar också hur de av NeRF estimerade materialegenskaperna kan användas för segmentering av undervattensmiljöer.

Resultaten visar att NeRF-arkitekturen med mindre modifikationer kan lära sig MBES-data, men de estimerade materialegenskaperna är inte användbara för segmentering eftersom multipath-noise inte följer den förenklade sonar-modellen som används i renderingen. Resultaten visar också att genom att lägga till oövervakade inlärningsbaserade filter kan kvaliteten på de av NeRF estimerade materialegenskaperna öka så pass mycket att de blir användbara för segmentering.

Det är värt att betona att det oövervakade inlärningsbaserade brusfiltret inte är perfekt och behöver utforskas ytterligare. Men det fungerar majoriteten av gångerna och ökar användbarheten kraftigt av de estimerade materialegenskaperna för segmentering av undervattensmiljöer.

Framtida arbete bör fokusera på att använda fler frekvenskanaler från MBES-datan. Detta skulle teoretiskt ge ett mer nyanserat 3D-materialegenskapsrum, vilket skulle göra gruppering enklare. Detta eftersom olika material interagerar olika med olika akustiska frekvenser, vilket skulle få densiteterna att få olika färger för olika material.