Advances in open-vocabulary semantic mapping and object navigation have enabled autonomous robots to perform informed search of their environments for arbitrary objects. However, traditional zero-shot object navigation frameworks are typically designed for simple object class search, such as ”a toilet”, ”a fire extinguisher”, or ”a blue rug”. In this project, we consider extending navigation to more complex queries given in natural language and containing spatial relationships, such as ”find the yellow ladder by the fire extinguisher” or ”navigate towards the birthday robot celebrating by the Christmas tree”, while still leveraging the robustness of a reusable semantic map. In this thesis we present DIV-Nav, a real-time navigation system that efficiently addresses this problem via the following relaxation: i) Decompose natural language navigation instructions with complex spatial constraints and descriptive features into simpler object-level queries on a semantic belief map, ii) compute the Intersection of the individual semantic belief maps to identify regions in the mapped space where all these objects co-exist, and iii) Validate the discovered objects against the original, complex spatially constrained command via an LVLM. We further investigate how to adapt the frontier exploration objectives of online semantic mapping to such spatial search queries, in order to more effectively guide the navigation and search process. We validate our system through extensive experiments on the MultiON benchmark and real-time, real-world deployment on a Boston Dynamics Spot robot using a Jetson Orin AGX for on-board deployment.

Framsteg inom semantisk kartläggning med öppen vokabulär och objektnavigering har gjort det möjligt för autonoma robotar att på ett målinriktat sätt söka efter godtyckliga objekt i sina omgivningar. Existerande ramverk för objektnavigering är dock vanligen begränsade till enkla sökningar efter enstaka objektklasser, exempelvis ”en toalett”, ”en brandsläckare” eller ”en blå matta”. I detta projekt undersöker vi hur navigeringen kan utvidgas till mer komplexa förfrågningar uttryckta i naturligt språk och innehållande rumsliga relationer, såsom ”hitta den gula stegen vid brandsläckaren” eller ”navigera mot roboten som firar födelsedag vid julgranen”. Samtidigt bibehålls robustheten hos en återanvändbar semantisk karta. Vi presenterar DIV-Nav, ett realtidsnavigeringssystem som angriper detta problem genom en flerstegsmetod: i) nedbrytning av navigeringsinstruktioner i naturligt språk med komplexa rumsliga begränsningar och beskrivande egenskaper till enklare objektförfrågningar i en semantisk sannolikhetskarta, ii) beräkning av skärningsytor mellan de individuella sannolikhetskartorna för att identifiera områden där samtliga objekt samexisterar, samt iii) validering av de identifierade objekten mot det ursprungliga kommandot med rumsliga krav via en LVLM. Vi undersöker vidare hur målen för gränsutforskning inom online-semantisk kartläggning kan anpassas till denna typ av rumsliga sökfrågor för att mer effektivt styra navigerings- och sökprocessen. Systemet utvärderas genom omfattande experiment på MultiON-benchmark samt genom realtids- och fälttester på en Boston Dynamics Spot-robot med en Jetson Orin AGX för ombordberäkning.