In recent years, investigative journalists and digital forensics experts have manually found and verified the locations of image evidence to track human rights violations. Visual Geolocalization (VG) aims to automate this process, predicting where an image was taken using only pixels as input. This thesis focuses on improving fine-grained city-scale geolocalization, i.e. geolocalization within the confines of a city. Typically, this has been performed through image retrieval. This thesis hypothesizes that a hybrid model combining image classification and retrieval could improve the performance of geolocation prediction, and the robustness under domain shift. Earlier attempts at such a hybrid model of classification-constrained retrieval (CCR) have been made for global geolocalization (where it has shown promise), but never for city-scale geolocation prediction on moderately-sized datasets. To fill this knowledge gap, this thesis conducts two experiments, comparing the performance of CCR to a state-of-the-art retrieval model on a dataset of street view images from Stockholm. The first experiment uses query images from the same distribution as the database, and the best configuration of CCR correctly predicts the location within 100 meters for 48.5% of queries compared to 44.9% for the retrieval model. The second experiment uses query images from another distribution (social media images), again, CCR outperforms the retrieval model, correctly predicting 20.8% of the queries within 100 meters compared to 12.8%. These findings demonstrate the great potential for CCR in city-level geolocalization, particularly in handling challenging scenarios reminiscent of real-world conditions.

Visuell geolokalisering är ett forskningsområde som ämnar att svara på frågan: På vilken plats var denna bild tagen? Mer specifikt, att låta en dator svara på denna fråga genom att träna modeller med referensbilder. Detta examensarbete gör en ansats att förbättra metoderna för geolokalisering av bilder i stadsmiljö. Tidigare har detta genomförts genom att matcha bilder till varandra genom så kallad bildsökning. Detta examensarbete utgår från hypotesen att en hybridmodell som kombinerar klassificering och bildsökning skulle kunna förbättra prestandan av geolokaliseringsmodeller samt göra dessa modeller mindre känsliga för en domänförskjutning, d.v.s. en situation där testbilderna kommer från en annan fördelning än de referensbilder som modellerna är tränade på. Tidigare försök med en sådan hybridmodell s.k. classification-constrained retrieval (CCR) har tillämpats för global geolokalisering med goda resultat, men hitills så har det ej testats för finkornig geolokalisering inom stadsmiljö på medelstora dataset. I ett försök att fylla denna kunskapslucka så genomförs två experiment där man jämför prestandan av CCR jämfört med en modern bildsökningsmodell på ett dataset av gatubilder från Stockholm. Det första experimentet använder testbilder från samma fördelning, och den bästa CCR modellen förutsäger korrekt platsen där testbilderna var tagna inom 100 meter för 48.5% av bilderna, jämfört med 44.9% för bildsökningsmodellen. Det andra experiment använder testbilder från en annan fördelning (dessa bilder tagna från sociala medier), och även här så överträffar CCR bildsökningsmodellen genom att korrekt förutsäga platsen för 20.8% av testbilderna inom 100 meter, jämfört med 12.8% för bildsökningsmodellen. Resultaten visar på en stor potential för att använda CCR för finkorning geolokalisering av bilder i stadsmiljö, särskilt när det gäller att hantera utmaningar som återfinns i verkliga förhållanden.