Image geo-localization is the process of estimating the GPS coordinates of an image. Image geo-localization can be used for search and rescue, helping people find locations of old pictures and military applications. For precise image geo-localization, we build upon the current state of the art model, GeoCLIP. GeoCLIP is built on top of the CLIP model from OpenAI with a custom location encoder for GPS coordinates. However, GeoCLIP struggles with snowy landscapes, where we claim the poor performance is due to a lack of training data. Our research extends GeoCLIP with our SnowCLR training method that utilizes adaptive sample selection to learn in a data efficient manner. In this thesis, we explore if finetuning GeoCLIP with our training method improves the city level accuracy (predictions within 25km of ground truth) compared to the standard GeoCLIP training method. Our study has yielded promising results with up to 40 percentage points improvement for the city level accuracy.

Bildgeolokalisering är processen att ta en bild och hämta bildens GPS-koordinater. Bildgeolokalisering kan användas för sök- och räddningsinsatser, hjälpa människor att hitta platser från gamla bilder och för militära tillämpningar. För nogrann bildgeolokalisering bygger vi vidare på den nuvarande toppmodellen, GeoCLIP. GeoCLIP är byggd ovanpå CLIP-modellen från OpenAI med en egenutvecklad platskodare för GPS-koordinater. Däremot är GeoCLIP sämre på att estimera GPS koordinater för bilder med snö, något som vi tror beror på den lilla mängd data. Vår forskning utökar GeoCLIP med vår egna SnowCLR-förlustfunktion som använder adaptivt urval. I den här avhandlingen undersöker vi om finjustering av GeoCLIP med vårt adaptiva urval förbättrar noggrannheten på stadsnivå (prediktioner inom 25km av den rätta positionen) jämfört med standard GeoCLIP-förlustfunktionen. Vår studie har gett lovande resultat med upp till 40 procentenheters förbättring i modellens noggrannhet på stadsnivå.