kth.sePublications KTH
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Using Large Language Models to Solve Spatial Problems: Assessing ChatGPT’s Ability to Understand Spatial Queries and Geometric Topological Problems
KTH, School of Architecture and the Built Environment (ABE), Urban Planning and Environment, Geoinformatics.
KTH, School of Architecture and the Built Environment (ABE), Urban Planning and Environment, Geoinformatics.
2024 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE creditsStudent thesisAlternative title
Användning av stora språkmodeller för att lösa spatiala problem : En undersökning av ChatGPTs förmåga att förstå geografiska och geometriska problemställningar (Swedish)
Abstract [en]

Since the introduction of Open AI’s Generative Pre-Trained Transformer (GPT) in 2022,research on the field of generative artificial intelligence (AI), and its applications has beenintense. Large Language Models (LLMs), with ChatGPT in the lead, have been subject to scrutinyto find their weaknesses, with researchers pinpointing their struggle with mathematical andgeometrical operations, and understanding of complex questions. This study further testsChatGPT version 3.5 on these fields, by letting it answer questions normally solved usingGeographic Information Systems (GIS). Previous studies have been made, combining the fieldsof LLMs and GIS, mostly with a focus on more advanced aspects of GIS, such as formulatingprompts in Structured Query Language (SQL). In contrast, the purpose of this study was to findwhether laymen, without much GIS knowledge, could use the free version of ChatGPT to solvespatial problems, and to assess GPT’s understanding of topology, a common data structurewithin GIS. ChatGPT proved to mostly give inconsistent and unreliable answers, even for thesimplest tasks, having problems with calculating distances and population and visualizingtopology. Despite this, it exhibited an understanding of GIS concepts and displayed use of logicalthinking when presenting its answers, proving it had potential to reliably solve spatial problemsif it can be trained on better-suited datasets.

Abstract [sv]

Sedan OpenAI lanserade sin Generative Pretrained Transformer (ChatGPT) 2022 har forskninginom artificiell intelligens (AI) tagit allt större fart. När Large language models (LLMs), ävenkända som chatbottar, med ChatGPT i spetsen, har testats har forskare funnit att dessa modellerär svaga när det kommer till matematiska, framför allt geometriska problem, samt komplextformulerade frågor inom diverse ämnen. I den här studien testas ChatGPT ytterligare påliknande teman, med applikationer inom geografiska informationssystem (GIS). Tidigare studierinriktade på LLM och GIS har fokuserat på mer avancerade applikationer, till exempel attchatbotten fått formulera prompter i SQL som i sin tur använts för att lösa problem. Dennastudie ämnar, till skillnad från dessa, att söka raka svar på frågorna från ChatGPT, för att avgöraom modellen är lämpad brukas av användare med begränsad GIS-kunskap för att lösageografiska frågor, samt uppskatta modellens förståelse för topologisk datastruktur, som ärvanligt förekommande inom GIS. Det visade sig att ChatGPT var inkonsekvent i sina svar,oavsett svårighetsgrad på frågan, den kunde inte pålitligt beräkna populationsmängder elleravstånd samt att visualisera topologi. Trots detta visade ChatGPT förståelse för frågorna ochmotiverade sina lösningar med logiskt tänkande, vilket indikerar att den kan lösa den här typenav problem om den tränas på bättre lämpad data.

Place, publisher, year, edition, pages
2024.
Series
TRITA-ABE-MBT ; 24736
Keywords [en]
ChatGPT, AI, GIS
Keywords [sv]
ChatGPT, AI, GIS
National Category
Languages and Literature
Identifiers
URN: urn:nbn:se:kth:diva-354705OAI: oai:DiVA.org:kth-354705DiVA, id: diva2:1904797
Presentation
2024-06-04, 00:00 (English)
Supervisors
Examiners
Available from: 2024-10-10 Created: 2024-10-10 Last updated: 2024-10-10Bibliographically approved

Open Access in DiVA

fulltext(1212 kB)301 downloads
File information
File name FULLTEXT01.pdfFile size 1212 kBChecksum SHA-512
df474b53ed9bfe6b8bdbd792c37d5df3bdcb79f3b3c2747eee5078905660467063ce7ecb3ec7c03b2c26ba5368aa4eca52c30aa2413492444b069423b9615ec8
Type fulltextMimetype application/pdf

By organisation
Geoinformatics
Languages and Literature

Search outside of DiVA

GoogleGoogle Scholar
Total: 302 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 602 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf