kth.sePublications KTH
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Can AI Replicate Expert Climate Policy Evaluations in a Swedish Context?: A Controlled Comparison of Open-Weight Models and RAG Architectures
KTH, School of Industrial Engineering and Management (ITM), Energy Technology, Energy Systems.
2026 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Large language models, AI systems that generate text, are increasingly used in climate policy analysis, but it is rarely tested whether their analysis agrees with expert assessment, whether giving them relevant documents helps, or whether common evaluation methods can tell good analysis from weak. This thesis tests all three for Swedish climate and energy policy.

Seven openly available models, run on local hardware, answered ten policy questions in four set-ups: without documents, or after searching a collection of Swedish policy documents once, through several sub-searches, or repeatedly while critiquing their own draft. The 280 answers were compared with reference answers generated by an AI model from the summary of the Swedish Climate Policy Council’s 2026 report, held out from the collection, and scored by text-similarity measures, a citation check, two AI judges and a blinded human reader.

The four set-ups scored almost the same, and the more complex ones took several times as long and used more energy for no measurable gain. Because searching was changed together with the instruction to cite sources, the design cannot show cause and effect. The one clear benefit of searching was traceable citations. No method could reliably rank the usable answers: the two AI judges often disagreed, and the human reader favoured different set-ups than the judges. The AI judges, the citation check and the human reader did single out the same model as unusable, so such methods can screen out poor output but not select the best.

Read as climate and energy analysis, on four energy and land-use questions, the best answers named conflicts between sectors that the references left out, such as battery metals against reindeer herding and biomass wanted by both transport and industry, but did not rank or quantify them, and the answers agreed most on the least useful point, a call for coordination. On Sweden’s 2030 carbon sink commitment, most answers and the reference reached opposite verdicts largely because they used different releases of the same statistic, which changes how much emission reduction transport and heating must deliver. One answer took a contested forestry position as its starting point while appearing balanced. None of the evaluation methods caught either problem. On the electricity system, several answers covered the question more fully than the reference, which shows that expert-written references are needed before such tools can be judged fairly. The tools may support scoping and evidence tracing, with dated statistics and expert review, but not replace expert judgement.

Abstract [sv]

Stora språkmodeller, AI-system som genererar text, används allt oftare i klimatpolitisk analys, men det prövas sällan om deras analys stämmer överens med expertbedömningar, om det hjälper att ge dem relevanta dokument, eller om vanliga utvärderingsmetoder kan skilja god analys från svag. Denna uppsats prövar alla tre frågorna för svensk klimat- och energipolitik.

Sju öppet tillgängliga modeller, körda på lokal hårdvara, besvarade tio policyfrågor i fyra upplägg: utan dokument, eller efter att ha sökt i en samling svenska policydokument en gång, genom flera delsökningar, eller upprepade gånger medan de granskade sina egna utkast. De 280 svaren jämfördes med referenssvar som en AI-modell tagit fram ur sammanfattningen av Klimatpolitiska rådets rapport för 2026, som hölls utanför samlingen, och poängsattes med textlikhetsmått, en kontroll av källhänvisningar, två AI-domare och en blindad mänsklig bedömare.

De fyra uppläggen fick nästan samma poäng, och de mer komplexa tog flera gånger så lång tid och använde mer energi utan mätbar vinst. Eftersom sökningen ändrades samtidigt med instruktionen att ange källor kan designen inte visa orsak och verkan. Den enda tydliga fördelen med sökning var spårbara källhänvisningar. Ingen metod kunde tillförlitligt rangordna de användbara svaren: de två AI-domarna var ofta oense, och den mänskliga bedömaren föredrog andra upplägg än domarna. AI-domarna, källkontrollen och bedömaren pekade dock ut samma modell som oanvändbar, så de kan gallra bort dåliga svar men inte välja ut de bästa.

Lästa som klimat- och energianalys lyfte de bästa svaren på fyra energi- och markanvändningsfrågor fram konflikter mellan sektorer som referenssvaren utelämnade, till exempel batterimetaller mot rennäring och biomassa som efterfrågas av både transporter och industri, men varken rangordnade eller kvantifierade dem, och svaren var mest eniga om den minst användbara punkten, en uppmaning till samordning. Om Sveriges åtagande för kolsänkan till 2030 drog de flesta svaren och referensen motsatta slutsatser, till stor del för att de använde olika versioner av samma statistik, vilket påverkar hur mycket utsläppen måste minska inom transporter och uppvärmning. Ett svar utgick från en omstridd ståndpunkt i skogsdebatten men framstod ändå som balanserat. Ingen av utvärderingsmetoderna fångade något av problemen. För elsystemet täckte flera svar frågan mer fullständigt än referensen, vilket visar att expertskrivna referenssvar behövs innan sådana verktyg kan bedömas rättvist. Verktygen kan stödja kartläggning av frågor och spårning av underlag, med daterad statistik och expertgranskning, men inte ersätta expertbedömning.

Place, publisher, year, edition, pages
2026. , p. 104
Series
TRITA-ITM-EX ; 2026:591
Keywords [en]
Retrieval-Augmented Generation; Large Language Models; Climate Policy Analysis; Energy System Analysis; LLM-as-Judge; Evaluation Methods; Swedish Climate Policy
Keywords [sv]
Retrieval-Augmented Generation; stora språkmodeller; klimatpolitisk analys; energisystemanalys; LLM-som-domare; utvärderingsmetoder; svensk klimatpolitik
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:kth:diva-391995OAI: oai:DiVA.org:kth-391995DiVA, id: diva2:2115408
Educational program
Master of Science - Sustainable Energy Engineering
Supervisors
Examiners
Available from: 2026-11-04 Created: 2026-11-04

Open Access in DiVA

fulltext(4340 kB)22 downloads
File information
File name FULLTEXT01.pdfFile size 4340 kBChecksum SHA-512
7a2ded2787506fd66262c5880ba7dbad2eedfdfefde9a3865de8a5b10d9ad2b03ede2469d12c2a6d0ed6b015ca4b3a6d67c1be142996ece1f4be8e6cbfae5619
Type fulltextMimetype application/pdf

By organisation
Energy Systems
Engineering and Technology

Search outside of DiVA

GoogleGoogle Scholar
Total: 22 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 300 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf