In the world of Artificial Intelligence, Large Language Models (LLMs) are a fast growing technology. Since the launch of ChatGPT the usage of LLMs has greatly increased, both in private use and business implementations. For an LLM to work it has to be trained on vast amounts of data, but what happens when it is tasked with things that it has not been trained for? A number of problems can arise when this occurs, and the current answer for this is Retrieval Augmented Generation (RAG). RAG allows the LLM to retrieve what information it may need from varying sources and generate responses based on what it retrieved. 

This thesis aims to explore how the retrieval of information can be optimized using different retrieval methods and several retrieval enhancement methods, to explore their effects on performance using standardised metrics.

The thesis presents several methods to increase retrieval performance: Re-Ranking, Hypothetical Document Embedding (HyDE) and Query Expansion. The study also presents several metrics to evalute these methods: nDCG@10, MAP@10 and Recall@1000, with mathematical backgrounds and motivations to how they are used. The results presented in the thesis are comparable to state of the art benchmarks, however, the thesis fails to ascertain a significant increase in retrieval performance for the presented methods. It is hypothesised that this is due to shortcomings of the data used, limitations of computational hardware and time constraints which influenced what methods were chosen.

De senaste åren har utvecklingen av Large Language Models (LLM:er) vuxit explosionsartat. Sedan lanseringen av ChatGPT har användningen av LLM:er ökat kraftigt, både i privat bruk och i företagsimplementationer. För att en LLM ska fungera måste den tränas på stora mängder data, men vad händer när den får uppgifter som den inte har tränats för? Allvarliga fel kan uppstå som påverkar integriteten i det genererade svaret, modellen börjar hallucinera och kan svara helt felaktigt. För att lösa detta problem så är svaret Retrieval Augmented Generation. RAG gör det möjligt för en LLM att hämta ytterligare kontext från externa källor och generera svar baserat på den information som hämtats. 

Syftet med detta examensarbete är att undersöka hur informationshämtningen kan optimeras med hjälp av olika sökmetoder och flera förbättringsmetoder, samt att undersöka deras effekter på prestandan med standardiserade mätetal.

I avhandlingen presenteras flera metoder för att öka sökprestanda: Re-Ranking, Hypothetical Document Embedding (HyDE) och Query Expansion. Studien presenterar även flera mätetal för att utvärdera dessa metoder: nDCG@10, MAP@10 och Recall@1000, med matematisk bakgrund och motivering till hur de används. De resultat som presenteras i avhandlingen är jämförbara med vad de absolut bästa modellerna presterar, men avhandlingen lyckas inte fastställa en signifikant ökning av sökresultatet för de undersökta metoderna. Hypotesen är att detta beror på brister i de data som används, begränsningar i hårdvara och viss tidsbegränsning som påverkat vilka metoder som valts.