Cognitive Behavioral Therapy relies on identifying cognitive distortions in patient speech, but automated classification of distortion types is limited by data scarcity: expert-labeled clinical text is expensive to collect and subject to privacy constraints. Large Language Models (LLMs) offer strong zero-shot reasoning but are impractical for local clinical deployment due to their computational cost and privacy risks, while compact classifiers such as RoBERTa can run locally but struggle with the semantic overlap and subjectivity that characterize distortion categories. These properties yield ambiguous decision boundaries and weak discriminative supervision under limited annotated data.

This thesis investigates whether uncertainty-guided LLM-based data augmentation can improve cognitive distortion classification in a compact RoBERTa model trained on the TherapistQA dataset (2,530 samples, 11 classes, with a 9.33:1 ratio between the most and least frequent class). The pipeline first compares three uncertainty estimators (Softmax Entropy, Monte Carlo Dropout, and Deep Ensembles) for identifying informative training instances, then evaluates four LLM-based augmentation conditions formed by crossing two generators (LLaMA 3.3 70B and Qwen 3 235B) with two seed- selection strategies (entropy-based and random). These are compared against a non-augmented baseline and two traditional augmentation baselines (EDA with Synonym Replacement, and ContextualBERT). Evaluation uses Relaxed Macro F1 across multiple random seeds with Wilcoxon signed-rank testing and Bonferroni correction.

The study yields two complementary findings. First, as an engineering result, three of four LLM-based conditions improve over the baseline mean Relaxed Macro F1, while both traditional augmentation methods substantially degrade performance; LLaMA Random achieves the best result (0.3552 vs. 0.3331 baseline), and fine-tuned RoBERTa outperforms both LLMs in the zero-shot setting by more than 35 percentage points, supporting the viability of compact locally-deployable classifiers for privacy-sensitive clinical NLP. Second, as a scientific finding not predicted by prior literature, the optimal seed-selection strategy depends on the generator: LLaMA performs best with random selection, while Qwen performs best with entropy-based selection. The cross-LLM comparison under random selection is the only pairwise contrast that remains statistically significant after Bonferroni correction (𝑊 = 0.0, 𝑝 = 0.002), making this LLM–strategy interaction the most robust pairwise effect observed in this study. Per-class analysis further shows that augmentation gains concentrate on classes defined by topic-independent attributional patterns (Labeling, Overgeneralization, Personalization), suggesting that LLM augmentation primarily helps by diversifying surface cues so that the classifier relies less on dataset-specific lexical shortcuts.

Kognitiv beteendeterapi bygger på att identifiera kognitiva förvrängningar i patienters tal, men automatisk klassificering av förvrängningstyper begränsas av databrist: expertmärkt klinisk text är dyr att samla in och omfattas av integritetsrestriktioner. Stora språkmodeller (LLM:er) erbjuder stark zero-shot-resonemang men är opraktiska för lokal klinisk driftsättning på grund av beräkningskostnad och integritetsrisker, medan kompakta klassificerare såsom RoBERTa kan köras lokalt men har svårt med den semantiska överlappning och subjektivitet som kännetecknar förvrängningskategorier. Dessa egenskaper ger tvetydiga beslutsgränser och svag diskriminerande inlärning under begränsad annoterad data.

Denna avhandling undersöker om osäkerhetsstyrd LLM-baserad dataaugmentering kan förbättra klassificering av kognitiva förvrängningar i en kompakt RoBERTa-modell tränad på TherapistQA-datasetet (2 530 exempel, 11 klasser, med ett förhållande på 9,33:1 mellan den vanligaste och den minst vanliga klassen). Pipelinen jämför först tre osäkerhetsskattare (Softmax- entropi, Monte Carlo Dropout och Deep Ensembles) för att identifiera informativa träningsexempel, och utvärderar sedan fyra LLM-baserade augmenteringsvillkor som bildas genom att korsa två generatorer (LLaMA 3.3 70B och Qwen 3 235B) med två val av utgångsexempel (entropibaserat och slumpmässigt). Dessa jämförs med en icke-augmenterad baslinje och två traditionella augmenteringsbaslinjer (EDA med synonymersättning och ContextualBERT). Utvärderingen använder Relaxed Macro F1 över flera slumpfrön med Wilcoxons teckenrangtest och Bonferroni-korrigering.

Studien ger två kompletterande resultat. För det första, som ett tekniskt resultat, förbättrar tre av fyra LLM-baserade villkor baslinjens genomsnittliga Relaxed Macro F1, medan båda traditionella augmenteringsmetoderna försämrar prestandan avsevärt; LLaMA Random uppnår det bästa resultatet (0,3552 mot 0,3331 för baslinjen), och finjusterad RoBERTa överträffar båda LLM:erna i zero-shot-inställningen med mer än 35 procentenheter, vilket stödjer användbarheten av kompakta lokalt driftsatta klassificerare för integritetskänslig klinisk NLP. För det andra, som ett vetenskapligt resultat som inte förutsetts av tidigare litteratur, beror den optimala valstrategin på generatorn: LLaMA presterar bäst med slumpmässigt val, medan Qwen presterar bäst med entropibaserat val. Jämförelsen mellan LLM:er under slumpmässigt val är den enda parvisa kontrasten som förblir statistiskt signifikant efter Bonferroni-korrigering (𝑊 = 0,0, 𝑝 = 0,002), vilket gör denna interaktion mellan LLM och strategi till den mest robusta parvisa effekten i studien. Klassvis analys visar att augmenteringens fördelar koncentreras till klasser som definieras av ämnesoberoende attributionsmönster (Labeling, Overgeneralization, Personalization), vilket tyder på att LLM-baserad augmentering främst hjälper genom att diversifiera ytformer så att klassificeraren förlitar sig mindre på dataset-specifika lexikala genvägar.