Honeypot LLM: Optimizing LLM Strategic Deception for High-Interaction Network Honeypots
2026 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Honeypot LLM : Optimering av LLM-baserad Strategisk Vilseledning för Höginteraktiva Nätverkshoneypots (Swedish)
Abstract [en]
Static honeypots produce deterministic, scripted responses that experienced attackers can fingerprint within seconds. Large Language Models (LLMs) offer an alternative: a generative shell that responds dynamically to any command, maintaining a convincing Linux persona without the operational risk of a real operating system. This thesis evaluates how effectively different LLM models and prompt-engineering strategies can fill that role, and what the practical trade-offs are between accuracy, latency, and deployment infrastructure. A unified SSH honeypot framework, HoneypotSSH, was developed and used to evaluate six model-backend combinations across two prompt configurations: a minimal baseline and a structured configuration comprising explicit behavioural rules, few-shot examples, and a chain-of-thought scaffold. Each combination was tested across 120 sessions and 5,160 individual command evaluations. The framework was subsequently deployed on a public-facing server for 28 hours and 28 minutes to collect real-world attacker traffic. Prompt engineering proved to be the dominant determinant of deception fidelity, outweighing raw model capability for every model above a minimum parameter threshold. The structured prompt improved accuracy over the baseline by up to 59.9 percentage points. DeepSeek V3.1-671B achieved the highest mean accuracy at 94.6%, while GPT-OSS 20B offered the best accuracy-to-latency balance at 86.5% and 3.92 seconds average response time. Models below approximately 20 billion parameters were insufficient for the task regardless of prompt quality. Infrastructure was largely neutral under a well-engineered prompt, with cloud and HPC backends producing accuracy scores within 0.2 percentage points for the same model. The live deployment attracted connections within minutes, sustained 78 sessions from a persistent automated prober, and provided qualitative insight into real-world failure modes including chain-of-thought leakage and internal IP disclosure when subjected to adversarial testing by a technically sophisticated practitioner. The findings demonstrate that open-weight LLMs, when paired with a sufficiently detailed prompt, can achieve deception fidelity comparable to proprietary commercial models without requiring API access or fine-tuning.
Abstract [sv]
Statiska honeypots producerar deterministiska, skriptade svar som erfarna angripare kan identifiera på några sekunder. Stora språkmodeller (LLM) erbjuder ett alternativ: ett generativt skal som dynamiskt svarar på godtyckliga kommandon och upprätthåller en trovärdig Linux-persona utan de operativa riskerna med ett riktigt operativsystem. Denna avhandling utvärderar hur effektivt olika LLM-modeller och prompt-strategier kan fylla den rollen, samt vilka praktiska avvägningar som finns mellan noggrannhet, svarstid och driftsättningsinfrastruktur. Ett enhetligt SSH-honeypotsramverk, HoneypotSSH, utvecklades och användes för att utvärdera sex modell- och backendkombinationer mot två promptkonfigurationer: en minimal baslinje och en strukturerad konfiguration bestående av explicita beteenderegler, few-shot-exempel och ett chain-of-thought-stöd. Varje kombination testades över 120 sessioner och 5 160 individuella kommandutvärderingar. Ramverket driftsattes därefter på en offentligt tillgänglig server under 28 timmar och 28 minuter för att samla in verklig angriprtrafik. Prompt-engineering visade sig vara den dominerande faktorn för bedrägeriets trovärdighet, viktigare än modellens råa kapacitet för alla modeller över ett minimalt parametertröskel. Den strukturerade prompten förbättrade noggrannheten jämfört med baslinjen med upp till 59,9 procentenheter. DeepSeek V3.1-671B uppnådde den högsta medelnoggrannnheten på 94,6%, medan GPT-OSS 20B erbjöd den bästa balansen mellan noggrannhet och svarstid på 86,5% och 3,92 sekunders genomsnittlig svarstid. Modeller under ungefär 20 miljarder parametrar var otillräckliga för uppgiften oavsett promptkvalitet. Infrastrukturen visade sig i stort sett neutral under en välkonstruerad prompt, där moln- och HPC-backends producerade noggrannhetspoäng inom 0,2 procentenheter för samma modell. Den verkliga driftsättningen attraherade anslutningar inom minuter, upprätthöll 78 sessioner från en envis automatiserad sökare, och gav kvalitativa insikter om verkliga svagheter, inklusive läckage av chain-of-thought-resonemang och intern IP-avslöjande vid adversariell testning av en tekniskt kunnig testare. Resultaten visar att open-weight LLM:er, i kombination med en tillräckligt detaljerad prompt, kan uppnå en bedrägeritrogenhet jämförbar med proprietära kommersiella modeller utan att kräva API-åtkomst eller fine-tuning.
Place, publisher, year, edition, pages
2026. , p. 65
Series
TRITA-EECS-EX ; 2026:386
Keywords [en]
Honeypot, Large Language Model, Prompt engineering, Cyber deception, SSH, Shell emulation, Fingerprint resistance, Threat intelligence
Keywords [sv]
Honeypot, Large Language Model, Prompt engineering, Cyber deception, SSH, Shell emulation, Fingerprint resistance, Threat intelligence
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-391087OAI: oai:DiVA.org:kth-391087DiVA, id: diva2:2111787
Educational program
Teknologie masterexamen - Cybersecurity
Supervisors
Examiners
2026-11-032026-10-202026-11-03Bibliographically approved