Automating Data Plane Configuration: Leveraging LLMs for P4 Code Generation
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Automatiserad konfiguration av dataplanet : Användning av LLM:er för P4-kodgenerering (Swedish)
Abstract [en]
The increasing complexity of network infrastructures, driven by Software Defined Networking (SDN), has made data plane programming with languages like P4 a challenging and error-prone task. This thesis investigates the potential of Large Language Models (LLMs) to automate and assist in P4 code generation. Using an experimental methodology, this study evaluates the performance of both openweight (Phi-4, M-32B) and closed-weight (o4-mini) LLMs on a benchmark of P4 programming exercises. The thesis compares multiple approaches, including various prompt engineering strategies and Parameter-Efficient Fine-Tuning (PEFT) on a custom P4 dataset. The results demonstrate that off-the-shelf open-weight models fail to generate any compilable P4 code, highlighting the need for specialization. Fine-tuning proved highly effective, with the fine-tuned M-32B model achieving a 64.3% compilation success rate. The smaller fine-tuned Phi-4 model showed higher relative functional correctness, which suggests a trade-off between model size and understanding of syntax and semantics. For the state-of-the-art model, o4-mini, an iterative feedback strategy that mimics a human developer’s workflow was the most successful prompting technique, increasing compilation success to 57.1%. This study concludes that while LLMs show significant promise as a tool for P4 development, fine-tuning is important for handling niche Domain-Specific Language (DSL). The findings indicate that both specialized models and advanced prompting techniques can significantly enhance developer productivity. However, human oversight remains essential for ensuring code correctness and security.
Abstract [sv]
efinierade Nätverk (Software Defined Networking, SDN), har gjort dataplanprogrammering med språk som P4 till en utmanande och felbenägen uppgift. Denna uppsats undersöker potentialen hos stora språkmodeller (Large Language Models, LLMs) för att automatisera och assistera vid generering av P4-kod. Genom en experimentell metodik utvärderar studien prestandan hos både öppet tillgängliga modeller (Phi-4, M-32B) och slutna modeller (o4-mini) på ett benchmark bestående av programmeringsuppgifter i P4. Uppsatsen jämför flera tekniker, inklusive olika strategier för prompt engineering och parameter-effektiv finjustering (Parameter-Efficient Fine-Tuning, PEFT) på ett specialanpassat P4-dataset. Resultaten visar att färdiga modeller med öppen viktning inte lyckas generera någon P4-kod som kan kompileras, vilket understryker behovet av specialisering. Finjustering visade sig vara mycket effektiv, där den finjusterade M-32Bmodellen nådde en kompilationsframgång på 64,3%. Den mindre finjusterade Phi- 4-modellen visade högre relativ funktionell korrekthet, vilket antyder en avvägning mellan modellstorlek och förståelse av syntax och semantik. För den avancerade modellen o4-mini var en iterativ återkopplingsstrategi, som efterliknar en mänsklig utvecklares arbetsflöde, den mest framgångsrika promptningstekniken, och ökade kompilationsframgången till 57,1%. Studien drar slutsatsen att även om LLM:er visar stor potential som verktyg för P4-utveckling, är finjustering avgörande för att hantera nischade domänspecifika språk (Domain-Specific Languages, DSLs). Resultaten visar att både specialiserade modeller och avancerade promptningstekniker avsevärt kan förbättra utvecklares produktivitet, även om mänsklig granskning fortfarande är nödvändig för att säkerställa kodens korrekthet och säkerhet.
Place, publisher, year, edition, pages
2025. , p. 54
Series
TRITA-EECS-EX ; 2025:959
Keywords [en]
Artificial Intelligence, Machine Learning, Large Language Models, Code Generation, Software Defined Networking, P4
Keywords [sv]
Artificiell Intelligens, Maskininlärning, Stora Språkmodeller, Kod-generering, Programvarudefinierade Nätverk, P4
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-377312OAI: oai:DiVA.org:kth-377312DiVA, id: diva2:2041553
External cooperation
Saab AB
Educational program
Master of Science - Machine Learning
Supervisors
Examiners
2026-03-032026-02-252026-03-03Bibliographically approved