AI-Driven Kubernetes Optimization: Using Supervised Learning to Forecast Kubernetes Metrics
2024 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesisAlternative title
AI-Drivna Optimeringar av Kubernetes : Användning av Övervakad Inlärning för att Prognostisera Kubernetes-mått (Swedish)
Abstract [en]
In the realm of cloud-native development, Kubernetes (K8s) has established itself as the premier platform for automating the deployment, scaling, and management of containerized applications. As organizations increasingly rely on K8s to support critical applications, ensuring optimal performance and reliability becomes paramount. This thesis explores the integration of supervised Machine Learning (ML) techniques with Prometheus monitoring data to enhance the operational efficiency and reliability of K8s environments. Prometheus, an open-source monitoring tool, collects metrics from Kubernetes clusters. By developing models that accurately forecast system anomalies, performance bottlenecks, and potential crashes, the research aims to enable proactive system maintenance and optimization. The study involves querying several time series metrics from Prometheus running in a production K8s cluster. Various ML models, including Application Programming Interface (API), AutoRegressive Integrated Moving Average (ARIMA), Prophet, Extreme Gradient Boosting (XGBoost), and Long Short-Term Memory (LSTM), are implemented and evaluated based on their forecasting accuracy using Mean Squared Error (MSE), Root Mean Squared Error (RMSE), and Mean Absolute Percentage Error (MAPE). Results indicate significant variability in model performance across different datasets, highlighting the need for a modular, adaptive forecasting system that dynamically selects the best model based on ongoing performance evaluations. The research concludes that integrating ML-driven predictive analytics into K8s management can potentially reduce downtime, optimize resource utilization, and improve overall application performance, offering significant operational benefits for cloud infrastructure administrators and DevOps teams.
Abstract [sv]
Inom området molnbaserad utveckling har K8s etablerat sig som den främsta plattformen för att automatisera distribution, skalning och hantering av containeriserade applikationer. När organisationer i allt högre grad förlitar sig på K8s för att stödja kritiska applikationer blir det avgörande att säkerställa optimal prestanda och tillförlitlighet. Denna avhandling utforskar integrationen av övervakade ML-tekniker med Prometheus-övervakningsdata för att förbättra den operativa effektiviteten och tillförlitligheten i K8s-miljöer. Prometheus, ett öppen källkodsövervakningsverktyg, samlar in mätvärden från Kubernetes-kluster. Genom att utveckla modeller som noggrant förutser systemavvikelser, prestandaflaskhalsar och potentiella krascher syftar forskningen till att möjliggöra proaktiv systemunderhåll och optimering. Studien innefattar att hämta flera tidsseriemått från Prometheus som körs i ett produktions-K8s-kluster. Olika ML-modeller, inklusive linjär regression, ARIMA, Prophet, XGBoost och LSTM, implementeras och utvärderas baserat på deras prognosnoggrannhet med hjälp av MSE, RMSE och MAPE. Resultaten visar på betydande variationer i modellernas prestanda över olika dataset, vilket understryker behovet av ett modulärt, adaptivt prognossystem som dynamiskt väljer den bästa modellen baserat på pågående prestandautvärderingar. Forskningen drar slutsatsen att integrationen av ML-drivna prediktiva analyser i K8s-hantering kan potentiellt minska driftstopp, optimera resursutnyttjande och förbättra den övergripande applikationsprestandan, vilket erbjuder betydande operativa fördelar för administratörer av molninfrastruktur och DevOps-team.
Place, publisher, year, edition, pages
2024. , p. 55
Series
TRITA-EECS-EX ; 2024:283
Keywords [en]
Kubernetes, Containers, Machine Learning, Time Series, Forecasting
Keywords [sv]
Kubernetes, Containers, Maskininlärning, Tidsserier, Prognostisering
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-350828OAI: oai:DiVA.org:kth-350828DiVA, id: diva2:1885076
External cooperation
Ankra
Supervisors
Examiners
2024-08-142024-07-212024-08-14Bibliographically approved