CO2 Sensor: Outlier Detection, Calibration and Prediction
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis
Abstract [en]
This thesis addresses key challenges in detecting outliers, calibrating low-cost CO2 sensors, and predicting short-term CO2 levels in environmental monitoring. Low-cost sensors often exhibit accuracy drift and limited precision, reducing the reliability of the data they generate. To mitigate these issues, we explored advanced methodologies for outlier detection, sensor calibration, and short-term forecasting. Outlier detection is a primary focus because outliers can distort sensor data, leading to inaccurate analysis, removing them ensures more reliable results for future data processing, employing both ARIMA (AutoRegressive Integrated Moving Average) and DBSCAN (Density-Based Spatial Clustering of Applications with Noise) methods. ARIMA effectively identified temporal anomalies through residual analysis, while DBSCAN handled spatial clustering-based outlier detection. Evaluation using ROC curve analysis confirmed the robustness of these methods, significantly enhancing the quality and reliability of sensor data. For sensor calibration, the thesis introduces the Deep Calibration Method (DeepCM), utilizing deep learning to model complex, non-linear sensor behaviors. Within this framework, the Sliding Window Supervised Calibration method achieved the best results, with a Root Mean Square Error (RMSE) of 4.56 ppm, significantly enhancing calibration accuracy compared to other methods. In the short-term prediction of CO2 levels, various Long Short-Term Memory (LSTM) models were employed, including the Single-sensor LSTM Model, Single-sensor LSTM Encoder-Decoder Model, and Multi-sensor LSTM Encoder-Decoder Model. The Single-sensor LSTM Model performed notably well, achieving an RMSE of 2.19 ppm and a Mean Absolute Error (MAE) of 1.64 ppm, demonstrating superior prediction accuracy over traditional time-series models. Overall, this work emphasizes the importance of robust outlier detection, accurate calibration, and effective short-term forecasting in enhancing the performance of low- cost CO2 sensors for real-world environmental monitoring applications.
Abstract [sv]
Denna avhandling behandlar viktiga utmaningar när det gäller att upptäcka avvikande värden, kalibrera billiga CO2-sensorer och förutsäga kortsiktiga CO2-nivåer vid miljöövervakning. Lågkostnadssensorer uppvisar ofta noggrannhetsdrift och begränsad precision, vilket minskar tillförlitligheten hos de data de genererar. För att mildra dessa problem har vi undersökt avancerade metoder för detektering av avvikelser, sensorkalibrering och korttidsprognoser. Detektering av avvikande värden är ett primärt fokus eftersom avvikande värden kan snedvrida sensordata och leda till felaktig analys, och genom att ta bort dem säkerställs mer tillförlitliga resultat för framtida databehandling, med hjälp av både ARIMA (AutoRegressive Integrated Moving Average) och DBSCAN (Density- Based Spatial Clustering of Applications with Noise) metoder. ARIMA identifierade effektivt temporala avvikelser genom residualanalys, medan DBSCAN hanterade rumslig klusterbaserad avvikelsedetektering. Utvärdering med hjälp av ROC- kurvan bekräftade metodernas robusthet, vilket avsevärt förbättrade kvaliteten och tillförlitligheten hos sensordata. För sensorkalibrering introducerar avhandlingen Deep Calibration Method (DeepCM), som använder djupinlärning för att modellera komplexa, icke- linjära sensorbeteenden. Inom detta ramverk uppnådde Sliding Window Supervised Calibration-metoden de bästa resultaten, med ett Root Mean Square Error (RMSE) på 4,56 ppm, vilket avsevärt förbättrade kalibreringsnoggrannheten jämfört med andra metoder. I den kortsiktiga förutsägelsen av CO2-nivåer användes olika LSTM-modeller (Long Short-Term Memory), inklusive LSTM-modellen med en enda sensor, LSTM-modellen med en enda sensor och kodning och avkodning samt LSTM-modellen med kodning och avkodning med flera sensorer. Single-sensor LSTM-modellen presterade särskilt bra och uppnådde en RMSE på 2,19 ppm och ett medelabsolutfel (MAE) på 1,64 ppm, vilket visar överlägsen förutsägelsesnoggrannhet jämfört med traditionella tidsseriemodeller. Sammantaget betonar detta arbete vikten av robust detektering av avvikelser, noggrann kalibrering och effektiv kortsiktig prognos för att förbättra prestandan hos billiga CO2-sensorer för verkliga miljöövervakningstillämpningar.
Place, publisher, year, edition, pages
2024. , p. 120
Series
TRITA-EECS-EX ; 2024:941
Keywords [en]
CO2 Outlier Detction, Sensor Calibration, Deep Learning, Long Short-Term Memory (LSTM), Deep Calibration Method (DeepCM)
Keywords [sv]
CO2Detektion av avvikelser, Sensor Kalibrering, Djupinlärning, Long Short-Term Memory (LSTM), Djup Kalibreringsmetod (DeepCM)
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-361068OAI: oai:DiVA.org:kth-361068DiVA, id: diva2:1943614
Supervisors
Examiners
2025-03-172025-03-112025-03-17Bibliographically approved