Deep Learning for Active Fire Detection Using Multi-Source Satellite Image Time Series
2023 (English)Licentiate thesis, comprehensive summary (Other academic)
Abstract [en]
In recent years, climate change and human activities have caused increas- ing numbers of wildfires. Earth observation data with various spatial and temporal resolutions have shown great potential in detecting and monitoring wildfires. Advanced Baseline Imager (ABI) onboarding NOAA’s geostation- ary weather satellites Geostationary Operational Environmental Satellites R Series (GOES-R) can acquire images every 15 minutes at 2km spatial resolu- tion and has been used for early fire detection. Moderate Resolution Imaging Spectroradiometer (MODIS) and Visible Infrared Imaging Radiometer Suite (VIIRS) onboarding sun-synchronous satellites offer twice daily revisit and are widely used in active fire detection. VIIRS Active Fire product (VNP14IMG) has 375 m spatial resolution and MODIS Active Fire product (MCD14DL) has 1 km spatial resolution. While these products are very useful, the existing solutions have flaws, including many false alarms due to cloud cover or build- ings with roofs in high-temperature. Also, the multi-criteria threshold-based method does not leverage rich temporal information of each pixel at different timestamps and rich spatial information between neighbouring pixels. There- fore, advanced processing algorithms are needed to provide reliable detection of active fires.
In this thesis, the main objective is to develop deep learning-based meth- ods for improved active fire detection, utilizing multi-sensor earth observation images. The high temporal resolution of the above satellites makes temporal information more valuable than spatial resolution. Therefore, sequential deep learning models like Gated Recurrent Unit (GRU), Long-Short Term Memory (LSTM), and Transformer are promising candidates for utilizing temporal in- formation encoded in the variation of the thermal band values. In this thesis, a GRU-based early fire detection method is proposed using GOES-R ABI time-series which shows earlier detection time of wildfires than VIIRS active fire product by NASA. In addition, a Transformer based method is proposed utilizing the Suomi National Polar-orbiting Partnership (Suomi-NPP) VIIRS time-series which shows better accuracy in active fire detection than VIIRS active fire product.
The GRU-based GOES-R early detection method utilizes GOES-R ABI time-series which is composed of normalized difference between Mid Infra-red (MIR) Band 7 and Long-wave Infra-red Band 14. And Long-wave Infra-red Band 15 is used as the cloud mask. A 5-layer GRU network is proposed to process the time-series of each pixel and classify the active fire pixels at each time step. For 36 study areas across North America and South America, the proposed method detects 26 wildfires earlier than VIIRS active fire product. Moreover, the method mitigates the problem of coarse resolution of GOES- R ABI images by upsampling and the results show more reliable early-stage active fire location and suppresses the noise compared to GOES-R active fire product.
For active fire detection utilizing the VIIRS time-series, a Transformer based solution is proposed. The VIIRS time-series images are tokenized into vectors of pixel time-series as the input to the proposed Transformer model. The attention mechanism of the Transformer helps to find the relations of the pixel at different time steps. By detecting the variation of the pixel values, the proposed model classifies the pixel at different time steps as an active fire pixel or a non-fire pixel. The proposed method is tested over 18 study areas across different regions and provides a 0.804 F1-Score. It outperforms the VIIRS active fire products from NASA which has a 0.663 F1-Score. Also, the Transformer model is proven to be superior for active fire detection to other sequential models like GRU (0.647 F1-Score) and LSTM (0.756 F1- Score). Also, both F1 scores and IoU scores of all sequential models indicate sequential models perform much better than spatial ConvNet models, for example, UNet (0.609 F1-Score) and Trans-U-Net (0.641 F1-Score).
Future research is planned to explore the potential of both optical and SAR satellite data such as VIIRS, Sentinel-2, Landsat-8/9, Sentinel-1 C-band SAR and ALOS Phased Array L-band Synthetic Aperture Radar (PALSAR) for daily wildfire progression mapping. Advanced deep learning models, for example, Swin-Transformer and SwinUNETR will also be investigated to im- prove multi-sensor exploitation.
Abstract [sv]
Under de senaste åren har klimatförändringar och mänsklig verksamhet orsakat allt fler skogsbränder. Jordobservationsdata med olika rumsliga och tidsmässiga upplösningar har visat sig ha stor potential när det gäller att upp- täcka och övervaka skogsbränder. Advanced Baseline Imager (ABI) på NO- AA:s geostationära vädersatelliter Geostationary Operational Environmental Satellites R Series (GOES-R) kan ta bilder var 15:e minut med en rumslig upplösning på 2 km och har använts för tidig upptäckt av bränder. Moderate Resolution Imaging Spectroradiometer (MODIS) och Visible Infrared Imaging Radiometer Suite (VIIRS) på solsynkrona satelliter har två gånger per dag och används ofta för att upptäcka aktiva bränder. VIIRS Active Fire product (VNP14IMG) har en geografisk upplösning på 375 m och MODIS Active Fire product (MCD14DL) har en geografisk upplösning på 1 km. Även om dessa produkter är mycket användbara har de befintliga lösningarna brister, bl.a. många falska larm på grund av molntäcke eller byggnader med tak med hög temperatur. Den multikriteriebaserade tröskelmetoden utnyttjar inte heller den rika tidsmässiga informationen för varje pixel vid olika tidpunkter och den rika rumsliga informationen mellan närliggande pixlar. Därför behövs avancerade bearbetningsalgoritmer för att tillförlitligt kunna upptäcka aktiva bränder.
Huvudsyftet med den här avhandlingen är att utveckla metoder baserade på djupinlärning för förbättrad aktiv branddetektering med hjälp av jordob- servationsbilder med flera sensorer. Den höga tidsmässiga upplösningen hos ovannämnda satelliter gör att den tidsmässiga informationen är mer värdefull än den spatiala upplösningen. Därför är sekventiella djupinlärningsmodeller som Gated Recurrent Unit (GRU), Long-Short Term Memory (LSTM) och Transformer lovande kandidater för att utnyttja den tidsmässiga informatio- nen som är kodad i variationen av värmebandsvärdena. I den här avhand- lingen föreslås en GRU-baserad metod för tidig branddetektering med hjälp av GOES-R ABI-tidsserier som visar att skogsbränder upptäcks tidigare än VIIRS Active Fire Product från NASA. Dessutom föreslås en transforma- torbaserad metod som utnyttjar Suomi National Polar-orbiting Partnership (Suomi-NPP) VIIRS-tidsserier som visar bättre noggrannhet vid aktiv brand- detektering än VIIRS aktiva brandprodukt.
Den GRU-baserade GOES-R-metoden för tidig upptäckt använder GOES- R ABI-tidsserier som består av den normaliserade skillnaden mellan MIR- bandet 7 (Mid Infra-Red) och 14 (Long-wave Infra-Red). Det långvågiga in- fraröda bandet 15 används som molnmask. Ett GRU-nätverk i fem lager fö- reslås för att bearbeta tidsserierna för varje pixel och klassificera de aktiva brandpixlarna vid varje tidssteg. För 36 undersökningsområden i Nord- och Sydamerika upptäcker den föreslagna metoden 26 skogsbränder tidigare än VIIRS-produkten för aktiva bränder. Dessutom mildrar metoden problemet med GOESR ABI-bildernas grova upplösning genom uppgradering, och resul- taten visar en mer tillförlitlig lokalisering av aktiva bränder i ett tidigt skede och undertrycker bruset jämfört med GOES-R:s produkt för aktiva bränder.
För aktiv branddetektering med hjälp av VIIRS-tidsserier föreslås en transformatorbaserad lösning. VIIRS-tidsseriebilderna omvandlas till vektorer av pixeltidsserier som indata till den föreslagna transformatormodellen. Transformatorns uppmärksamhetsmekanism hjälper till att hitta relationen mellan pixlarna vid olika tidssteg. Genom att upptäcka variationen i pixel- värdena klassificerar den föreslagna modellen pixeln vid olika tidssteg som en aktiv brandpixel eller en icke-brandpixel. Den föreslagna metoden testas på 18 undersökningsområden i olika regioner och ger ett F1-värde på 0,804. Den överträffar VIIRS-produkterna för aktiva bränder från NASA som har en F1- poäng på 0,663. Transformatormodellen har också visat sig vara överlägsen för aktiv branddetektering jämfört med andra sekvensmodeller som GRU (0,647 F1-Score) och LSTM (0,756 F1-Score). Dessutom visar både F1-poäng och IoU-poäng för alla sekvensmodeller att sekventiella modeller presterar myc- ket bättre än spatiala ConvNet-modeller, till exempel UNet (0,609 F1-poäng) och Trans-U-Net (0,641 F1-poäng).
Framtida forskning planeras för att utforska potentialen hos både optiska och SAR-satellitdata, t.ex. VIIRS, Sentinel-2, Landsat-8/9, Sentinel-1 C-band SAR och ALOS Phased Array L-band Synthetic Aperture Radar (PALSAR), för daglig kartläggning av skogsbränders utveckling. Avancerade modeller för djupinlärning, t.ex. Swin-Transformer och SwinUNETR, kommer också att undersökas för att förbättra utnyttjandet av flera sensorer.
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2023. , p. 67
Series
TRITA-ABE-DLT ; 2315
Keywords [en]
Wildfire, Remote Sensing, Active Fire Detection, GOES-R ABI, Suomi-NPP VIIRS, Image Segmentation, Deep Learning, Gated Recurrent Units (GRU), Transformer.
Keywords [sv]
Vilda Bränder, Fjärranalys, Aktiv Branddetektering, GOES- R ABI, Suomi-NPP VIIRS, Bildsegmentering, Djupinlärning, Gated Recurrent Units (GRU), Transformer
National Category
Earth Observation
Research subject
Geodesy and Geoinformatics, Geoinformatics
Identifiers
URN: urn:nbn:se:kth:diva-327380ISBN: 978-91-8040-529-4 (print)OAI: oai:DiVA.org:kth-327380DiVA, id: diva2:1759427
Presentation
2023-06-15, E53, Osquarsbacke 18, KTH Campus, video conference link [MISSING], Stockholm, 10:00 (English)
Opponent
Supervisors
Note
QC 20230526
2023-05-262023-05-252025-02-10Bibliographically approved
List of papers