Deep Learning for Wildfire Progression Monitoring Using SAR and Optical Satellite Image Time Series
2021 (English)Doctoral thesis, comprehensive summary (Other academic)Alternative title
Djupinlärning för övervakning av skogsbränders utveckling med hjälp av tidsserier av SAR- och optiska satellittidsserier (Swedish)
Abstract [en]
Wildfires have coexisted with human societies for more than 350 million years, always playing an important role in affecting the Earth's surface and climate. Across the globe, wildfires are becoming larger, more frequent, and longer-duration, and tend to be more destructive both in lives lost and economic costs, because of climate change and human activities. To reduce the damages from such destructive wildfires, it is critical to track wildfire progressions in near real-time, or even real-time. Satellite remote sensing enables cost-effective, accurate, and timely monitoring on the wildfire progressions over vast geographic areas. The free availability of global coverage Landsat-8 and Sentinel-1/2 data opens the new era for global land surface monitoring, providing an opportunity to analyze wildfire impacts around the globe. The advances in both cloud computing and deep learning empower the automatic interpretation of spatio-temporal remote sensing big data on a large scale.
The overall objective of this thesis is to investigate the potential of modern medium resolution earth observation data, especially Sentinel-1 C-Band synthetic aperture radar (SAR) data, in wildfire monitoring and develop operational and effective approaches for real-world applications. This thesis systematically analyzes the physical basis of earth observation data for wildfire applications, and critically reviews the available wildfire burned area mapping methods in terms of satellite data, such as SAR, optical, and SAR-Optical fusion. Taking into account its great power in learning useful representations, deep learning is adopted as the main tool to extract wildfire-induced changes from SAR and optical image time series. On a regional scale, this thesis has conducted the following four fundamental studies that may have the potential to further pave the way for achieving larger scale or even global wildfire monitoring applications.
To avoid manual selection of temporal indices and to highlight wildfire-induced changes in burned areas, we proposed an implicit radar convolutional burn index (RCBI), with which we assessed the roles of Sentinel-1 C-Band SAR intensity and phase in SAR-based burned area mapping. The experimental results show that RCBI is more effective than the conventional log-ratio differencing approach in detecting burned areas. Though VV intensity itself may perform poorly, the accuracy can be significantly improved when phase information is integrated using Interferometric SAR (InSAR). On the other hand, VV intensity also shows the potential to improve VH intensity-based detection results with RCBI. By exploiting VH and VV intensity together, the proposed RCBI achieved an overall mapping accuracy of 94.68% and 94.17% on the 2017 Thomas Fire and the 2018 Carr Fire.
For the scenario of near real-time application, we investigated and demonstrated the potential Sentinel-1 SAR time series for wildfire progression monitoring with Convolutional Neural Networks (CNN). In this study, the available pre-fire SAR time series were exploited to compute temporal average and standard deviation for characterizing SAR backscatter behaviors over time and highlighting the changes with kMap. Trained with binarized kMap time series in a progression-wise manner, CNN showed good capability in detecting wildfire burned areas and capturing temporal progressions as demonstrated on three large and impactful wildfires with various topographic conditions. Compared to the pseudo masks (binarized kMap), CNN-based framework brought an 0.18 improvement in F1 score on the 2018 Camp Fire, and 0.23 on the 2019 Chuckegg Creek Fire. The experimental results demonstrated that spaceborne SAR time series with deep learning can play a significant role for near real-time wildfire monitoring when the data becomes available at daily and hourly intervals.
For continuous wildfire progression mapping, we proposed a novel framework of learning U-Net without forgetting in a near real-time manner. By imposing a temporal consistency restriction on the network response, Learning without Forgetting (LwF) allows the U-Net to learn new capabilities for better handling with newly incoming data, and simultaneously keep its existing capabilities learned before. Unlike the continuous joint training (CJT) with all available historical data, LwF makes U-Net learning not dependent on the historical training data any more. To improve the quality of SAR-based pseudo progression masks, we accumulated the burned areas detected by optical data acquired prior to SAR observations. The experimental results demonstrated that LwF has the potential to match CJT in terms of the agreement between SAR-based results and optical-based ground truth, achieving a F1 score of 0.8423 on the Sydney Fire (2019-2020) and 0.7807 on the Chuckegg Creek Fire (2019). We also found that the SAR cross-polarization ratio (VH/VV) can be very useful in highlighting burned areas when VH and VV have diverse temporal change behaviors.
SAR-based change detection often suffers from the variability of the surrounding background noise, we proposed a Total Variation (TV)-regularized U-Net model to relieve the influence of SAR-based noisy masks. Considering the small size of labeled wildfire data, transfer learning was adopted to fine-tune U-Net from pre-trained weights based on the past wildfire data. We quantified the effects of TV regularization on increasing the connectivity of SAR-based areas, and found that TV-regularized U-Net can significantly increase the burned area mapping accuracy, bringing an improvement of 0.0338 in F1 score and 0.0386 in IoU score on the validation set. With TV regularization, U-Net trained with noisy SAR masks achieved the highest F1 (0.6904) and IoU (0.5295), while U-Net trained with optical reference mask achieved the highest F1 (0.7529) and IoU (0.6054) score without TV regularization. When applied on wildfire progression mapping, TV-regularized U-Net also worked significantly better than vanilla U-Net with the supervision of noisy SAR-based masks, visually comparable to optical mask-based results.
On the regional scale, we demonstrated the effectiveness of deep learning on SAR-based and SAR-optical fusion based wildfire progression mapping. To scale up deep learning models and make them globally applicable, large-scale globally distributed data is needed. Considering the scarcity of labelled data in the field of remote sensing, weakly/self-supervised learning will be our main research directions to go in the near future.
Abstract [sv]
Skogsbränder har funnits tillsammans med mänskliga samhällen i mer än350 miljoner år och har alltid spelat en viktig roll när det gäller att påverkajordens yta och klimat. Över hela världen blir skogsbränderna allt större, vanligareoch mer långvariga, och tenderar att bli mer destruktiva både när detgäller förlorade liv och ekonomiska kostnader, på grund av klimatförändringaroch mänsklig verksamhet. För att minska skadorna från sådana destruktivaskogsbränder är det viktigt att spåra utvecklingen av skogsbränder i nära realtid,eller till och med i realtid. Satellitbaserad fjärranalys gör det möjligtatt kostnadseffektivt, exakt och i rätt tid övervaka hur skogsbränder utvecklasöver stora geografiska områden. Den fria tillgången till data från Landsat-8och Sentinel-1/-2 som täcker hela världen öppnar en ny era för global övervakningav markytan och ger möjlighet att analysera effekterna av skogsbränderrunt om i världen. Framstegen inom både molntjänster och djupinlärning gördet möjligt att automatiskt tolkningen av rumslig och tidsmässig stora datafrån fjärranalys i stor skala.
Det övergripande målet med denna avhandling är att undersöka potentialenhos moderna jordobservationsdata med medelhög upplösning, särskiltSentinel-1 C-bands syntetisk aperturradar (SAR), för övervakning av skogsbränderoch att utveckla operativa och effektiva metoder för tillämpningar iverkligheten. I denna avhandling analyseras systematiskt den fysiska grundenför jordobservationsdata för tillämpningar vid skogsbränder, och de tillgängligametoderna för kartläggning av brända områden vid skogsbrändergranskas kritiskt med avseende på satellitdata, t.ex. SAR, optisk och SARoptiskfusion. Med hänsyn till dess stora förmåga att lära sig användbararepresentationer används djup inlärning som huvudverktyg för att extraheraförändringar orsakade av skogsbränder från tidsserier av SAR- och optiskabilder. På regional nivå har följande fyra grundläggande studier genomförts idenna avhandling, som kan ha potential att ytterligare bana väg för att uppnåmer omfattande eller till och med globala tillämpningar för övervakningav skogsbränder.
För att undvika manuellt urval av tidsmässiga index och för att belysaförändringar i brända områden som orsakats av skogsbränder, föreslog vi ettimplicit radarkonvolutionellt brännindex (RCBI), med vilket vi utvärderaderollerna för Sentinel-1 C-Band SAR-intensitet och fas i SAR-baserad kartläggningav brända områden. De experimentella resultaten visar att RCBI äreffektivare än den konventionella metoden med logförhållandedifferentieringnär det gäller att upptäcka brända områden. Även om VV-intensiteten i sigkan ge dåliga resultat kan noggrannheten förbättras avsevärt när fasinformationintegreras med hjälp av interferometrisk SAR (InSAR). Å andra sidanvisar VV-intensitet också potential att förbättra VH-intensitetsbaseradedetektionsresultat med RCBI. Genom att utnyttja VH- och VV-intensitettillsammans uppnådde den föreslagna RCBI en övergripande kartläggningsnoggrannhetpå 94,68
När det gäller scenariot för tillämpning i nära realtid undersökte och demonstrerade vi den potentiella Sentinel-1 SAR-tidsserien för övervakning av skogsbränders utveckling med hjälp av Convolutional Neural Networks(CNN). I den här studien utnyttjades de tillgängliga SAR-tidsserierna fråntiden före branden för att beräkna tidsmässigt medelvärde och standardavvikelseför att karaktärisera SAR-bakspridningsbeteenden över tiden och belysaförändringarna med kMap. CNN, som tränades med binäriserade kMaptidsserierpå ett progressivt sätt, visade god förmåga att upptäcka brändaområden i samband med skogsbränder och att fånga upp tidsmässiga förändringar,vilket visades på tre stora och påverkanfulla skogsbränder med olikatopografiska förhållanden. Jämfört med pseudomaskerna (binäriserad kMap)gav CNN-baserade ramverk en förbättring av F1-poängen med 0,18 för CampFire 2018 och 0,23 för Chuckegg Creek Fire 2019. De experimentella resultatenvisade att rymdburna SAR-tidsserier med djupinlärning kan spela en viktigroll för övervakning av vilda bränder i nära realtid när data blir tillgängligamed dagliga och timvisa intervaller.
För kontinuerlig kartläggning av skogsbränders utveckling föreslog vi ettnytt ramverk för inlärning av U-Net utan att glömma i nära realtid. Genomatt införa en begränsning av den tidsmässiga konsistensen för nätverksresponsengör inlärning utan glömska (LwF) det möjligt för U-Net att lära sig nyafunktioner för att bättre hantera ny inkommande data och samtidigt behållasina befintliga funktioner som man lärt sig tidigare. Till skillnad från kontinuerliggemensam träning (CJT) med alla tillgängliga historiska data gör LwFatt inlärningen av U-Net inte längre är beroende av historiska träningsdata.För att förbättra kvaliteten på SAR-baserade pseudoprogressionsmaskerackumulerade vi de brända områden som upptäcktes med optiska data somförvärvades före SAR-observationerna. De experimentella resultaten visadeatt LwF har potential att matcha CJT när det gäller överensstämmelsen mellanSAR-baserade resultat och optisk-baserad grundsanning, och uppnådde enF1-poäng på 0,8423 för Sydneybranden (2019-2020) och 0,7807 för ChuckeggCreek-branden (2019). Vi fann också att SAR:s korspolarisationsförhållande(VH/VV) kan vara mycket användbart för att lyfta fram brända områden närVH och VV har olika tidsmässiga förändringsbeteenden.
SAR-baserad förändringsdetektering lider ofta av variabiliteten hos detomgivande bakgrundsbruset, vi föreslog en Total Variation (TV)-reglerad UNet-modell för att lindra inflytandet av SAR-baserade bullriga masker. Medtanke på den lilla storleken på märkta uppgifter om skogsbränder användesöverföringsinlärning för att finjustera U-Net från förtränade vikter baseradepå tidigare uppgifter om skogsbränder. Vi kvantifierade effekternaav TV-regularisering för att öka konnektiviteten hos SAR-baserade områdenoch fann att TV-regulariserade U-Net kan öka noggrannheten i kartläggningenav brända områden avsevärt, vilket ger en förbättring på 0,0338i F1-poäng och 0,0386 i IoU-poäng på valideringsuppsättningen. Med TVregulariseringuppnådde U-Net som tränats med brusiga SAR-masker denhögsta F1- (0,6904) och IoU- (0,5295), medan U-Net som tränats med optiskreferensmask uppnådde den högsta F1- (0,7529) och IoU- (0,6054) poängenutan TV-regularisering. Vid tillämpning på kartläggning av skogsbrandsutvecklingfungerade TV-regulariserad U-Net också betydligt bättre än vanillaU-Net med övervakning av bullriga SAR-baserade masker, visuellt jämförbara med optiska maskbaserade resultat.
På regional nivå visade vi effektiviteten av djupinlärning på SAR-baseradoch SAR-optisk fusionsbaserad kartläggning av skogsbrandsutveckling. Föratt skala upp modeller för djupinlärning och göra dem globalt tillämpbarabehövs storskaliga globalt distribuerade data. Med tanke på bristen på märktadata inom fjärranalysområdet kommer svagt/självövervakad inlärning attvara vår huvudsakliga forskningsinriktning inom den närmaste framtiden.
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2021. , p. 83
Series
TRITA-ABE-DLT ; 2129
Keywords [en]
Remote Sensing, Deep Learning, Wildfire, Burned Area Mapping, Synthetic Aperture Radar, Change Detection, Segmentation, Optical and Radar Image Analysis, Sentinel-1, Sentinel-2
Keywords [sv]
fjärranalys, djup inlärning, skogsbrand, kartläggning av brända områden, Synthetic Aperture Radar, upptäckt av förändringar, segmentering, analys av optiska och radarbilder, Sentinel-1, Sentinel-2
National Category
Earth and Related Environmental Sciences
Research subject
Geodesy and Geoinformatics, Geoinformatics
Identifiers
URN: urn:nbn:se:kth:diva-295725ISBN: 978-91-7873-935-6 (print)OAI: oai:DiVA.org:kth-295725DiVA, id: diva2:1557429
Public defence
2021-06-15, Videolänk:https://kth-se.zoom.us/j/65483992232, Du som saknar dator /datorvana kontakta yifang@kth.se / Use the e-mail address if you need technical assistance, Stockholm, 14:30 (English)
Opponent
Supervisors
Note
QC 210526
2021-05-262021-05-252025-02-07Bibliographically approved
List of papers