kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Deep attentive fusion network for flood detection on uni-temporal Sentinel-1 data
KTH, School of Architecture and the Built Environment (ABE), Urban Planning and Environment, Geoinformatics.ORCID iD: 0000-0003-3599-3164
KTH, School of Architecture and the Built Environment (ABE), Urban Planning and Environment, Geoinformatics.ORCID iD: 0000-0001-9692-8636
KTH, School of Architecture and the Built Environment (ABE), Urban Planning and Environment, Geoinformatics.ORCID iD: 0000-0003-1369-3216
2022 (English)In: Frontiers in Remote Sensing, E-ISSN 2673-6187, Vol. 3Article in journal (Refereed) Published
Abstract [en]

Floods are occurring across the globe, and due to climate change, flood events are expected to increase in the coming years. Current situations urge more focus on efficient monitoring of floods and detecting impacted areas. In this study, we propose two segmentation networks for flood detection on uni-temporal Sentinel-1 Synthetic Aperture Radar data. The first network is “Attentive U-Net”. It takes VV, VH, and the ratio VV/VH as input. The network uses spatial and channel-wise attention to enhance feature maps which help in learning better segmentation. “Attentive U-Net” yields 67% Intersection Over Union (IoU) on the Sen1Floods11 dataset, which is 3% better than the benchmark IoU. The second proposed network is a dual-stream “Fusion network”, where we fuse global low-resolution elevation data and permanent water masks with Sentinel-1 (VV, VH) data. Compared to the previous benchmark on the Sen1Floods11 dataset, our fusion network gave a 4.5% better IoU score. Quantitatively, the performance improvement of both proposed methods is considerable. The quantitative comparison with the benchmark method demonstrates the potential of our proposed flood detection networks. The results are further validated by qualitative analysis, in which we demonstrate that the addition of a low-resolution elevation and a permanent water mask enhances the flood detection results. Through ablation experiments and analysis we also demonstrate the effectiveness of various design choices in proposed networks.

Place, publisher, year, edition, pages
Frontiers Media SA , 2022. Vol. 3
National Category
Computer Sciences
Identifiers
URN: urn:nbn:se:kth:diva-338766DOI: 10.3389/frsen.2022.1060144ISI: 001063268700001Scopus ID: 2-s2.0-85163985571OAI: oai:DiVA.org:kth-338766DiVA, id: diva2:1807166
Note

QC 20231025

Available from: 2023-10-25 Created: 2023-10-25 Last updated: 2024-08-28Bibliographically approved
In thesis
1. Supervised and Unsupervised Deep Learning Models for Flood Detection
Open this publication in new window or tab >>Supervised and Unsupervised Deep Learning Models for Flood Detection
2023 (English)Licentiate thesis, comprehensive summary (Other academic)
Abstract [en]

Human civilization has an increasingly powerful influence on the earthsystem. Affected by climate change and land-use change, floods are occurringacross the globe and are expected to increase in the coming years. Currentsituations urge more focus on efficient monitoring of floods and detecting impactedareas. Earth observations are an invaluable source for monitoring theEarth’s surface at a large scale. In particular, the Sentinel-1 Synthetic ApertureRadar (SAR) and Sentinel-2 MultiSpectral Instrument (MSI) missionsoffer high-resolution data with frequent global revisits that are widely usedfor flood detection.Current solutions such as Copernicus Emergency Management Services(CEMS), MODIS (Moderate Resolution Imaging Spectroradiometer) globalflood product, and many others use data from Sentinel and multiple othersatellites to detect floods. Although existing solutions are helpful, they alsohave several limitations. For instance, solutions like MODIS global floodproduct detect floods solely on optical images causing poor or no detection incloudy areas. In addition, these solutions are threshold-based and often requirecriteria-based adjustments. Furthermore, these solutions do not leveragerich spatial information between neighboring pixels and don’t use temporalfeatures of time series data. Therefore, advanced processing algorithms areneeded to provide a reliable method for flood detection.This thesis presents three Deep Learning (DL) models for flood detection.The first two models are supervised segmentation models proposed todetect floods on uni-temporal Sentinel-1 SAR data. The study sites containfloods from Bolivia, Ghana, India, Mekong, Nigeria, Pakistan, Paraguay,Somalia, Spain, Sri Lanka and USA. The third model is an unsupervised spatiotemporalchange detection (CD) model that detects floods on time series ofSentinel-1 SAR data. The study sites contain floods from Slovakia, Somalia,Spain, Bolivia, Mekong, Bosnia, Australia, Scotland and Germany.The two supervised segmentation models propose improving flood detectionwith the help of self-attention mechanism and fusion of Sentinel-1 SARwith more contextual information. The first network is ’Attentive U-Net’. Ittakes Sentinel-1 channels VV (vertical transmit, vertical receive), VH (verticaltransmit, horizontal receive), and the ratio VV/VH as input. The networkuses spatial and channel-wise self-attention to enhance feature maps resultingin better segmentation. The second network is a dual-stream attentive ’Fusionnetwork’, where the global low-resolution elevation data and permanent watermasks are fused with Sentinel-1 (VV, VH) data. The ’Attentive U-Net’ yields67.2% Intersection over Union (IoU), and the ’Fusion network’ gave 69.5%IoU on the Sen1Floods11 dataset. The performance gain is 3 to 5% IoUwith respect to the existing supervised models like FCNN (49.3% IoU score),U2Net (62% IoU score), and BASNet (64% IoU score). Quantitatively, thetwo proposed networks show significant improvement over benchmark methodsdemonstrating their potential. The qualitative analysis demonstrates thecontribution of low-resolution elevation and a permanent water mask in enhancingflood detection. Ablation experiments further clarify the effectiveness of ratio, self-attention, ratio and various design choices made in proposed networks.Furthermore, to improve across-region generalizability of the flood detectionmodel and to eliminate the dependency on labels, a novel unsupervisedCD model is presented that detects floods as changes on SAR time seriesdata. The proposed model is trained to learn spatiotemporal features of theSAR time series data with the help of unsupervised learning techniques, reconstruction,and contrastive learning. The change maps are generated witha novel algorithm that utilizes the learned latent feature distributions of preand post-flood data. The model achieved an average of 70% IoU score, outperformingexisting flood detection models like RaVAEn (45.03% IoU score),cGAN (51.49% IoU score) and SCCN (54.87% IoU score) with a significantminimum margin of 15% IoU score. The proposed model is tested for generalizabilityand outperformed supervised models ADS-Net and DAUSAR whentested on unseen CEMS flood sites. In addition, an automatic change monitoringand change point detection framework is proposed. The framework isbased on the proposed unsupervised CD model where time series data is processedthrough the model to identify percentage change at each time stampand the change point is detected by identifying the date on which significantchange started to reflect on SAR data. When integrated with high temporaldata i.e. daily images from ICEYE, the framework can help in continuousflood monitoring and early detection of slowly proceeding disaster events,giving more time for response.Overall, this thesis contributes supervised and unsupervised flood detectionmodels, enabling comprehensive and widely applicable flood mapping andmonitoring capabilities. These advancements facilitate near-real-time disasterresponse and resilient urban development, thus contributing to SDG 11 -Sustainable Cities and Communities.

Abstract [sv]

Den mänskliga civilisationen har ett allt starkare inflytande på jordsystemet. Påverkad av klimatförändringar och förändringar i markanvändningen sker översvämningar över hela världen och förväntas öka under de kommande åren. Nuvarande situationer kräver mer fokus på effektiv övervakning av översvämningar och upptäckt av drabbade områden. Jordobservationer är en ovärderlig källa för att övervaka jordens yta i stor skala. Särskilt Sentinel- 1 Synthetic Aperture Radar (SAR) och Sentinel-2 MultiSpectral Instrument (MSI)-uppdrag erbjuder högupplösta data med frekventa globala återbesök som används ofta för att detektera översvämningar.

Aktuella lösningar som Copernicus Emergency Management Services (CEMS), MODIS (Moderate Resolution Imaging Spectroradiometer) globala översvämningsprodukter och många andra använder data från Sentinel och flera andra satelliter för att upptäcka översvämningar. Även om befintliga lösningar är användbara, har de också flera begränsningar. Till exempel upptäcker lösningar som MODIS globala översvämningsprodukt översvämningar enbart på optiska bilder som orsakar dålig eller ingen detektering i molniga områden. Dessutom är dessa lösningar tröskelbaserade och kräver ofta kriteriebaserade justeringar. Dessutom utnyttjar dessa lösningar inte rik rumslig information mellan angränsande pixlar och använder inte tidsseriedata. Därför behövs avancerade bearbetningsalgoritmer för att tillhandahålla en tillförlitlig metod för översvämningsdetektering.

Denna avhandling presenterar tre modeller för djupinlärning (DL) för översvämningsdetektering. De två första modellerna är övervakade segmenteringsmodeller som föreslagits för att upptäcka översvämningar på uni-temporala Sentinel-1 SAR-data. Studieplatserna innehåller översvämningar från Bolivia, Ghana, Indien, Mekong, Nigeria, Pakistan, Paraguay, Somalia, Spanien, Sri Lanka och USA. Den tredje modellen är en oövervakad modell för upptäckt av spatiotemporal förändring (CD) som detekterar översvämningar på tidsserier av Sentinel-1 SAR-data. Studieplatserna innehåller översvämningar från Slovakien, Somalia, Spanien, Bolivia, Mekong, Bosnien, Australien, Skottland och Tyskland.

De två övervakade segmenteringsmodellerna föreslår förbättring av översvämningsdetektering med hjälp av självuppmärksamhetsmekanism och fusion av Sentinel-1 SAR med mer kontextuell information. Det första nätverket är ’Attentive U-Net’. Den tar Sentinel-1-kanalerna VV (vertikal sändning, vertikal mottagning), VH (vertikal sändning, horisontell mottagning) och förhållandet VV/VH som ingång. Nätverket använder rumslig och kanalvis självuppmärksamhet för att förbättra funktionskartor vilket resulterar i bättre segmentering. Det andra nätverket är ett dubbelströms uppmärksamt Fusion-nätverk", där globala lågupplösta höjddata och permanenta vattenmasker smälts samman med Sentinel-1-data (VV, VH). ’Attentive U-Net’ ger 67,2% Intersection Over Union (IoU), och ’Fusion-nätverket’ gav 69,5% IoU på Sen1Floods11-datauppsättningen. Prestandavinsten är 3 till 5% IoU med avseende på de befintliga övervakade modellerna som FCNN (49,3% IoUpoäng), U2Net (62% IoU-poäng) och BASNet (64% IoU) Göra). Kvantitativt visar de två föreslagna nätverken betydande förbättringar jämfört med vi benchmarkmetoder som visar deras potential. Den kvalitativa analysen visar bidraget från lågupplöst höjd och en permanent vattenmask för att förbättra översvämningsdetektering. Ablationsexperiment klargör ytterligare effektiviteten av ratio, självuppmärksamhet, ratio och olika designval som gjorts i föreslagna nätverk.

Dessutom, för att förbättra översvämningsdetekteringsmodellens generaliserbarhet över regioner och för att eliminera beroendet av etiketter, presenteras en ny oövervakad CD-modell som upptäcker översvämningar som ändringar på SAR-tidsseriedata. Den föreslagna modellen är tränad för att lära sig rumsliga egenskaper hos SAR-tidsseriedata med hjälp av oövervakade inlärningstekniker, rekonstruktion och kontrastiv inlärning. Förändringskartorna genereras med en ny algoritm som använder de inlärda latenta egenskapersfördelningarna av data före och efter översvämningen. Modellen uppnådde ett genomsnitt på 70% IoU-poäng, vilket överträffade befintliga översvämningsdetekteringsmodeller som RaVAEn (45,03% IoU-poäng), cGAN (51,49% IoUpoäng) och SCCN (54,87% IoU-poäng) med en betydande minimimarginal på 15% IoU-poäng. Den föreslagna modellen är testad för generaliserbarhet och överträffade de övervakade modellerna ADS-Net och DAUSAR när den testades på osynliga CEMS-översvämningsplatser. Dessutom föreslås ett ramverk för automatisk förändringsövervakning och ändringspunktsdetektering. Ramverket är baserat på den föreslagna oövervakade CD-modellen där tidsseriedata bearbetas genom modellen för att identifiera procentuell förändring vid varje tidsstämpel och ändringspunkten detekteras genom att identifiera det datum då betydande förändringar började återspeglas i SAR-data. När det är integrerat med hög tidsdata, dvs. dagliga bilder från ICEYE, kan ramverket hjälpa till med kontinuerlig översvämningsövervakning och tidig upptäckt av långsamt pågående katastrofhändelser, vilket ger mer tid för respons.

Sammantaget bidrar denna avhandling med övervakade och oövervakade översvämningsdetekteringsmodeller, vilket möjliggör omfattande och allmänt användbar översvämningskartläggning och övervakningskapacitet. Dessa framsteg underlättar katastrofhantering i nästan realtid och en motståndskraftig stadsutveckling och bidrar på så sätt till SDG 11 - Hållbara städer och samhällen.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2023. p. 69
Series
TRITA-ABE-DLT ; 2344
Keywords
Floods, Remote Sensing, Sentinel-1 SAR, Segmentation, Change Detection, DEM, Data Fusion, Time Series, Deep Learning, Unsupervised Learning, Contrastive Learning, Self-Attention, Convolutional LSTM, Variational AutoEncoder (VAE)
National Category
Earth Observation Computer Sciences
Research subject
Geodesy and Geoinformatics, Geoinformatics
Identifiers
urn:nbn:se:kth:diva-338909 (URN)978-91-8040-758-8 (ISBN)
Presentation
2023-11-15, Bora Bora, Teknikringen 10 B, KTH Campus, public video conference link https://kth-se.zoom.us/j/69141787499, Stockholm, 14:00 (English)
Opponent
Supervisors
Note

QC 20231030

Available from: 2023-10-30 Created: 2023-10-30 Last updated: 2025-02-10Bibliographically approved

Open Access in DiVA

No full text in DiVA

Other links

Publisher's full textScopusCode in GitHub

Authority records

Yadav, RituNascetti, AndreaBan, Yifang

Search in DiVA

By author/editor
Yadav, RituNascetti, AndreaBan, Yifang
By organisation
Geoinformatics
Computer Sciences

Search outside of DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetric score

doi
urn-nbn
Total: 68 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf