一种基于视觉Transformer的洪涝灾害监测与灾情分析方法技术

本发明专利技术公开了一种基于视觉Transformer的洪涝灾害监测与灾情分析，包括步骤：（1）构建基于视觉Transformer的双时相图像变化检测模型；（2）选取双时相遥感影像，制作洪涝灾害标签；（3）根据步骤（1）构建的双时相图像变化检测模型，进行洪涝监测与灾情分析。本发明专利技术结合深度学习中基于先进视觉Transformer的双时相图像变化检测模型和不受时间、天气影响且穿透能力强的雷达数据，能获取洪涝发生时的数据和提高识别精度。高识别精度。高识别精度。

【技术实现步骤摘要】
一种基于视觉Transformer的洪涝灾害监测与灾情分析方法


[0001]本专利技术涉及洪涝灾害监测与灾情分析方法，尤其涉及一种基于视觉Transformer的洪涝灾害监测与灾情分析方法。

技术介绍

[0002]我国自然灾害频发，其中洪水发生最为频繁。洪涝灾害极具有破坏性，对生态环境、人类生命和财产构成巨大威胁。洪涝具有范围广、发生频繁、突发性强和损失大等特点。洪水爆发造成大面积区域淹没是动态变化的，对洪涝区域进行实时监测十分重要。基于3S技术及其相互配合，是监测洪涝灾害的主要手段。洪水淹没面积是进行灾害评估的基础，它依赖于及时有效的数据。随着遥感技术的迅速发展，有大量的卫星数据可用于监测洪水。传统的水体识别的研究工作主要依赖于水体在遥感影像中与其他地表物体之间反映强度的不同来提取水体信息，其中应用最为广泛的就是Mcfeeters提出的归一化水体指数（NDWI）。近年来深度学习技术发展迅速，且在各行各业中广泛应用。与传统特征提取方法不同，深度学习模型能在大量样本中自适应学习特征，具有普适性和灵活性等优点。尤其对于洪涝发生前后灾区地表覆盖极具变化的情况，深度学习算法能够迅速且高效的识别出洪涝面积。 然而目前上述技术中仍存在以下缺点使得监测洪涝还具挑战性：1、传统遥感洪涝监测方法精确度不高，很难超过90%，且受限于可用数据等因素；2、基于CNN的语义分割网络常被应用在遥感图像变化检测与目标识别等任务中，但是对于较长范围的时空信息就显得差强人意。
[0003]鉴于目前利用遥感技术进行洪涝监测主要依赖于指数法、阈值分割和机器学习等算法，这些方法简单，容易受限于影像质量、地形和人为干预等因素的影响，很难达到精准高效的监测洪涝；此外由于洪涝发生时常伴随着云雨，光学卫星透过云雾捕捉到很多有用的水体信息，无法避免的是缺乏可用的数据进行洪涝监测。

技术实现思路

[0004]专利技术目的：为解决上述技术问题，本专利技术提供了一种基于视觉Transformer的洪涝灾害监测与灾情分析方法。
[0005]技术方案：本专利技术的洪涝灾害监测与灾情分析，包括步骤：（1）构建双时相图像变化检测模型；所述双时相图像变化检测模型由CNN框架、语义标记器和Transformer模块组成，Transformer模块包括编码器和解码器；（2）选取双时相遥感影像，制作洪涝灾害标签；（3）根据步骤（1）构建的双时相图像变化检测模型，进行洪涝监测与灾情分析。
[0006]进一步，所述步骤（1）的实现过程如下：（11）语义特征提取先采用CNN框架进行特征提取，获取双时相遥感影像中的变化水体特征；然后用空间注意力机制 对变化水体特征进行处理，得到双时相特征集：
其中，i为遥感影像时相顺序，；T为转置操作；最后，将双时相特征集输入到Transformer模块中；（12）Transformer编码将步骤（11）中得到的双时相特征集进行编码，以构建具有时空关系的丰富语义特征集；其中，注意力机制Attention和softmax激活函数的关系为：其中，注意力机制是由Q、K、V三个控制特征权重的功能键组成； 为网络的层数，分别为学习参数，d为通道的尺寸；（13）Transformer解码将步骤（12）编码得到的丰富语义特征集，在像素空间上通过解码器优化变化水体特征 ，以得到优化后的变化水体特征；然后通过浅层CNN计算特征差异图像，得到像素级的预测结果。
[0007]进一步，所述步骤（2）中，选取广空间范围、长时间尺度的双时相遥感影像对来制作泛化性强的洪涝灾害标签，实现步过程如下：（21）先对包含往年汛期前后的水体的双时相遥感影像对进行辐射定标、几何校正、对数转换的预处理工作；（22）使用图片标记工具对双时相遥感影像进行标记；利用图片处理软件将汛期后较汛期前变化的水体部分和未变化的水体部分分别作区分标记，最终获得与原图同样大小的水体变化真值图；（23）将完成标记的双时相遥感影像切割成可输入模型的样本集；对所述样本集进行筛选，将样本集中完全无水体变化的样本删除；将筛选后的样本集分为训练集、验证集和测试集。
[0008]进一步，所述步骤（3）中，根据步骤（2）中构建的洪涝灾害标签来训练双时相图像变化检测模型，通过不断调整模型参数，直至模型的损失曲线达到拟合并且数值逼近于0，同时识别遥感影像中洪涝淹没范围的精度达到95%以上。
[0009]本专利技术与现有技术相比，其显著效果如下：1、本专利技术结合深度学习中基于先进视觉Transformer的双时相图像变化检测模型和不受时间、天气影响且穿透能力强的雷达数据，能获取洪涝发生时的数据和提高识别精度；2、本专利技术在为监测洪涝提供新方法的同时，能高效、精准地为洪涝灾害的防灾减灾提供有效的决策依据，具有良好的社会和经济效果。
附图说明
[0010]图1为本专利技术的Transformer解码器示意图；图2为基于视觉Transformer的双时相图像变化检测模型框架图，主要由CNN框架（ResNet）、语义标记器和Transformer模块（编码器和解码器）组成；图3为本专利技术所构建的双时相微波遥感洪涝灾害标签示例图，第一行跟第二行是两个时相的哨兵一号数据，第三行是对应的目标变化水体标签；图4为2020年夏季鄱阳湖湖区洪涝灾情分析示例图。
具体实施方式
[0011]下面结合说明书附图和具体实施方式对本专利技术做进一步详细描述。
[0012]本专利技术提出了一种基于视觉Transformer的双时相图像变化检测模型来有效地对微波遥感影像时空信息进行建模，能高效获取洪涝发生前后的水体变化情况，从而对洪涝灾害进行精准监测与灾情分析。一方面采用视觉Transformer方法作为本专利技术的模型框架，其中Transformer利用注意力等机制增大感受野利用时空信息，可有效学习高分辨率遥感影像中目标物的变化以及充分利用时空信息；另一方面本专利技术制作了双时相洪涝灾害标签，将洪涝发生前后的遥感影像数据作为模型的训练数据，可用于精准监测洪涝事件，准确识别出洪水淹没范围。
[0013]具体步骤如下：步骤一，基于视觉Transformer的双时相图像变化检测模型构建如图1所示为本专利技术基于视觉Transformer的模型框架结构图，主要由CNN框架（ResNet）、语义标记器和Transformer模块组成，Transformer模块包括编码器和解码器。实现过程如下：（11）语义特征提取采用经典深度学习卷积神经网络ResNet作为提取双时相遥感影像中目标水体变化语义特征的框架，然后使用空间注意力机制将每个时相的遥感影像特征映射转换为一组丰富的语义特征集。
[0014]先采用CNN框架进行特征提取，获取双时相遥感影像中变化水体特征，然后用空间注意力机制 对变化水体特征进行处理，得到双时相特征集 并输入到Transformer模块中：式（1）中，i为遥感影像时相顺序，T为遥感影像转置操作。
[0015]（12）Transformer编码Transformer可以充分利用双时相遥感影像时空的全局语义关系，所以在为每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉Transformer的洪涝灾害监测与灾情分析方法，其特征在于，包括步骤：（1）构建双时相图像变化检测模型；所述双时相图像变化检测模型由CNN框架、语义标记器和Transformer模块组成，Transformer模块包括编码器和解码器；（2）选取双时相遥感影像，制作洪涝灾害标签；（3）根据步骤（1）构建的双时相图像变化检测模型，进行洪涝监测与灾情分析。2.根据权利要求1所述的基于视觉Transformer的洪涝灾害监测与灾情分析方法，其特征在于，所述步骤（1）的实现过程如下：（11）语义特征提取先采用CNN框架进行特征提取，获取双时相遥感影像中的变化水体特征；然后用空间注意力机制 对变化水体特征进行处理，得到双时相特征集：其中，i为遥感影像时相顺序，；T为转置操作；最后，将双时相特征集输入到Transformer模块中；（12）Transformer编码将步骤（11）中得到的双时相特征集进行编码，以构建具有时空关系的丰富语义特征集；其中，注意力机制Attention 和softmax激活函数的关系为：其中，注意力机制是由Q、K、V三个控制特征权重的功能键组成； 为网络的层数，分别为学习参数，d为通道的尺寸；（13）Transformer解码将步骤（12）编码得到的...

【专利技术属性】
技术研发人员：董臻，王国杰，王艳君，姜彤，苏布达，冯爱青，缪丽娟，路明月，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：