基于多模态学习的滑坡风险评估方法技术

本发明专利技术公开了一种基于多模态学习的滑坡风险评估方法，主要解决现有方法无法处理多模态数据，进而导致滑坡风险评估精度低的问题。其实现方案是：对高分遥感子图对应的数字高程模型进行提取；对高分遥感子图进行语义分割提取滑坡风险点的边缘；计算提取出的数字高程模型所对应的坡度图、坡向图；从坡度图、坡向图中提取各自对应的特征序列；对待评估高分遥感子图进行居民点检测和道路检测；将高分遥感子图、坡度图、坡向图进行图像嵌入；将特征序列进行序列嵌入；将居民点和道路的检测结果进行点嵌入；将嵌入后的数据输入到视觉自注意力模型中，得到滑坡风险评估等级。本发明专利技术提高了滑坡风险点评估的评估精度，可以用于地质灾害的预警。警。警。

【技术实现步骤摘要】
基于多模态学习的滑坡风险评估方法


[0001]本专利技术属于遥感影像解译
，特别涉及一种滑坡风险评估方法，可用于对山体滑坡风险点的灾险等级进行评估，做出地质灾害预警。

技术介绍

[0002]长期以来，有很多相关技术被应用到滑坡的灾前预警和灾后检测中，但是仍然有较多的挑战存在，大量的工作要人工来完成，且需要准确充足的专家知识才能保证评估结果的准确性和科学性。近年来，随着计算机技术的发展和自动化技术的完备，越来越多的专家学者将自动化知识融入到滑坡的相关研究中，将更多的技术专家从危险、繁琐的实地考察中解放出来。当前的滑坡的风险评估模型更多时基于实地测量、精准建模、模拟推理等一系列复杂的手段，以获得较精确的评估模型。但是由于这些手段需要专业人员进行参与，所以很难大规模部署并评估。虽然有相关研究人员将滑坡的自动化检测提上议程，但大多研究仅仅通过单一特征对滑坡进行定性，对于多特征、多模态和多表现形式的自动化评估模型的研究则相对较少。
[0003]在具体的滑坡等级划分方面，2011年中华人民共和国自然资源部发布了滑坡按照体积分类的标准，现有的滑坡等级划分按照滑坡的体积将其分为小型滑坡、中型滑坡、大型滑坡以及特大型滑坡，这为滑坡的等级划分提供了指导。但是对于并未发生滑坡的风险点来说，则无法直接通过测量滑坡的体积进行滑坡体积信息的提取，所以当前主要利用面积体积映射对滑坡的风险性评估进行量化。但这种仅通过面积进行评估的效果并不好，主要原因是滑坡的面积体积映射中需要的一些参数是根据具体某一地区的滑坡的统计结果，对于其他地区的滑坡风险点可能会产生由于地形、地貌的不同而在统计分布上和其他地区滑坡的较大差异而产生评估准确率较低的问题。除此之外，对于滑坡的风险性评估来说不仅仅只有面积作为评价标准，除了面积、体积之外，滑坡等级的划分也会很大程度上会涉及滑坡发生后所影响的区域、被影响的设施、滑坡的坡向、滑坡的坡度等众多因素。
[0004]考虑到单一模态的数据不能较好地描述滑坡的多种特征，一些专家学者将多模态学习应用到遥感影像解译领域。基于多模态学习的相关研究可以将多个模态内的信息的独立部分进行建模，使得模型在处理信息的过程中能够较大程度利用本来分属于多个独立模态的信息，并在更高的语义空间进行融合，以改善传统单一模态信息特征不足和表征能力弱等问题。Chen等人在《Spatial
‑
spectral fusion by combining deep learning and variational model》中提出了一种结合变分模型和深度卷积神经网络的融合方法，旨在将高分辨率全色数据的细节信息和低分辨率的高光谱信息相融合，以获得具有更多的细节的高光谱图像，并用于多模态任务的表征。Liu等人在《Feature
‑
Fusion Segmentation Network for Landslide Detection Using High
‑
Resolution Remote Sensing Images and Digital Elevation Model Data》中结合了RGB高分遥感影像和数字高程模型DEM两个模态的信息，分别从高分遥感影响中提取纹理信息，从数字高程模型中提取滑坡的地形信息，然后在具有较高语义特征的层次上对这两种特征进行融合，最终取得了较好的分割效
果。
[0005]上述的文献中在多模态信息的处理上，均是通过对原始数据进行处理来实现多模态信息的利用。这种数据处理形式在数据量较大的情况下可以较好地完成隐式知识的学习，以实现对滑坡风险点评估精度的提升。但由于滑坡风险点的高质量标注数据较少，模型的自主学习能力很难学习到较深层次的隐藏特征，包括滑坡风险点的坡度、坡向、承载点等，因而导致滑坡风险等级的评估精度相对较低。

技术实现思路

[0006]本专利技术的目的在于针对上述多模态学习任务中存在的问题，提出基于多模态学习的滑坡风险评估方法，以学习到较深层次的隐藏特征，提高滑坡风险等级的评估精度。
[0007]实现本专利技术目的技术思路是：通过利用先验知识对滑坡的坡度图、坡向图进行提取，同时对滑坡周围的建筑、道路等重点目标进行提取，降低模型自主学习过程中学习难度；通过将获得的滑坡风险点的坡体相关特征和周围重点目标特征进行整合，丰富滑坡风险点评估过程中的特征内容；通过视觉自注意力模型进行结果预测输出最终的评估结果。
[0008]根据上述思路，本专利技术的实现方案包括如下步骤：
[0009](1)从高分遥感影像中提取需要用到的高分遥感子图IMG，从数字高程模型中提取所有高分遥感子图IMG对应的高度数据，构成与高分遥感子图IMG一一对应的区域数字高程模型DEM；
[0010](2)对高分遥感子图IMG进行滑坡风险点的语义分割，得到滑坡风险点的分割结果R
seg
，并将其与高分遥感影像中的地理坐标投影信息相结合，以获取滑坡风险点边缘E；
[0011](3)利用区域数字高程模型DEM分别计算高分遥感子图IMG对应的原始坡度图S
′
和原始坡向图A
′
，并按照滑坡风险点边缘E进行裁切，获得后续可用的坡度图S和坡向图A；
[0012](4)对坡度图S进行16
×
16的最大池化处理，获取坡度图S对应的特征序列F
S
；
[0013](5)对坡向图A进行16
×
16的平均池化处理，获取坡向图A对应的特征序列F
A
；
[0014](6)将高分遥感子图IMG进行居民点的检测，获得检测结果R
b
，并将有居民点的R
b
记为1，没有居民点的R
b
记为0；
[0015](7)对高分遥感子图IMG进行道路的检测，获得检测结果R
r
，并将有道路的R
r
记为1，没有道路的R
r
记为0；
[0016](8)对上述滑坡风险点的语义分割结果R
seg
、坡度图S、坡向图A进行图像数据的嵌入操作，获得图像数据的相关特征F
img
；
[0017](9)对上述坡度图的特征序列F
S
、坡向图的有特征序列F
A
进行序列数据的嵌入操作，获得序列数据的相关特征F
seq
；
[0018](10)对上述居民点的检测结果R
b
、道路的检测结果R
r
进行点数据的嵌入，获得点数据的相关特征F
poi
；
[0019](11)将上述三种相关特征F
img
、F
seq
及F
poi
输入到现有的视觉自注意力模型中进行评估，得到滑坡风险点的滑坡风险等级。
[0020]本专利技术与现有方法相比，具有如下优点：
[0021]第一，本专利技术通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态学习的滑坡风险评估方法，其特征在于，包括如下步骤：(1)从高分遥感影像中提取需要用到的高分遥感子图IMG，从数字高程模型中提取所有高分遥感子图IMG对应的高度数据，构成与高分遥感子图IMG一一对应的区域数字高程模型DEM；(2)对高分遥感子图IMG进行滑坡风险点的语义分割，得到滑坡风险点的分割结果R
seg
，并将其与高分遥感影像中的地理坐标投影信息相结合，以获取滑坡风险点边缘E；(3)利用区域数字高程模型DEM分别计算高分遥感子图IMG对应的原始坡度图S
′
和原始坡向图A
′
，并按照滑坡风险点边缘E进行裁切，获得后续可用的坡度图S和坡向图A；(4)对坡度图S进行16
×
16的最大池化处理，获取坡度图S对应的特征序列F
S
；(5)对坡向图A进行16
×
16的平均池化处理，获取坡向图A对应的特征序列F
A
；(6)将高分遥感子图IMG进行居民点的检测，获得检测结果R
b
，并将有居民点的R
b
记为1，没有居民点的R
b
记为0；(7)对高分遥感子图IMG进行道路的检测，获得检测结果R
r
，并将有道路的R
r
记为1，没有道路的R
r
记为0；(8)对上述滑坡风险点的语义分割结果R
seg
、坡度图S、坡向图A进行图像数据的嵌入操作，获得图像数据的相关特征F
img
；(9)对上述坡度图的特征序列F
S
、坡向图的有特征序列F
A
进行序列数据的嵌入操作，获得序列数据的相关特征F
seq
；(10)对上述居民点的检测结果R
b
、道路的检测结果R
r
进行点数据的嵌入，获得点数据的相关特征F
pｏi
；(11)将上述三种相关特征F
img
、F
Seq
及F
poi
输入到现有的视觉自注意力模型中进行评估，得到滑坡风险点的滑坡风险等级。2.根据权利要求书1所述的方法，其特征在于，所述(1)中从高分遥感子图IMG中提取所有高分遥感子图IMG对应的高度数据，实现如下：(1a)将滑坡风险点所对应的数字高程模型信息按照地理信息进行对应切割，存放到与对应高分遥感子图IMG尺寸对应的单通道图像内；(1b)计算单通道图像内每个像素的映射高度h
′
(i，j)：h
′
(i，j)＝h(i，j)
‑
min(h(i，j))其中h(i，j)是数字高程模型中对应坐标位置为(i，j)的数值，min是取全局数值最小的函数；(1c)将单通道图像内的每个像素的映射高度h
′
(i，j)进行整合，获得高分遥感子图IMG对应的高度数据。3.根据权利要求书1所述的方法，其特征在于，所述(4)中利用16
×
16最大池化操作获取坡度图S对应的特征序列F
S
，实现如下：(4a)将输入的坡度图S划分成若干个16
×
16的局部区域S
i
，i的范围是1，2，3，...，i，...，N；其中，H为高分遥感子图IMG的高度，W为高分遥感子图IMG的宽度；
(4b)遍历第i个局部区域S
i
中的每一个坡度值元素，获得坡度值的最大值MS
i
；(4c)将所有的最大值MS
i
按照编号i进行排序，并拼接为一维特征序列F
S
。4.根据权利要求书1所述的方法，其特征在于，所述(5)中利用16
×
16平均池化获取坡向图A对应的特征序列F
A
，实现如下：(5a)将输入的坡向图A划分成若干个16
×
16的局部区域A
i
，i...

【专利技术属性】
技术研发人员：刘若辰，时晓萌，吕浩源，王凯锐，李卫斌，王蓉芳，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：