【技术实现步骤摘要】
本专利技术属于测绘，涉及一种纹理特征分割方法，具体涉及一种应用于多模态弱纹理边坡遥感图像的纹理特征分割方法。
技术介绍
1、目前，快速获取岩体节理、裂隙等结构面关键信息的手段主要是通过遥感测量技术，构建岩质斜坡的三维实景模型，再对模型上展布的结构面进行识别与解译。常用于边坡纹理特征识别的遥感图像主要有光学图像、激光雷达图像、合成孔径雷达图像等。由于这些图像的互补性，单一模态的图像对纹理特征的识别有局限性。因此将不同成像方式提供的纹理信息进行整合，在实际中有很强的应用需求。
2、另一方面，现有的遥感测图技术对于弱纹理边坡特征的分割精度往往会受到光照强度、图像噪声等因素的制约。因此，研究一种应用于多模态弱纹理边坡遥感图像特征分割方法很有必要。
技术实现思路
1、为了解决
技术介绍
中存在的上述问题，本专利技术提供了一种基于sam的多模态弱纹理边坡遥感图像的分割方法。该方法通过引入轻量级的hrsi模块和模态感知模块，以及在图像编码器中引入多尺度注意力机制，实现了sam在多模态弱纹理边坡图像分割任务中的高效应用。
2、本专利技术的目的是通过以下技术方案实现的：
3、一种基于sam的多模态弱纹理边坡遥感图像的分割方法，包括如下步骤：
4、步骤1、构建基于sam网络的弱纹理边坡分割模型，用于分割边坡表面特征和背景部分；
5、步骤2、对待分割的多模态弱纹理边坡遥感图像进行双边滤波和归一化处理；
6、步骤3、组合使用dice损失和
7、步骤4、将步骤2处理后的多模态弱纹理边坡遥感图像输入到步骤3训练好的基于sam网络的弱纹理边坡分割模型，基于sam网络的弱纹理边坡分割模型输出多模态弱纹理边坡遥感图像中边坡裂隙特征的分割结果。
8、本专利技术中，所述基于sam网络的弱纹理边坡分割模型包括图像编码器、提示编码器、掩膜解码器、hrsi模块和模态感知模块，其中：
9、所述hrsi模块对输入的非光学模态图像进行处理，获取非光学模态图像的非光学特征；
10、所述模态感知模块根据hrsi模块获取的非光学模态图像的非光学特征与光学图像特征进行交互，完成非光学特征的增强并输入至图像编码器；
11、所述图像编码器用于映射待分割的图像到图像特征空间，得到图像特征；
12、所述提示编码器包括第一编码模块、第二编码模块和第三编码模块，根据图像编码器得到的图像特征分别生成密集提示、稀疏提示和图像位置编码；
13、所述掩膜解码器通过整合图像编码器与提示编码器的输出，预测分割掩码；
14、本专利技术中，所述hrsi模块由两个卷积模块、一个中心差分卷积模块、一个最大池化层、一个上采样层和一个自适应深层与浅层特征融合模块组成，非光学模态图像i首先输入到第一个卷积模块中，以初始提取图像特征，得到特征f1；然后将特征f1分别输入到中心差分卷积模块和最大池化层，中心差分卷积模块处理特征f1后获得浅层的细粒度特征fs，最大池化层处理特征f1以产生特征fm；特征fm输入到与最大池化层连接的第二个卷积模块中进行特征提取，第二个卷积模块输出经过上采样层处理，得到特征fd；将特征fd和特征fs输入到自适应深层与浅层特征融合模块，产生融合特征ffusion。
15、本专利技术中，所述图像编码器中引入多尺度特征提取模块，在图像编码器mobilenetv2网络中选择第5个bottle-neck和第7个bottle-neck的输出提取不同尺度特征，然后将bottleneck6的特征与bottleneck7的特征相加后进行2倍上采样，最后与bottleneck5的特征融合作为bottleneck5的输出，经过特征融合的bottleneck5特征与bottleneck7特征经过mrla-light模块，加强不同层之间的联系，得到更具辨别性的特征，并与bottleneck5的特征一起输入到池化层和全连接层。
16、本专利技术中，所述模态感知模块采用两个跨模态注意力模块实现非光学模态图像的非光学特征和光学图像特征的交互，具体过程如下：
17、非光学模态的边坡图像编码由hrsi模块g完成，设输入的非光学模态的边坡图像数据为xd，它的宽度和高度分别用h、w表示，那么非光学模态的边坡图像的特征fd获取方式如下：
18、fd＝g(xd)；
19、对于第j层的非光学特征和光学特征跨模态注意力过程公式为：
20、
21、这里的cma(·,·)代表跨模态注意力计算，表示光学模态关注到的非光学特征信息，增强后的非光学特征表示为通过第j层的网络后得到至此完成非光学特征到光学图像特征的增强；
22、光学图像特征对非光学特征的增强过程如下：
23、
24、相比于现有技术，本专利技术具有如下优点：
25、(1)本专利技术通过集成轻量级的模态感知模块，可在既有sam模型的基础上，处理光学-合成孔径雷达图像等多模态的弱纹理边坡图像数据，极大地提升了图像的识别效率。
26、(2)本专利技术通过在图像编码器中引入多尺度注意力模块，进而提高模型对弱纹理的识别与提取能力，确保了模型的识别精度。
27、(3)本专利技术相较于传统的神经网络模型，占用更少的计算资源，又具有更快的模型训练速度，确保了多模态弱纹理边坡图像数据处理的高效性。
本文档来自技高网...【技术保护点】
1.一种基于SAM的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述方法包括如下步骤：
2.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述HRSI模块由两个卷积模块、一个中心差分卷积模块、一个最大池化层、一个上采样层和一个自适应深层与浅层特征融合模块组成，非光学模态图像I首先输入到第一个卷积模块中，以初始提取图像特征，得到特征F1；然后将特征F1分别输入到中心差分卷积模块和最大池化层，中心差分卷积模块处理特征F1后获得浅层的细粒度特征FS，最大池化层处理特征F1以产生特征Fm；特征Fm输入到与最大池化层连接的第二个卷积模块中进行特征提取，第二个卷积模块输出经过上采样层处理，得到特征Fd；将特征Fd和特征FS输入到自适应深层与浅层特征融合模块，产生融合特征Ffusion。
3.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述图像编码器中引入多尺度特征提取模块，在图像编码器MobileNetV2网络中选择第5个Bottle-Neck和第7个Bottle-Neck的输出提取不同尺度特征，然后
4.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述模态感知模块采用两个跨模态注意力模块实现非光学模态图像的非光学特征和光学图像特征的交互，具体过程如下：
5.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述非光学模态图像为SAR图像、LiDAR点云数据、热红外图像、多模态融合数据和非标准格式图像。
6.根据权利要求1所述的基于SAM的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述交叉熵损失LCE和Dice损失LDice为：
...【技术特征摘要】
1.一种基于sam的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述方法包括如下步骤：
2.根据权利要求1所述的基于sam的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述hrsi模块由两个卷积模块、一个中心差分卷积模块、一个最大池化层、一个上采样层和一个自适应深层与浅层特征融合模块组成，非光学模态图像i首先输入到第一个卷积模块中，以初始提取图像特征，得到特征f1；然后将特征f1分别输入到中心差分卷积模块和最大池化层，中心差分卷积模块处理特征f1后获得浅层的细粒度特征fs，最大池化层处理特征f1以产生特征fm；特征fm输入到与最大池化层连接的第二个卷积模块中进行特征提取，第二个卷积模块输出经过上采样层处理，得到特征fd；将特征fd和特征fs输入到自适应深层与浅层特征融合模块，产生融合特征ffusion。
3.根据权利要求1所述的基于sam的多模态弱纹理边坡遥感图像的分割方法，其特征在于所述图像编码器中引入多尺度特征提取模块，在图像编码器mobilenetv2网络中选择第5个bottle-neck和第7个...
【专利技术属性】
技术研发人员：丛晟亦，石赟，凌贤长，唐亮，陈宏伟，齐振武，李政，刘杨，
申请(专利权)人：哈尔滨工业大学重庆研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。