【技术实现步骤摘要】
本专利技术属于图像处理，涉及多模态遥感图像语义分割方法，尤其涉及一种基于互补提示提高多源遥感图像语义分割性能的方法和系统。
技术介绍
1、近年来，成像方式的多样化导致了遥感图像的多元化，例如高分二号、worldview-2、sentinel-2等卫星能够获取光学图像，高分三号、terrasar-x、sentinel-1等卫星能够获取合成孔径雷达(sar)图像。虽然不同模态的遥感图像为地球观测提供更加全面的描述，但其异质性也为遥感图像解译带来了全新的挑战。随着深度学习技术的发展，多模态遥感基础模型凭借海量的训练数据以及庞大的模型参数量，在遥感领域中的众多下游任务中表现优异。然而，这些基础模型方法过分追求跨模态影像特征的统一表示，往往忽略了不同模态特征间的信息交流与提示作用。一些研究通过解耦合多模态数据特征的共有部分与特有部分，虽然一定程度上加强了各模态的特征表达，但仍然没有摆脱模态特有特征提取器的局限性，或者通过一个统一的编码器实现多模态特征的融合，但其性能会因数据的异质性而骤降。
技术实现思路
1、针对现有技术中的缺陷，借鉴人脑处理外界视觉信息的策略，本专利技术提出一种基于互补提示提高多源遥感图像语义分割性能的方法，将不同模态影像中提取的特征信息作为其他模态特征提取时的补充提示，充分利用多模态图像信息的多元性，促进更全面的多模态统一表征的生成，目前还未有人实现过。
2、本专利技术提供的基于互补提示提高多源遥感图像语义分割性能的方法，包括以下具体步骤：
3、步
4、步骤2，多模态数据首先分别经过各自模态对应的图像块嵌入层，将图像形式的数据转换成序列，表示成上标表示位于双分支特征编码器的层数；
5、步骤3，多模态数据特征输入至各自模态对应的transformer block中，得到此层transformer block的输出
6、步骤4，步骤2得到的多模态特征同时输入至互补提示生成器中，生成互补视觉提示c1和v2；
7、步骤5，将每次transformer block的输出与对应互补提示数据提示相加，得到下一层transformer block的输入以此递推，后续每一transformer block层的输入等于上一层transformer block的输出加上互补视觉提示；
8、步骤6，最后一层transformer block的输出同时输入至模态特征融合模块，得到双分支特征编码器的最终输出f，作为多模态特征表征；
9、步骤7，多模态特征表征输入至解码器中，得到每个像素的类别预测，即为语义分割结果。
10、进一步的，步骤4中，互补提示生成器的具体处理过程为：以多模态特征中的一个为主模态，另一个作为提示模块，通过与作差得到模态间差异化特征，并利用通道注意力机制对于差异化特征进行全局平均池化，得到通道权重，利用通道权重与对应的多模态特征进行加权，然后经过多层感知机，生成对于主模态的互补视觉提示v1；切换主模态和提示模态，以获得另一互补视觉提示v2。
11、进一步的，互补提示生成器并列位于双分支特征编码器的每一层中。
12、进一步的，模态特征融合模块的处理过程如下；
13、将逐元素相加，再经过全局平均池化，然后输入到双分支多层感知机层，通过激活函数自适应地决定不同模态图像特征的融合比重，并与进行加权得到输出f。
14、进一步的，训练双分支特征编码器和解码器时，图像块嵌入层与transformerblock的参数不进行梯度更新。
15、进一步的，训练双分支特征编码器和解码器时，采用交叉熵损失函数进行训练，并最终反向传播给需要进行梯度更新的参数，其中one_hot为独热编码，yi为步骤7中的第i个像素的类别预测结果，pi为对应像素的真值，n为像素的个数。
16、进一步的，transformer block的处理包括两部分，第一部分是对于输入序列应用层标准化后输入至自注意力模块，利用注意力机制考虑输入序列中的全局关系，第二部分是应用层标准化后输入至多层感知机中进行前向传播，两个部分均使用残差连接，以提高模型的训练稳定性。
17、进一步的，还包括步骤8，采用平均交并比miou与平均像素准确度mpa这两个指标在多模态遥感数据集上评价语义分割结果的性能。
18、本专利技术还提供一种基于互补提示提高多源遥感图像语义分割性能的系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上述方案所述的一种基于互补提示提高多源遥感图像语义分割性能的方法。
19、本专利技术的原理是：利用基础模型提取遥感图像的高层语义特征的能力，利用中间特征互相作为特征提取时的视觉提示，以此充分利用多模态遥感图像间的互补协同作用，完善多模态特征表征，提高多模态遥感影像语义分割性能。
20、本专利技术的目的是提供一种基于互补视觉提示提高多模态遥感图像语义分割性能的方法，该方法能够充分地利用多模态遥感图像之间的协同与提示作用，更好地解决现有方法过于追求模态间共有特征表达的问题。提出的方法能够在模态特征提取的过程中互相利用中间特征作为其他模态提取时的视觉提示，使模型更多聚焦于当前模态缺失的特征部分，学习到更加全面综合的多模态特征表征，应用于后续的下游任务。
本文档来自技高网...【技术保护点】
1.一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于，包括以下具体步骤：
2.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：步骤4中，互补提示生成器的具体处理过程为：以多模态特征中的一个为主模态，另一个作为提示模块，通过与作差得到模态间差异化特征，并利用通道注意力机制对于差异化特征进行全局平均池化，得到通道权重，利用通道权重与对应的多模态特征进行加权，然后经过多层感知机，生成对于主模态的互补视觉提示C1；切换主模态和提示模态，以获得另一互补视觉提示C2。
3.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：互补提示生成器并列位于双分支特征编码器的每一层中。
4.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：模态特征融合模块的处理过程如下；
5.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：训练双分支特征编码器和解码器时，图像块嵌入层与Transformer Block的参数不进行梯度更新
6.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：训练双分支特征编码器和解码器时，采用交叉熵损失函数进行训练，并最终反向传播给需要进行梯度更新的参数，其中one_hot为独热编码，yi为步骤7中的第i个像素的类别预测结果，pi为对应像素的真值，N为像素的个数。
7.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：Transformer Block的处理包括两部分，第一部分是对于输入序列应用层标准化后输入至自注意力模块，利用注意力机制考虑输入序列中的全局关系，第二部分是应用层标准化后输入至多层感知机中进行前向传播，两个部分均使用残差连接，以提高模型的训练稳定性。
8.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：还包括步骤8，采用平均交并比mIoU与平均像素准确度mPA这两个指标在多模态遥感数据集上评价语义分割结果的性能。
9.一种基于互补提示提高多源遥感图像语义分割性能的系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-8任一项权利要求所述的一种基于互补提示提高多源遥感图像语义分割性能的方法。
...【技术特征摘要】
1.一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于，包括以下具体步骤：
2.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：步骤4中，互补提示生成器的具体处理过程为：以多模态特征中的一个为主模态，另一个作为提示模块，通过与作差得到模态间差异化特征，并利用通道注意力机制对于差异化特征进行全局平均池化，得到通道权重，利用通道权重与对应的多模态特征进行加权，然后经过多层感知机，生成对于主模态的互补视觉提示c1；切换主模态和提示模态，以获得另一互补视觉提示c2。
3.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：互补提示生成器并列位于双分支特征编码器的每一层中。
4.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：模态特征融合模块的处理过程如下；
5.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：训练双分支特征编码器和解码器时，图像块嵌入层与transformer block的参数不进行梯度更新。
6.如权利要求1所述一种基于互补提示提高多源遥感...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。