【技术实现步骤摘要】
本专利技术涉及遥感图像处理，具体涉及一种变化语义信息增强的多时相遥感图像描述生成方法及系统。
技术介绍
1、随着遥感领域的不断发展，研究人员从传统的遥感图像描述任务，逐步转向针对遥感图像变化描述技术的钻研。多时相遥感图像变化描述致力于分析跨越不同时间的遥感图像中视觉信息，并针对图像视觉变化特征生成详细的自然语言描述。由于多时相遥感图像的变化描述可以用自然语言直观地反映特定场景经过一段时间后的地表变化，充分发挥遥感图像的信息优势，该技术在灾害监测、城市规划，以及军事决策等领域具有重要的应用价值。
2、近年来，深度学习的快速发展促进了遥感图像解译工作的进步。目前，先进的遥感图像变化描述技术都倾向于采用编码器-解码器架构。具体地，该方法利用卷积神经网络提取多时相遥感图像特征，随后将特征直接连接起来，并输入到循环神经网络生成变化描述。为了通过更好地捕捉图像中显著的变化来提升模型性能，基于注意力机制的编码器-解码器模型应运而生。然而，目前已有的方法在模型训练过程均依赖真实的描述，这种依赖会导致注意机制捕捉到不可靠的视觉信息，严重影响所生成描述的质量，很难产生准确的描述。由于遥感变化检测技术在识别与分析跨越一段时间的地表变化方面具有独特优势，如何将该技术与编码器-解码器模型结合以充分利用显著的视觉变化信息增强变化描述能力，已成为一项亟待解决的关键技术问题。
技术实现思路
1、本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种变化语义信息增强的多时相遥感图像描述生成方法及系
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种变化语义信息增强的多时相遥感图像描述生成方法，包括下述步骤：
4、s101，针对待处理的多时相遥感图像进行变化检测获取其变化图像；
5、s102，利用变化图像针对待处理的多时相遥感图像进行增强；
6、s103，将增强后的多时相遥感图像与变化图像进行特征融合得到视觉变化特征；
7、s104，将视觉变化特征利用解码器解码得到多时相遥感图像的变化描述。
8、可选地，所述待处理的多时相遥感图像包括前期遥感图像b和后期遥感图像a。
9、可选地，步骤s101包括：将待处理的多时相遥感图像中的前期遥感图像b和后期遥感图像a利用预设计的遥感变化检测模型生成包含变化信息的二进制掩码，然后将二进制掩码和前期遥感图像和后期遥感图像进行元素级点积，从而得到前期遥感图像b的变化图像bc和后期遥感图像a的变化图像ac。
10、可选地，步骤s102中利用变化图像针对待处理的多时相遥感图像进行增强的函数表达式为：
11、，
12、上式中，为增强后的前期遥感图像或增强后的后期遥感图像， relu代表修正的线性单元激活函数， conv1和 conv2代表卷积操作，为前期遥感图像b的变化图像或者后期遥感图像a的变化图像， i为前期遥感图像b或者后期遥感图像a。
13、可选地，步骤s103包括：
14、s201，将前期遥感图像b的变化图像、后期遥感图像a的变化图像、增强后的前期遥感图像和增强后的后期遥感图像分别利用特征提取器提取特征，得到前期遥感图像b的变化图像特征、后期遥感图像a的变化图像特征、增强后的前期遥感图像特征和增强后的后期遥感图像特征；
15、s202，将前期遥感图像b的变化图像特征、增强后的前期遥感图像特征沿通道维度连接得到前期遥感图像组合特征，将后期遥感图像a的变化图像特征、增强后的后期遥感图像特征沿通道维度连接得到后期遥感图像组合特征；
16、s203，将前期遥感图像组合特征、后期遥感图像组合特征通过视觉特征融合获得视觉变化特征。
17、可选地，步骤s203包括：
18、s301，将前期遥感图像组合特征、后期遥感图像组合特征𝑋a通过参数共享的卷积层降维以减少后续操作的计算量，得到降维后的前期遥感图像组合特征、后期遥感图像组合特征；
19、s302，根据下式对降维后的前期遥感图像组合特征、后期遥感图像组合特征进行位置编码得到前期遥感图像编码特征、后期遥感图像编码特征：
20、，
21、上式中，表示前期遥感图像编码特征或者后期遥感图像编码特征， linear表示线性层，表示降维后的前期遥感图像组合特征或后期遥感图像组合特征， p代表可学习的与维度一致的二维位置编码，；
22、s303，根据下式计算前期遥感图像编码特征、后期遥感图像编码特征两者之间的差异作为空间语义变化信息表征：
23、，
24、s304，将空间语义变化信息表征利用线性层残差网络提取多时相语义变化特征：
25、，
26、上式中， relu代表修正的线性单元激活函数；
27、s305，将多时相语义变化特征和前期遥感图像编码特征输入孪生交叉transformer网络提取前期遥感图像深度融合特征，将多时相语义变化特征和后期遥感图像编码特征输入孪生交叉transformer网络提取后期遥感图像深度融合特征：
28、，
29、上式中，为前期遥感图像深度融合特征或者后期遥感图像深度融合特征， ffn代表前馈网络， croatt代表交叉注意力计算，表示前期遥感图像编码特征或者后期遥感图像编码特征；
30、s306，将提取得到的前期遥感图像深度融合特征和后期遥感图像深度融合特征沿着通道维度连接得到多时相深度融合特征，并利用残差网络提取得到包含在不同时间的重要地理变化信息的视觉变化特征：
31、，
32、上式中，代表层标准化，×2表示对应过程中包含两次操作，×3表示对应过程中包含三次操作。
33、可选地，步骤s104中的解码器为基于transformer的解码器，所述基于transformer的解码器包括掩码多头注意网络、多头注意网络以及前馈网络，且所述基于transformer的解码器将视觉变化特征解码，得到多时相遥感图像的变化描述包括：
34、s401，通过多头注意网络将视觉变化特征和已生成的部分描述文本对应的文本特征q执行多头注意力查询，然后与原始的文本特征q执行加运算后再通过层标准化处理后输出对应的融合特征；所述已生成的部本文档来自技高网...
【技术保护点】
1.一种变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤S101包括：将待处理的多时相遥感图像中的前期遥感图像B和后期遥感图像A利用预设计的遥感变化检测模型生成包含变化信息的二进制掩码，然后将二进制掩码和前期遥感图像和后期遥感图像进行元素级点积，从而得到前期遥感图像B的变化图像Bc和后期遥感图像A的变化图像Ac。
3.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤S102中利用变化图像针对待处理的多时相遥感图像进行增强的函数表达式为：
4.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤S103包括：
5.根据权利要求4所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤S203包括：
6.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤S104中的解码器为基于Transformer的解码器，
7.根据权利要求6所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，所述基于Transformer的解码器在训练阶段时使用的损失函数的表达式为：
8.一种变化语义信息增强的多时相遥感图像描述生成系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～7中任意一项所述变化语义信息增强的多时相遥感图像描述生成方法。
9.一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序/指令，其特征在于，该计算机程序/指令被编程或配置以通过处理器执行权利要求1～7中任意一项所述变化语义信息增强的多时相遥感图像描述生成方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被编程或配置以通过处理器执行权利要求1～7中任意一项所述变化语义信息增强的多时相遥感图像描述生成方法。
...【技术特征摘要】
1.一种变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤s101包括：将待处理的多时相遥感图像中的前期遥感图像b和后期遥感图像a利用预设计的遥感变化检测模型生成包含变化信息的二进制掩码，然后将二进制掩码和前期遥感图像和后期遥感图像进行元素级点积，从而得到前期遥感图像b的变化图像bc和后期遥感图像a的变化图像ac。
3.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤s102中利用变化图像针对待处理的多时相遥感图像进行增强的函数表达式为：
4.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤s103包括：
5.根据权利要求4所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤s203包括：
6.根据权利要求1所述的变化语义信息增强的多时相遥感图像描述生成方法，其特征在于，步骤s104中的解码器为基于transformer的解...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。