【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于交叉融合的多模态遥感图像分割方法及装置。
技术介绍
1、多模态遥感图像分割是一种将来自不同遥感传感器的数据结合起来，以提高地物分割的精度和细节的方法。该方法利用了不同传感器提供的信息互补性，通过融合多种遥感数据，可以更全面地描述地物的特征，从而提高地物分割的精度。多模态遥感图像分割的应用基于这样一个原理：不同的传感器对地物的反射或发射特性有不同的敏感度，因此它们提供的信息在空间、光谱、时间等方面存在差异。通过将这些差异信息结合起来，可以更有效地识别和分割地物，特别是在复杂环境中，如城市区域或植被覆盖区域，多模态遥感图像分割显得尤为重要。
2、目前，多模态遥感图像分割的操作具体是：首先，单独获取不同模态下的图像特征；其次，分别对每个尺度的特征使用注意力机制进行特征融合，并利用上采样逐步融合所有尺度信息并获得分割结果；最后，计算分割结果和真实标签间的骰子(dice)损失和焦点(focal)损失，利用反向传播完成端到端训练。然而，现有技术使用独立的特征提取，独立的特征提取过程由于缺乏不同模态间信息的交互，导致提取出的信息存在一定的信息重复，不能有效兼顾模态间互补的信息，极大地影响了信息的提取率和利用率，使得多模态遥感图像分割的准确率较低。
技术实现思路
1、本专利技术实施例的目的是提供一种基于交叉融合的多模态遥感图像分割方法及装置，解决多模态遥感图像分割的准确率较低的问题。
2、为解决上述技术问题，本专利技术实施例提供如下技
3、本专利技术第一方面提供一种基于交叉融合的多模态遥感图像分割方法，该方法包括：
4、获取多个数据集，并对多个数据集进行预处理，将预处理后的多个数据集分别划分为对应的训练集和验证集，多个数据集为具有标签的多模态遥感图像的集合，标签用于标记多模态遥感图像中的地形；
5、构建分割模型，分割模型包括多个第一transformer层、第一特征融合网络、第一特征自适应网络、多个第二transformer层、第二特征融合网络、第二特征自适应网络、多个第三transformer层、第三特征融合网络、第三特征自适应网络、多个第四transformer层、第四特征融合网络、颈部网络和解码器，多个第一transformer层的数量、多个第二transformer层的数量、多个第三transformer层、多个第四transformer层的数量，均与多模态的遥感图像的类别数量相同；
6、利用多个训练集分别对分割模型进行迭代训练，得到分割模型的每轮参数；
7、利用每轮参数和验证集保存最优的参数，以获得最终的分割模型，以便通过最终的分割模型对待处理的多模态遥感图像进行分割处理，获得最终的分割结果。
8、本专利技术第二方面提供一种基于交叉融合的多模态遥感图像分割装置，该装置包括：
9、划分模块，用于获取多个数据集，并对多个数据集进行预处理，将预处理后的多个数据集分别划分为对应的训练集和验证集，多个数据集为具有标签的多模态遥感图像的集合，标签用于标记多模态遥感图像中的地形；
10、构建模块，用于构建分割模型，分割模型包括多个第一transformer层、第一特征融合网络、第一特征自适应网络、多个第二transformer层、第二特征融合网络、第二特征自适应网络、多个第三transformer层、第三特征融合网络、第三特征自适应网络、多个第四transformer层、第四特征融合网络、颈部网络和解码器，多个第一transformer层的数量、多个第二transformer层的数量、多个第三transformer层、多个第四transformer层的数量，均与多模态的遥感图像的类别数量相同；
11、训练模块，用于利用多个训练集分别对分割模型进行迭代训练，得到分割模型的每轮参数；
12、保存模块，用于利用每轮参数和验证集保存最优的参数，以获得最终的分割模型，以便通过最终的分割模型对待处理的多模态遥感图像进行分割处理，获得最终的分割结果。
13、相较于现有技术，本专利技术提供的基于交叉融合的多模态遥感图像分割方法及装置，获取多个数据集，并对多个数据集进行预处理，将预处理后的多个数据集分别划分为对应的训练集和验证集，多个数据集为具有标签的多模态遥感图像的集合，标签用于标记多模态遥感图像中的地形；构建分割模型，分割模型包括多个第一transformer层、第一特征融合网络、第一特征自适应网络、多个第二transformer层、第二特征融合网络、第二特征自适应网络、多个第三transformer层、第三特征融合网络、第三特征自适应网络、多个第四transformer层、第四特征融合网络、颈部网络和解码器，多个第一transformer层的数量、多个第二transformer层的数量、多个第三transformer层、多个第四transformer层的数量，均与多模态的遥感图像的类别数量相同；利用多个训练集分别对分割模型进行迭代训练，得到分割模型的每轮参数；利用每轮参数和验证集保存最优的参数，以获得最终的分割模型，以便通过最终的分割模型对待处理的多模态遥感图像进行分割处理，获得最终的分割结果。这样，通过分割模型中的第一特征融合网络、第一特征自适应网络、第二特征融合网络、第二特征自适应网络、第三特征融合网络、第三特征自适应网络和第四特征融合网络，实现多个模态遥感图像之间信息的交互提取，有效兼顾模态间的互补信息，以及将融合特征图自适应地投影，以匹配各模态特征的特征空间，有利于后续更好的提取模态特征，使得多模态遥感图像分割的准确率较高。
本文档来自技高网...【技术保护点】
1.一种基于交叉融合的多模态遥感图像分割方法，其特征在于，所述基于交叉融合的多模态遥感图像分割方法包括：
2.根据权利要求1所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述利用多个训练集分别对所述分割模型进行迭代训练，得到所述分割模型的每轮参数，包括：
3.根据权利要求2所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，各训练集包括多个类别的遥感图像，一个类别的遥感图像对应一个第一transformer层、一个第二transformer层、一个第三transformer层和一个第四transformer层；
4.根据权利要求1所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述第一特征融合网络、所述第二特征融合网络、所述第三特征融合网络和所述第四特征融合网络均包括第一1×1卷积层、第一归一化层、拼接层和融合层。
5.根据权利要求4所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述将所述各第一特征图输入所述第一特征融合网络，以使所述第一特征融合网络输出第一融合特征图，包括：
6.根据权利
7.根据权利要求3所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述第一特征自适应网络、所述第二特征自适应网络和所述第三特征自适应网络，均包括第二1×1卷积层和第二归一化层；
8.根据权利要求1所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，各第一transformer层、各第二transformer层、各第三transformer层和各第四transformer层均包括多个block；所述各第一transformer层对应的多个block的数量、所述各第二transformer层对应的多个block的数量、所述各第三transformer层对应的多个block的数量和所述各第四transformer层对应的多个block的数量均不相同；各block依次包括第三归一化层、多头注意力层、第四归一化层和多层感知器。
9.根据权利要求1所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述利用所述每轮参数和所述验证集保存最优的参数，以获得最终的分割模型，以便通过所述最终的分割模型对待处理的多模态遥感图像进行分割处理，获得最终的分割结果，包括：
10.一种基于交叉融合的多模态遥感图像分割装置，其特征在于，所述基于交叉融合的多模态遥感图像分割装置包括：
...【技术特征摘要】
1.一种基于交叉融合的多模态遥感图像分割方法，其特征在于，所述基于交叉融合的多模态遥感图像分割方法包括：
2.根据权利要求1所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述利用多个训练集分别对所述分割模型进行迭代训练，得到所述分割模型的每轮参数，包括：
3.根据权利要求2所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，各训练集包括多个类别的遥感图像，一个类别的遥感图像对应一个第一transformer层、一个第二transformer层、一个第三transformer层和一个第四transformer层；
4.根据权利要求1所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述第一特征融合网络、所述第二特征融合网络、所述第三特征融合网络和所述第四特征融合网络均包括第一1×1卷积层、第一归一化层、拼接层和融合层。
5.根据权利要求4所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述将所述各第一特征图输入所述第一特征融合网络，以使所述第一特征融合网络输出第一融合特征图，包括：
6.根据权利要求5所述的基于交叉融合的多模态遥感图像分割方法，其特征在于，所述将所述多个特征输入所述融合层，以使所述融合层输出所述第一融合特征图，包括：...
【专利技术属性】
技术研发人员：焦李成，孙龙，张延昭，马芹，张丹，田小林，刘旭，马文萍，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。