本发明专利技术提供了一种基于多分支融合的海洋遥感图像场景分类方法，具体涉及遥感场景和分类技术领域，本发明专利技术通过构建卷积网络和Transformer多分支并行计算的网络结构，设计核选择多尺度聚合模块，处理多个分支产生的不同尺度特征；通过选择不同的卷积核，建立动态的感受野，自适应地处理不同尺度的特征，减小语义差异以实现有效聚合多尺度特征；此外，通过设置可学习的参数将浅层的形状信息补充到深层特征，增强最终分类特征的表示能力；本发明专利技术提供的海洋遥感图像场景分类方法在基线上实现了2.74%的准确率提升，更有效地聚合了多尺度特征，增强了特征表示能力。
【技术实现步骤摘要】
本专利技术涉及遥感场景和分类，具体涉及一种基于多分支融合的海洋遥感图像场景分类方法。
技术介绍
1、在遥感图像解译领域，遥感场景分类是遥感领域的一项既基础又重要的任务，是对遥感图像的语义内容进行标注的过程。遥感场景图像呈现出高度复杂的几何结构，每个场景都包含大小不同、外观迥异的物体，这些对象不仅形状多变，而且空间结构差异显著。受这些特性的影响，遥感场景中的主体对象难以清晰捕获，以及其复杂的尺度信息，致使从图像中提取准确且具有辨别性的特征变得尤为困难。特征提取是遥感场景分类中最重要的步骤，只有提取到能够有效表达图像内在属性并具备高度判别行的特征，才能实现遥感场景的准确分类。
2、因此，在提取特征时，如何优化特征，以强调关键对象信息；如何融合特征，有效处理多尺度的特征信息，在遥感场景分类中需要解决这一系列难题，适应遥感图像独特的空间结构。此外，在海洋遥感领域中还存在图像尺度变化大以及有利于海洋遥感场景分类的形状信息丢失的问题。
技术实现思路
1、为了解决上述技术问题，本专利技术提出一种基于多分支融合的海洋遥感图像场景分类方法，通过融合遥感图像尺度信息和层次信息，能够有效聚合多尺度特征，提升特征的表示能力。
2、在本专利技术的第一方面，本专利技术公开了一种基于多分支融合的海洋遥感图像场景分类方法，包括：
3、步骤s1、获取海洋遥感图像数据并对其进行预处理，获取的海洋遥感图像数据包括训练集、验证集和测试集，分别用于后续对模型进行训练、验证和评估;
4、步骤s2、构建基于多分支融合的海洋遥感场景分类模型，所述模型采用cnn的金字塔式网络结构，包括多个多分支网络块和可学习的多级融合模块，所述可学习的多级聚合模块用于将所述多个多分支网络块进行融合；
5、步骤s3、根据训练集、验证集和测试集中的数据对基于多分支融合的海洋遥感场景分类模型进行训练，并更新基于多分支融合的海洋遥感场景分类模型；
6、步骤s4、将待分类海洋遥感图像数据输入到训练好的海洋遥感场景分类模型中，得到分类结果。
7、进一步地，海洋遥感图像数据包括arcgis数据集、wdmi 数据集和google earth数据集；其中，arcgis数据集主要用于地理信息系统分析，包含高分辨率的海洋环境图像，捕获时间限定为近五年内，以确保反映当前海洋场景变化；wdmi数据集专注于水体监测，涵盖多样的海洋场景，包括港口、海岸线和开放海域；google earth数据集提供全球范围内的高分辨率卫星图像，具有可靠的标注信息，支持监督学习需求。所述步骤s1中对海洋遥感图像数据进行预处理包括：对海洋遥感图像数据集中的每一幅图像在训练过程中固定种子seed，将图像尺寸改变为256×256，并采用中心裁切的方式裁切到224×224。
8、进一步地，模型还包括stem卷积模块，用于对输入的海洋遥感图像数据进行处理，并将处理后的图像数据发送到多分支网络块；
9、在将图像输入到每个处理模块前，首先使用一个stem卷积模块处理的图像，其由两个通道为，，步长为2的3×3卷积层组成，生成的特征，为多分支网络网络块的输入维度。
10、进一步地，多分支网络块包括：
11、多尺度嵌入模块，用于生成不同大小的嵌入特征，并将其输入到多分支模块中；
12、多分支模块，包括cnn分支和transformer分支，所述cnn分支用于根据多尺度嵌入模块输出的嵌入特征获取图像数据的局部特征，所述transformer分支用于根据多尺度嵌入模块输出的嵌入特征获取图像数据的多尺度特征；
13、核选择聚合模块，用于将cnn分支获取的局部特征和transformer分支获取的多尺度特征进行聚合，得到输出的特征；
14、多分支网络块包括四个阶段：第一多分支网络块、第二多分支网络块、第三多分支网络块、第四多分支网络块；每个阶段的 transformer 分支数量，设置为[2，3，3，3]，对应的每个transformer 分支堆叠的编码器数量设置为[1，2，4，1]。
15、进一步地，多尺度嵌入模块用于生成不同大小的嵌入特征，并将其输入到多分支模块中包括：
16、多尺度嵌入模块通过改变步幅和填充来调整 token 的序列长度，用不同的patch大小输出相同形状的特征，也通过调整步幅实现当前阶段特征的2×2下采样；为了减少模型参数和计算开销，采用3×3深度可分离卷积来实现，由3×3深度卷积和嵌入层中的1× 1逐点卷积组成；所有卷积层之后加入批归一化和hardswish函数；最后将不同大小的token嵌入特征分别输入到多分支模块中；
17、多尺度嵌入模块使用由1×1卷积、3×3深度卷积、1×1卷积和残差连接组成的深度残差瓶颈层，处理嵌入特征，同时将这些不同尺度的特征，输入到多分支模块。
18、进一步地，transformer分支用于根据多尺度嵌入模块输出的嵌入特征获取图像数据的多尺度特征包括：
19、transformer分支中使用经典的transformer编码器结构，使用因式分解自注意力并搭配卷积相对位置编码组成新的卷积注意力模块；具体包括：
20、对输入的token首先进行卷积位置编码，然后输入到卷积注意力模块，其包括了因式分解注意力模块和卷积相对位置编码模块，因式分解注意力公式如下：
21、
22、
23、
24、其中，，，表示自注意力的三个向量，代表的是输入到 transformer 编码器的图像特征数据，表示通道数，上标t表示转置，第一个公式为原始注意力机制的计算公式，第二个公式为高效因式分解的注意力，通过公式可以看到在原始的基础上，通过两个函数和对和进行分解，并通过一起计算和相乘来近似原始的注意力图；第三个公式为使用的方法，函数使用恒等映射，并加入比例因子，函数使用softmax函数；
25、为了建模局部token的关系，使用深度卷积进行相对位置编码，得到相对位置的注意力图，将因式分解自注意力和位置编码进行结合，得出卷积注意力，具体公式如下所示：
26、
27、
28、
29、其中，表示相对位置的注意力图，强调如何通过卷积提取局部特征并与查询向量结合，以捕捉局部关系；表示综合性的注意力图，通过连接多个注意力图，增强信息的多样性，有助于提高模型的表达能力和准确性，表示hadamard product，w 表示卷积核的权重值。
30、进一步地，所述核选择聚合模块，就是核选择多尺度聚合模块（kernel selectionmulti-scale aggregation，ksmsa），采用不同的大卷积核，运用动态的感受野去感知不同尺度的信息，有效地对不同类别对象的不同上下文细微差别进行建模，进一步提升融合的效率，增强特征表示。
31、核选择多尺度聚合模块的核心是大核选择模块以及用本文档来自技高网
...
【技术保护点】
1.一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，所述模型还包括stem卷积模块，用于对输入的海洋遥感图像数据进行处理，并将处理后的图像数据发送到多分支网络块；
3.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，所述多尺度嵌入模块用于生成不同大小的嵌入特征，并将其输入到多分支模块中包括：
4.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，所述Transformer分支用于根据多尺度嵌入模块输出的嵌入特征获取图像数据的多尺度特征包括：
5.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于：
6.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，所述步骤S2中所述可学习的多级聚合模块用于将所述多个多分支网络块进行融合包括：
7.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于， 所述步骤S3中对基于多分支融合的海洋遥感场景分类模型进行训练中引入标签平滑损失作为损失函数；所述标签平滑损失将传统交叉熵损失中对标签的one-hot硬编码方式改为软编码，在one-hot中添加一点噪声，使模型更具有鲁棒性；损失函数公式如下面的公式所示：
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项权利要求所述的方法。
...
【技术特征摘要】
1.一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，所述模型还包括stem卷积模块，用于对输入的海洋遥感图像数据进行处理，并将处理后的图像数据发送到多分支网络块；
3.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，所述多尺度嵌入模块用于生成不同大小的嵌入特征，并将其输入到多分支模块中包括：
4.根据权利要求1所述的一种基于多分支融合的海洋遥感图像场景分类方法，其特征在于，所述transformer分支用于根据多尺度嵌入模块输出的嵌入特征获取图像数据的多尺度特征包括：
5.根据权利要求1所述的一种基于多分支融合的海洋遥...
【专利技术属性】
技术研发人员：熊盛武，杨雨童，杨猛，陈亚雄，
申请(专利权)人：武汉理工大学三亚科教创新园，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。