一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法技术

本发明专利技术公开了一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法，所述方法包括获取遥感图像，将所述遥感图像处理为224

【技术实现步骤摘要】
一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法


[0001]本专利技术涉及一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法，属于图像分类


技术介绍

[0002]高分辨率遥感图像场景分类是遥感数据处理的重要组成部分，即自动的为每一幅场景图像分配其固定的语义标签，在城市规划、应急灾害、土地利用和环境监测等领域应用广泛。早期遥感图像分类主要使用人工设计特征的方法，需要专家针对不同场景的特点精心设计、直观、显式的提取特征，通过编码后用于分类任务。但通常是低级密集特征，包含大量冗余信息，影响分类精度。
[0003]ConvNeXt是目前图像分类领域性能最好的模型之一，在宏观设计上，优化计算分布，使用ViT中的Patchify操作代替初始下采样操作。采用ResNeXt中的分组卷积，使用深度可分离卷积减少参数量同时拓宽通道数补偿容量损失。采用MobileNetV2中的反向瓶颈结构避免信息流失，使用7
×
7卷积核代替3
×
3卷积核获取更大感受野。但是在提取特征时对所有通道赋予相同的权重，限制了算法的分类性能，无法准确提取局部特征和长距离空间特征。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中的不足，提供一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法，可以有效的融合局部关键特征和长距离空间特征实现分类。
[0005]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0006]第一方面，本专利技术提供了一种改进的ConvNeXt卷积神经网络，所述改进的ConvNeXt卷积神经网络从前至后为Conv1层、层正则化、ConvNeXT网络、注意力机制模块、全连接层以及并行的随机节点采样器、图卷积网络、全连接层；
[0007]所述ConvNeXT网络包括Stage1、Stage2、Stage3和Stage4，其中，Stage1包括多个ConvNeXT Block、Stage2包括多个ConvNeXT Block、Stage3包括多个ConvNeXT Block、Stage4包括多个ConvNeXT Block。
[0008]第二方面，本专利技术提供了一种遥感图像的分类方法，应用于上述的一种改进的ConvNeXt卷积神经网络中，包括：
[0009]获取遥感图像，将所述遥感图像处理为224
×
224
×
3的图像；
[0010]对所述处理过的遥感图像分别进行下采样、全局特征提取和局部特征提取，然后输入到平均池化层和全连接层得到大小为1
×1×
1000的第一特征向量；
[0011]对所述处理过的遥感图像分别进行上下文信息建模、随机结点采样器和图卷积网络后，输入平均池化层和全连接层得到大小为1
×1×
1000的第二特征向量；
[0012]将所述第一特征向量和第二特征向量使用加法策略融合，获取融合后的特征；
[0013]将所述融合后的特征输入到全连接层和Softmax分类层中预测得到最终的分类结
果。
[0014]进一步的，对所述处理过的遥感图像分别进行下采样、全局特征提取和局部特征提取，然后输入到平均池化层和全连接层得到大小为1
×1×
1000的第一特征向量，包括：
[0015]对所述处理过的遥感图像进行下采样，得到56
×
56
×
96的特征图；
[0016]将下采样得到的56
×
56
×
96的特征图使用深度卷积提取全局特征；
[0017]将提取全局特征后的特征图采用注意力机制进行局部特征提取，获得包含全局特征和局部特征的特征图；
[0018]将所述包含全局特征和局部特征的特征图输入平均池化层和全连接层得到大小为1
×1×
1000的第一特征向量。
[0019]进一步的，对所述处理过的遥感图像分别进行上下文信息建模、随机结点采样器和图卷积网络后，输入平均池化层和全连接层得到大小为1
×1×
1000的第二特征向量，包括：
[0020]将所述处理过的遥感图像通过图结构进行上下文信息建模，获取图像空间信息；
[0021]使用遥感图像中的像素点构造顶点集，根据所述图像空间信息确定顶点之间的关系，构造邻接图；
[0022]将所述邻接图输入随机节点采样器，重复采样邻接图中的顶点，直至所有顶点均被采样，生成一组子图；
[0023]将所述子图输入图卷积网络，提取所述子图的上下文特征；
[0024]将所述提取上下文特征后的子图输入平均池化层和全连接层得到大小为1
×1×
1000的第二特征向量。
[0025]进一步的，所述将提取全局特征后的特征图采用注意力机制进行局部特征提取，获得包含全局特征和局部特征的特征图，包括：
[0026]将提取全局特征后的特征图切分为S份,然后采用多尺度卷积核分组卷积的方式提取空间信息；其中，卷积核大小K和组数G设置如下所示：
[0027][0028]提取空间信息后，级联各部分特征图得到多尺度融合的特征图，整个过程具体计算如下所示：
[0029]F
i
＝Conv(K
i
,K
i
,G
i
)(X
i
),i＝0,...,S
‑1[0030]F＝Concat([F0,...,F
S
‑1])
[0031]经过注意力机制模块之后，使用ECA得到通道级注意力向量尺度特征；
[0032]采用Softmax函数对所述通道级注意力向量尺度特征进行重校正，将校正后的注意力向量作用于多尺度融合的特征图，得到一个多尺度信息更为丰富的特征图；
[0033]将所述多尺度信息更为丰富的特征图添加至池化层和全连接层，最终得到一个包含全局特征和局部特征的特征向量F
CNN,AM
∈R
1000
。
[0034]进一步的，所述使用遥感图像中的像素点构造顶点集，根据所述图像空间信息确定顶点之间的关系，构造邻接图，包括：
[0035]使用遥感图像中的像素点构造顶点集V，边集E由任意两个顶点V
i
和V
j
之间的关系组成，构造邻接图G(V,E)；
[0036]使用邻接矩阵A描述顶点之间的关系，邻接矩阵中边的权重a
i,j
由以下函数获得：
[0037][0038]式中：x
i
和x
j
表示顶点v
i
和v
j
相关的特征向量，σ为函数的宽度参数。
[0039]进一步的，将所述子图输入图卷积网络，提取所述子图的上下文特征，包括：
[0040]将子图输入图卷积网络，其中，图卷积网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改进的ConvNeXt卷积神经网络，其特征在于，所述改进的ConvNeXt卷积神经网络从前至后为Conv1层、层正则化、ConvNeXT网络、注意力机制模块、全连接层以及并行的随机节点采样器、图卷积网络、全连接层；所述ConvNeXT网络包括Stage1、Stage2、Stage3和Stage4，其中，Stage1包括多个ConvNeXT Block、Stage2包括多个ConvNeXT Block、Stage3包括多个ConvNeXT Block、Stage4包括多个ConvNeXT Block。2.一种遥感图像的分类方法，应用于权利要求1所述的一种改进的ConvNeXt卷积神经网络中，其特征在于，包括：获取遥感图像，将所述遥感图像处理为224
×
224
×
3的图像；对所述处理过的遥感图像分别进行下采样、全局特征提取和局部特征提取，然后输入到平均池化层和全连接层得到大小为1
×1×
1000的第一特征向量；对所述处理过的遥感图像分别进行上下文信息建模、随机结点采样器和图卷积网络后，输入平均池化层和全连接层得到大小为1
×1×
1000的第二特征向量；将所述第一特征向量和第二特征向量使用加法策略融合，获取融合后的特征；将所述融合后的特征输入到全连接层和Softmax分类层中预测得到最终的分类结果。3.根据权利要求2所述的遥感图像的分类方法，其特征在于，对所述处理过的遥感图像分别进行下采样、全局特征提取和局部特征提取，然后输入到平均池化层和全连接层得到大小为1
×1×
1000的第一特征向量，包括：对所述处理过的遥感图像进行下采样，得到56
×
56
×
96的特征图；将下采样得到的56
×
56
×
96的特征图使用深度卷积提取全局特征；将提取全局特征后的特征图采用注意力机制进行局部特征提取，获得包含全局特征和局部特征的特征图；将所述包含全局特征和局部特征的特征图输入平均池化层和全连接层得到大小为1
×1×
1000的第一特征向量。4.根据权利要求2所述的遥感图像的分类方法，其特征在于，对所述处理过的遥感图像分别进行上下文信息建模、随机结点采样器和图卷积网络后，输入平均池化层和全连接层得到大小为1
×1×
1000的第二特征向量，包括：将所述处理过的遥感图像通过图结构进行上下文信息建模，获取图像空间信息；使用遥感图像中的像素点构造顶点集，根据所述图像空间信息确定顶点之间的关系，构造邻接图；将所述邻接图输入随机节点采样器，重复采样邻接图中的顶点，直至所有顶点均被采样，生成一组子图；将所述子图输入图卷积网络，提取所述子图的上下文特征；将所述提取上下文特征后的子图输入平均池化层和全连接层得到大小为1
×1×
1000的第二特征向量。5.根据权利要求3所述的遥感图像的分类方法，其特征在于，所述将提取全局特征后的特征图采用注意力机制进行局部特征提取，获得包含全局特征和局部特征的特征图，包括：将提取全局特征后的特征图切分为S份,然后采用多尺度卷积核分组卷积的方式提取空间信息；其中，卷积核大小K和组数G设置如下所示：
提取空间信息后，级联...

【专利技术属性】
技术研发人员：王坤，杜景林，高文凯，杨陆，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：