一种小样本遥感图像场景分类方法技术

本发明专利技术公开了一种小样本遥感图像场景分类方法，属于图像感知领域。该方法首先将遥感图像场景分类数据集划分为训练集、验证集和测试集；接着基于上述数据集分别构建情景集；接着构建基于注意力机制的深度近邻神经网络模型；接着基于情景集对基于注意力机制的深度近邻神经网络模型进行训练及验证；最后基于情景集对训练好的基于注意力机制的深度近邻神经网络模型进行测试。本发明专利技术针对遥感图像场景分类中场景背景复杂的问题，提出了基于注意力机制的深度神经网络模型，引入情景训练方式，采用深度局部描述子进行特征表示，引入了注意力机制得到场景类别相关的注意力图，将深度局部描述子区分为与场景相关和无关的两部分，基于度量模块计算查询图像的局部描述子与类别之间的相似性，并利用注意力图进行加权求和，解决了小样本遥感图像场景分类问题。决了小样本遥感图像场景分类问题。决了小样本遥感图像场景分类问题。

【技术实现步骤摘要】
一种小样本遥感图像场景分类方法


[0001]本专利技术属于图像感知领域，特别是指一种小样本遥感图像场景分类方法，可用于对小样本遥感图像进行分类，为环境感知提供支撑。

技术介绍

[0002]遥感是远距离获取目标信息的一种探测技术，随着遥感技术的快速发展，遥感图像在军事和民用领域都发挥着越来越重要的作用。场景分类根据图像内容将每个遥感图像划分为不同的场景类别，是理解遥感图像的重要手段，可以实际应用于自然灾害检测、城市规划、环境监测、植被制图、土地覆盖分析等领域。
[0003]近年来，深度学习在遥感图像场景分类任务中取得了令人鼓舞的成绩。然而这些优秀的模型在很大程度上依赖于大量的标记训练样本。在实际应用中，由于遥感影像的特殊性，获取大量人工标注的高分辨率遥感图像是非常困难和耗时的，特别是对于军事设施等特殊场景(例如，导弹位置，军事区域)。一旦可用的标记数据不足，深度学习模型就会有过拟合的风险从而导致性能下降。因此，在标记样本较少的情况下，遥感图像场景分类问题已成为一项紧迫而重要的研究任务。
[0004]小样本场景分类网络可以直接对训练集中不存在的新场景进行分类，省去了标记图像以及重新训练的成本。但是现有的小样本图像分类网络通常是应用在自然图像，遥感图像与自然场景图像的差异非常显著。由于遥感图像以一种鸟瞰的俯视角度拍摄，不可避免地包含与场景语义类别无关的对象，会对分类性能造成不利干扰。例如在篮球场中，主要的目标物体是篮球场区域，但在图像中也存在一些不相关的物体，如汽车、建筑物和植物。类似的情况也出现在环形路口、田径场、高速公路等其余的场景中。
[0005]在基于度量的小样本学习方法中，深度近邻神经网络(Deep Nearest Neighbor Neural Network，DN4)是最先进的算法之一。基于度量学习的小样本方法主要依赖于对信息相似度量的学习，这些方法主要利用图像级别特征进行分类，而小样本条件下的图像级别特征往往较为稀疏，会丢失一些判别信息，这种损失往往是不可恢复的，并导致较差的分类性能。与一些小样本方法中的图像到图像度量方式相比，DN4网络受到朴素贝叶斯最近邻(Naive
‑
Bayes Nearest
‑
Neighbor，NBNN)的启发，利用深度局部描述子并采用图像到类度量的方式，直接计算查询图像的描述符与整个类之间的距离，有效地减轻了量化误差。DN4在小样本学习方面取得了突破，但由于遥感图像中背景十分复杂，模型容易受到无关局部特征的影响，该模型并不能直接应用在遥感场景。

技术实现思路

[0006]有鉴于此，本专利技术提出了一种小样本遥感图像场景分类方法，该方法采用基于注意力机制的深度近邻神经网络，实现了端到端的小样本遥感图像场景分类框架。
[0007]为了实现上述目的，本专利技术采用的技术方案为：
[0008]一种小样本遥感图像场景分类方法，包括如下步骤：
[0009]步骤1，将遥感图像场景分类数据集划分为训练集、验证集和测试集；
[0010]步骤2，基于上述数据集分别构建情景集；
[0011]步骤3，构建基于注意力机制的深度近邻神经网络模型；
[0012]步骤4，基于情景集对基于注意力机制的深度近邻神经网络模型进行训练及验证；
[0013]步骤5，基于情景集对训练好的基于注意力机制的深度近邻神经网络模型进行测试。
[0014]进一步地，步骤1所述的遥感图像场景分类数据集的划分方式为：
[0015]1a)将遥感图像场景分类数据集用D
total
表示，训练集用D
train
表示，验证集D
val
用表示，测试集用D
test
表示；
[0016]1b)将遥感图像场景分类数据集中的一部分类别划分为训练集D
train
，将剩余的一部分类别划分为验证集D
val
，将最后的类别划分为测试集D
test
；其中，；其中，D
train
∪D
val
∪D
test
＝D
total
。
[0017]进一步地，步骤2所述的基于情景训练方法构建情景集的具体方式为：
[0018]2a)从数据集中随机选取C个类别，每个类别K个样本，将抽取到的样本集合作为支持集S＝{(s
i
,y
i
)|i＝1,...,C
×
K}，其中s
i
表示支持样本集中的第i个样本，y
i
表示对应的标签；
[0019]2b)在支持集中每个类别的剩余样本中随机选取N个样本，得到对应的查询集其中q
i
表示查询集中第j个样本，表示对应的标签；
[0020]支持集与查询集不存在交集，即1个支持集和1个查询集构成1个情景集。
[0021]进一步地，步骤3所述的基于注意力机制的深度近邻神经网络模型的构建方式为：
[0022]3a)将基于注意力机制的深度近邻神经网络模型分为2个模块，分别为基于注意力机制的深入嵌入模块f
ψ
(
·
)和度量模块
[0023]3b)基于注意力机制的深入嵌入模块f
ψ
(
·
)的构建方式为：
[0024]3b
‑
1)使用卷积神经网络Conv
‑
64F、VGG16、ResNet18或ResNet50作为深度嵌入模块；
[0025]3b
‑
2)经过深度嵌入模块提取后的深度特征f
ψ
(X
image
)是一个大小为h
×
w
×
d的张量，其中w、h、d分别表示深度嵌入模块提取特征图的宽度、高度和通道数，将其视为m个d维的深度描述子的集合：
[0026]f
ψ
(X
image
)＝[x1,x2,...,x
m
]∈R
d
×
m
[0027]式中，m＝h
×
w，x
i
是第i个深度局部描述子，R
d
×
m
表示元素为实数的d行m列矩阵；
[0028]3b
‑
3)采用类别相关注意力模块为深度嵌入模块引入注意力机制，将深度局部描述子区分为与场景相关部分和不相干部分，即为由深度嵌入模块得到的特征图中的每一个像素点构建一个特征图，具体方式为，使用挤压激励网络作为基础模块，使用非局部注意力机制代替挤压激励网络中的全局平均池化操作，具体计算方式如下：
[0029][0030]式中，σ和δ分别表示ReLU激活函数和Sigmoid激活函数；W
z1
和W
z2
均为全连接权重，分别用于按比例缩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本遥感图像场景分类方法，其特征在于，包括如下步骤：步骤1，将遥感图像场景分类数据集划分为训练集、验证集和测试集；步骤2，基于上述数据集分别构建情景集；步骤3，构建基于注意力机制的深度近邻神经网络模型；步骤4，基于情景集对基于注意力机制的深度近邻神经网络模型进行训练及验证；步骤5，基于情景集对训练好的基于注意力机制的深度近邻神经网络模型进行测试。2.根据权利要求1所述的一种小样本遥感图像场景分类方法，其特征在于，步骤1所述的遥感图像场景分类数据集的划分方式为：1a)将遥感图像场景分类数据集用D
total
表示，训练集用D
train
表示，验证集D
val
用表示，测试集用D
test
表示；1b)将遥感图像场景分类数据集中的一部分类别划分为训练集D
train
，将剩余的一部分类别划分为验证集D
val
，将最后的类别划分为测试集D
test
；其中，；其中，D
train
∪D
val
∪D
test
＝D
total
。3.根据权利要求1所述的一种小样本遥感图像场景分类方法，其特征在于，步骤2所述的基于情景训练方法构建情景集的具体方式为：2a)从数据集中随机选取C个类别，每个类别K个样本，将抽取到的样本集合作为支持集S＝{(s
i
,y
i
)|i＝1,...,C
×
K}，其中s
i
表示支持样本集中的第i个样本，y
i
表示对应的标签；2b)在支持集中每个类别的剩余样本中随机选取N个样本，得到对应的查询集其中q
i
表示查询集中第j个样本，表示对应的标签；支持集与查询集不存在交集，即1个支持集和1个查询集构成1个情景集。4.根据权利要求1所述的一种小样本遥感图像场景分类方法，其特征在于，步骤3所述的基于注意力机制的深度近邻神经网络模型的构建方式为：3a)将基于注意力机制的深度近邻神经网络模型分为2个模块，分别为基于注意力机制的深入嵌入模块和度量模块3b)基于注意力机制的深入嵌入模块的构建方式为：3b
‑
1)使用卷积神经网络Conv
‑
64F、VGG16、ResNet18或ResNet50作为深度嵌入模块；3b
‑
2)经过深度嵌入模块提取后的深度特征f
ψ
(X
image
)是一个大小为h
×
w
×
d的张量，其中w、h、d分别表示深度嵌入模块提取特征图的宽度、高度和通道数，将其视为m个d维的深度描述子的集合：f
ψ
(X
image
)＝[x1,x2,...,x
m
]∈R
d
×
m
式中，m＝h
×
w，x
i
是第i个深度局部描述子，R
d
×
m
表示元素为实数的d行m列矩阵；3b
‑
3)采用类别相关注意力模块为深度嵌入模块引入注意力机制，将深度局部描述子区分为与场景相关部分和不相干部分，即为由深度嵌入模块得到的特征图中的每一个像素点构建一...

【专利技术属性】
技术研发人员：陈彦桥，柴兴华，朱良彬，张小龙，李阳阳，毛鹤亭，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：