基于全局与局部视觉特征协同分类方法、设备及存储介质技术

本发明专利技术公开了一种基于全局与局部视觉特征协同分类方法，包括如下步骤：步骤1，采用CNN网络提取图像特征，将图像映射到一个3D特征张量；步骤2，采用特征处理模块对该特征张量进行处理后，得到增强后的新特征张量；步骤3，将增强后的新特征张量分别进行全局特征分类和局部特征分类，将全局特征与局部特征的分类结果融合获得最终分类结果。本发明专利技术还公开了一种实现基于全局与局部视觉特征协同分类方法的设备。本发明专利技术将分类相关的局部信息和全局信息结合在统一的框架内，充分利用了样本中的全局信息和局部信息，克服了现有方法中只使用全局信息或局部信息的缺陷。息或局部信息的缺陷。息或局部信息的缺陷。

【技术实现步骤摘要】
基于全局与局部视觉特征协同分类方法、设备及存储介质


[0001]本专利技术涉及一种细粒度少样本分类方法，特别涉及一种基于全局与局部视觉特征协同分类方法、设备及存储介质。

技术介绍

[0002]目前，机器学习技术在数据挖掘和应用上取得了巨大的成功，但当数据集比较小时，其效果往往会大打折扣。因此人们提出少样本学习(Few
‑
Shot Learning)来解决这一问题。通过使用先验知识，在只使用一小部分有监督的样本时，FSL也可以迅速适应新的任务。一些典型的少样本学习应用场景是出于隐私安全或伦理问题时，有监督的信息极难获取。例如药品研发时，我们希望发现对于疾病治疗有用的药物分子，但由于可能存在的毒性等问题，新药物分子可能只有很少的临床记录。因此，如何高效利用这宝贵的样本就变得十分重要。通过少样本学习，使得利用这些稀有样本得到良好模型成为了可能。
[0003]近些年来，针对少样本学习问题，不少提出了多种方法，大体可分为两类:基于全局特征的方法和基于局部特征的方法。前一种方法使用全局特征表示整个图像，对全局特征进行处理；后一种方法捕捉图像局部特征，然后测量局部特征之间的距离。但全局特征忽略了图像上的局部信息，而只捕捉图像局部信息，则忽略了图像的整体连接，容易造成过拟合。细粒度图像一般具有类内差异大，类间差异小的特点。因此，对于分类难度更高的细粒度少样本图像来说，现有的这些方法很难获得一个优良的结果。
[0004]因此，亟需提出一种新型少样本学习方法来解决上述的问题。

技术实现思路
/>[0005]本专利技术为解决公知技术中存在的技术问题而提供一种基于全局与局部视觉特征协同分类方法、设备及存储介质。
[0006]本专利技术为解决公知技术中存在的技术问题所采取的技术方案是：一种基于全局与局部视觉特征协同分类方法，包括如下步骤：
[0007]步骤1，采用CNN网络提取图像特征，将图像映射到一个3D特征张量；
[0008]步骤2，采用特征处理模块对该特征张量进行处理后，得到增强后的新特征张量；
[0009]步骤3，将增强后的新特征张量分别进行全局特征分类和局部特征分类，将全局特征与局部特征的分类结果融合获得最终分类结果。
[0010]进一步地，步骤1中，采用CNN网络提取图像特征的具体方法包括如下分步骤：
[0011]步骤A1，编制预训练样本数据集；
[0012]步骤A2，从已有CNN预训练网络模型中，选取与训练样本相匹配的CNN预训练网络模型；选取的CNN预训练网络模型包括卷积层、平均池化层及全连接层：用预训练样本数据集对选取的CNN预训练网络模型进行预训练；
[0013]步骤A3，对选取的CNN预训练网络模型进行结构调整，去掉其最后的全连接层，保留其卷积层及平均池化层；
[0014]步骤A4，采用调整后的CNN预训练网络模型提取样本原始图像特征。
[0015]进一步地，步骤2包括如下分步骤：
[0016]步骤B1，对由样本原始图像特征映射的特征张量F
o
分别进行通道注意力加权及空间注意力加权，对应得到通道注意力特征张量F
o
‑
C
和空间注意力特征张量F
o
‑
S
；
[0017]步骤B2，将通道注意力特征张量F
o
‑
C
和空间注意力特征张量F
o
‑
S
进行融合与均值计算，得到初始融合特征张量F
fp
，其中，C为原始特征张量中的通道数；为初始融合特征张量在第1至第C个通道的分量；
[0018]步骤B3，采用下式计算初始融合特征张量的通道均值特征张量F
fp
‑
C
；
[0019][0020]步骤B4，构建通道残差网络，将初始融合特征张量F
fp
通过通道残差网络处理后得到增强后的新特征张量F
′
fp
；F
′
fp
＝F
fp
‑
F
fp
‑
C
。
[0021]进一步地，步骤B1包括如下分步骤：
[0022]步骤B1
‑
1，假设特征张量F
o
映射为F∈R
C
×
H
×
W
，C、H、W分别代表图像的通道数、高度和宽度；通过使用平均池化运算和最大池化运算来融合F的空间信息，分别生成两个通道特征描述符和为平均池化计算得到的通道特征描述符；为最大池化运算得到的通道特征描述符；
[0023]步骤B1
‑
2，设置通道注意力模块，其将步骤B1
‑
1生成的两个描述符融合成一维通道注意力图M
C
∈R
C
×1×1，然后采用全局平均池计算通道注意力特征张量F
o
‑
C
；通道注意力特征张量F
o
‑
C
的计算公式如下：
[0024]F
o
‑
C
＝GAP(F
o
·
M
C
)；
[0025][0026]其中，θ
C
为通道注意力模块感知层P的模型参数，σ是sigmoid函数；GAP为全局平均池化处理；P为通道注意力模块感知层；
[0027]步骤B1
‑
3，设置空间注意力模块，其将步骤B1
‑
1生成的两个描述符融合成二维空间注意图M
S
∈R1×
H
×
W
，然后通过加权关键区域信息得到空间注意力特征张量F
o
‑
S
；空间注意力特征张量F
o
‑
S
的计算公式如下：
[0028]F
o
‑
S
＝F
o
·
M
S
；
[0029][0030]其中，Conv为卷积处理，Con为通道拼接处理；θ
S
为卷积层参数，σ是sigmoid函数。
[0031]进一步地，步骤B2中包括如下分步骤：
[0032]步骤B2
‑
1，对通道注意力特征张量和空间注意力特征张量采用下式进行融合：
[0033]F
f
＝F
o
‑
S
+F
o
‑
C
；
[0034]步骤B2
‑
2，采用下式计算类内融合特征张量的初始融合特征张量F
fp
：
[0035][0036]式中，M为类内样本数量；为类内第i个样本的融合特征张量。
[0037]进一步地，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局与局部视觉特征协同分类方法，其特征在于，包括如下步骤：步骤1，采用CNN网络提取图像特征，将图像映射到一个3D特征张量；步骤2，采用特征处理模块对该特征张量进行处理后，得到增强后的新特征张量；步骤3，将增强后的新特征张量分别进行全局特征分类和局部特征分类，将全局特征与局部特征的分类结果融合获得最终分类结果。2.根据权利要求1所述的基于全局与局部视觉特征协同分类方法，其特征在于，步骤1中，采用CNN网络提取图像特征的具体方法包括如下分步骤：步骤A1，编制预训练样本数据集；步骤A2，从已有CNN预训练网络模型中，选取与训练样本相匹配的CNN预训练网络模型；选取的CNN预训练网络模型包括卷积层、平均池化层及全连接层：用预训练样本数据集对选取的CNN预训练网络模型进行预训练；步骤A3，对选取的CNN预训练网络模型进行结构调整，去掉其最后的全连接层，保留其卷积层及平均池化层；步骤A4，采用调整后的CNN预训练网络模型提取样本原始图像特征。3.根据权利要求1所述的基于全局与局部视觉特征协同分类方法，其特征在于，步骤2包括如下分步骤：步骤B1，对由样本原始图像特征映射的特征张量F
o
分别进行通道注意力加权及空间注意力加权，对应得到通道注意力特征张量F
o
‑
C
和空间注意力特征张量F
o
‑
S
；步骤B2，将通道注意力特征张量F
o
‑
C
和空间注意力特征张量F
o
‑
S
进行融合与均值计算，得到初始融合特征张量F
fp
，其中，C为原始特征张量中的通道数；为初始融合特征张量在第1至第C个通道的分量；步骤B3，采用下式计算初始融合特征张量的通道均值特征张量F
fp
‑
C
；步骤B4，构建通道残差网络，将初始融合特征张量F
fp
通过通道残差网络处理后得到增强后的新特征张量F
′
fp
；F
′
fp
＝F
fp
‑
F
fp
‑
C
。4.根据权利要求3所述的基于全局与局部视觉特征协同分类方法，其特征在于，步骤B1包括如下分步骤：步骤B1
‑
1，假设特征张量F
o
映射为F∈R
C
×
H
×
W
，C、H、W分别代表图像的通道数、高度和宽度；通过使用平均池化运算和最大池化运算来融合F的空间信息，分别生成两个通道特征描述符和和为平均池化计算得到的通道特征描述符；为最大池化运算得到的通道特征描述符；步骤B1
‑
2，设置通道注意力模块，其将步骤B1
‑
1生成的两个描述符融合成一维通道注意力图M
C
∈R
C
×1×1，然后采用全局平均池计算通道注意力特征张量F
o
‑
C
；通道注意力特征张量F
o
‑
C
的计算公式如下：F
o
‑
C
＝GAP(F
o
·
M
C
)；
其中，θ
C
为通道注意力模块感知层P的模型参数，σ是sigmoid函数；GAP为全局平均池化处理；P为通道注意力模块感知层；步骤B1
‑
3，设置空间注意力模块，其将步骤B1
‑
1生成的两个描述符融合成二维空间注意图M
S
∈R1×
H
×
W
，然后通过加权关键区域信息得到空间注意力特征张量F
o
‑
S
；空间注意力特征张量F
o
‑
...

【专利技术属性】
技术研发人员：冀中，吴伊兵，
申请(专利权)人：天津大学，
类型：发明
国别省市：