一种特征解纠缠的无监督领域自适应图像分类方法技术

本发明专利技术公开了一种特征解纠缠的无监督领域自适应图像分类方法，包括：1.对源域目标域图像预处理；2.构建基于特征解耦的领域自适应模型；3.将处理好的图像作为输入，以无监督的方式训练构建好的网络模型并利用训练好的网络模型进项跨域图像分类。本发明专利技术通过将语义相关特征与不同的领域相关特征相结合，可以在不改变其内在类别信息的情况下将特征转移到其他领域，从而完成图像高效高准确率的分类。从而完成图像高效高准确率的分类。从而完成图像高效高准确率的分类。

【技术实现步骤摘要】
一种特征解纠缠的无监督领域自适应图像分类方法


[0001]本专利技术涉及计算机视觉迁移学习域适应图像分类领域，具体而言是一种基于特征解耦的领域适应图像分类方法。

技术介绍

[0002]深度学习在各种视觉任务上取得了显著的成功，而图像分类是深度学习的一个重要方向。但是，深度学习方法的成功在很大程度上依赖于海量数据标注，在实践中，收集大量的注释数据是昂贵的。同时，不同领域的样本都有自己特定的领域特征，如光照、颜色、视角或背景等。两张分类结果相同的样本图片，比如两只猫，他们的品种可能完全不相同，他们所处的背景也可能完全不相同，抑或是他们一个在白天而一个在黑夜，但是他们的语义信息却是相同的，分类结果也是相同的。这些都会导致领域偏移从而导致深度模型在分类时出现错误。为了解决这个问题，一个有吸引力的替代方法是域适应(Domain Adaptation，DA)，它试图利用富含标签的源域的知识来帮助相关但未标记的目标域学习。
[0003]无监督域自适应(UDA)旨在学习从一个富含标签的源域到另一个相关但没有标签的目标域的通用知识。使得在源域图片样本上训练的模型能够在目标域样本中取得很好的分类效果。
[0004]对于一张图片，我们认为它的主体内容是语义信息，有助于图像分类，而对于他的背景信息，我们认为是对于分类没有积极的作用，称为领域相关信息。以前的大多数解决方案都集中在学习两个域之间的域不变表示(即语义信息)。在领域层面，大多数方法以粗粒度的方式对齐两个领域之间的整个特征，这样不仅可以对齐语义信息，还可以对齐领域相关信息，但是与领域相关的信息可以被视为噪声，因为它干扰了分类任务的特征表示；语义信息是分类任务的决定因素，而领域信息与任务无关或不独特。

技术实现思路

[0005]本专利技术是为了克服现有技术的不足，提出一种特征解纠缠的无监督领域自适应图像分类方法，以期能够克服图像分类中不同样本的背景信息的影响，提取出对于图像分类更有意义的语义信息，从而能提高图像分类的准确率。
[0006]本专利技术为了解决技术问题采用如下方案：
[0007]本专利技术一种特征解纠缠的无监督领域自适应图像分类方法的特点在于，包括如下步骤：
[0008]步骤1：获取领域自适应图像数据集，并在其中选取两个不同的域，分别设置为源域S和目标域T，其中，S表示带有标签的源域图像集合，T表示无标签的目标域图像集合，令x
s
表示源域图像集合S中任意一个源域图像样本，y
s
表示x
s
的标签，y
s
∈{1,2,3
…
C}，C表示标签的种类，令x
t
表示目标域图像集合中T任意一个目标域图像样本；
[0009]步骤2：构建基于特征解耦的深度网络模型，包括：主干网络Ψ(
·
)，Coord注意力模块A、降维模块、重构模块、域判别器D，以及两个不同的分类器h1、h2；
[0010]步骤2.1：所述主干网络Ψ(
·
)是基于ResNet
‑
50，并包括由一个卷积层、批量归一化层、RELU激活函数和一个最大池化层组成的第0层网络；以及分别拥有M、N、P、Q个bottleneck层组成的四层网络结构；每个bottleneck层由3个卷积层组成，且每个卷积层后接入一个批量归一化层和RELU激活函数；
[0011]将x
s
和x
t
分别输入主干网络Ψ(
·
)中进行特征提取，相应得到源域特征f
s
＝Ψ(x
s
)和目标域特征f
t
＝Ψ(x
t
)；
[0012]步骤2.2：所述Coord注意力模块A依次由两个平均池化层、卷积层、批量归一化层、非线性层、两个卷积层和sigmoid函数组成；
[0013]源域特征f
s
输入所述Coord注意力模块A中，并利用式(1)进行特征分解，得到源域的语义特征和源域的领域相关特征
[0014][0015]目标域特征f
t
输入所述Coord注意力模块A中，并利用式(2)进行特征分解，得到目标域的语义特征和目标域的领域相关特征
[0016][0017]步骤2.3：所述降维模块包括全局平均池化层和投影操作层，其中投影操作层由全连接层、批量归一化层和ReLU激活函数组成；
[0018]所述源域的语义特征和源域的领域相关特征输入所述降维模块中进行处理后，得到降维后的源域的语义特征和源域的领域相关特征
[0019]所述目标域的语义特征和目标域的领域相关特征输入所述降维模块中进行处理后，得到降维后的目标域的语义特征和目标域的领域相关特征
[0020]步骤2.4：所述重构模块利用式(3)对降维模块的输出进行重构，从而得到源域的重构特征和目标域的重构特征
[0021][0022]步骤2.5：所述域判别器D由全连接层组成，并分别对源域的重构特征和目标域的重构特征进行域判别，预测出x
s
所属的领域和x
t
所属的领域，即域标签；
[0023]步骤2.6：将源域特征f
s
和源域的语义特征分别送入分类器h1和h2中进行分类，相应得到源域特征f
s
的预测标签y'
s
和语义特征的预测标签y
″
s
；
[0024]步骤3：建立总体损失函数L，并使用SGD优化器以及逐渐增大的学习率l
r
动态优化深度网络模型，得到训练好的深度网络模型并应用于目标域的图像分类。
[0025]本专利技术一种特征解纠缠的无监督领域自适应图像分类方法的特点也在于，所述步骤3中的总体损失函数L是按如下步骤建立：
[0026]步骤3.1：利用式(4)构建图像样本的判别损失函数L
dis1
：
[0027]L
dis1
＝l
bce
(D(f
s
),0)+l
bce
(D(f
t
),1)
ꢀꢀꢀꢀꢀ
(4)
[0028]式(4)中，l
bce
代表二元交叉熵损失函数，D(f
s
)代表判别器对输入f
s
输出的结果；
[0029]步骤3.2：利用式(5)建立重建特征的域判别损失函数L
dis2
：
[0030][0031]步骤3.3：利用式(6)建立整个域解纠缠过程的损失函数L
dis
：
[0032]L
dis
＝L
dis1
+L
dis2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0033]步骤3.4：利用式(7)建立分类损失函数L
cls
：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征解纠缠的无监督领域自适应图像分类方法，其特征在于，包括如下步骤：步骤1：获取领域自适应图像数据集，并在其中选取两个不同的域，分别设置为源域S和目标域T，其中，S表示带有标签的源域图像集合，T表示无标签的目标域图像集合，令x
s
表示源域图像集合S中任意一个源域图像样本，y
s
表示x
s
的标签，y
s
∈{1,2,3
…
C}，C表示标签的种类，令x
t
表示目标域图像集合中T任意一个目标域图像样本；步骤2：构建基于特征解耦的深度网络模型，包括：主干网络Ψ(
·
)，Coord注意力模块A、降维模块、重构模块、域判别器D，以及两个不同的分类器h1、h2；步骤2.1：所述主干网络Ψ(
·
)是基于ResNet
‑
50，并包括由一个卷积层、批量归一化层、RELU激活函数和一个最大池化层组成的第0层网络；以及分别拥有M、N、P、Q个bottleneck层组成的四层网络结构；每个bottleneck层由3个卷积层组成，且每个卷积层后接入一个批量归一化层和RELU激活函数；将x
s
和x
t
分别输入主干网络Ψ(
·
)中进行特征提取，相应得到源域特征f
s
＝Ψ(x
s
)和目标域特征f
t
＝Ψ(x
t
)；步骤2.2：所述Coord注意力模块A依次由两个平均池化层、卷积层、批量归一化层、非线性层、两个卷积层和sigmoid函数组成；源域特征f
s
输入所述Coord注意力模块A中，并利用式(1)进行特征分解，得到源域的语义特征和源域的领域相关特征和源域的领域相关特征目标域特征f
t
输入所述Coord注意力模块A中，并利用式(2)进行特征分解，得到目标域的语义特征和目标域的领域相关特征和目标域的领域相关特征步骤2.3：所述降维模块包括全局平均池化层和投影操作层，其中投影操作层由全连接层、批量归一化层和ReLU激活函数组成；所述源域的语义特征和源域的领域相关特征输入所述降维模块中进行处理后，得到降维后的源域的语义特征和源域的领域相关特征所述目标域的语义特征和目标域的领域相关特征输入所述降维模块中进行处理后，得到降维后的目标域的语义特征和目标域的领域相关特征步骤2.4：所述重构模块利用式(3)对降维模块的输出进行重构，从而得到源域的重构特征和目标域的重构特征和目标域的重构特征步骤2.5：所述域判别器D由全连接层组成，并分别对源域的重构特征和目标域的重构特征进行域判别，预测出x
s
所属的领域和x
t
所属的领域，即域标签；步骤2.6：将源域特征f
s
和源域的语义特征分别送入分类器h1和h2中进行分类，相应
得到源域...

【专利技术属性】
技术研发人员：王姗姗，杨勋，胡敏彬，张兴义，许柯，刘淳，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：