基于对抗融合多源迁移学习的图像分类方法技术

本发明专利技术公开了一种基于对抗融合多源迁移学习的图像分类方法，主要解决现有技术图像分类准确率低的问题。其实现方案是：1)建立特征提取网络，从原始图像文件中提取图像特征；2)将图像特征输入特定的域判别器及分类器，计算得到域判别损失及目标域数据的伪标记、源域数据的分类损失；3)利用目标域样本伪标记与源域样本标记，计算得到源域与目标域中所有类别的MMD距离之和；4)利用域判别损失、分类损失及MMD距离之和对特征提取网络、域判别器及分类器进行训练；5)将待测样本依次输入到训练后的特征提取网络、域判别器及分类器，输出待测样本的类别标记。本发明专利技术能有效提高各类图像的分类准确率，可用于训练数据标记缺失下的图像分类。

【技术实现步骤摘要】
基于对抗融合多源迁移学习的图像分类方法
本专利技术属于图像识别领域，特别涉及一种图像分类方法，可用于训练数据标记缺失下的图像分类。
技术介绍
迁移学习是把在一个领域中学习到的知识、经验“迁移”到另外一个不同但相关的领域，以提高模型的学习效率，而不用重新开始学。一般把待分类或待预测的领域称为“目标域”；把有大量标记数据的辅助域称为“源域”，二者是存在域差异的。利用迁移学习研究图像分类问题在国内外已取得了显著的成效。现有的迁移学习方法可分为基于样本、基于特征和基于模型的方法。受到博弈论中二人零和博弈的启发，有学者提出生成式对抗网络GAN，其包含一对互相对抗的模块，分别是生成式模型和判别式模型，可简称为生成器和判别器。生成器可以生成数据，其原始输入是随机噪声数据，目的是尽可能逼近真实数据；判别器的目的是尽可能的区分出生成数据和真实数据。受GAN中对抗思想的启发，有研究人员提出基于对抗思想进行迁移学习。在基于对抗思想的迁移学习方法中，生成器与GAN中生成样本这一目标不同，其不再真正生成数据，而是对原始数据进行特征提取，使得判别器无法对两个领域进行分辨，此时生成器可以称为特征提取器。基于对抗的迁移学习核心思想是训练两个神经网络：一个试图区分源域和目标域特征的判别网络，一个试图迷惑判别网络使其无法区分源域和目标域特征的特征提取网络，基于这样的领域对抗思想，特征提取器最终能够提取到判别器无法区分的域不变特征，即可迁移特征，因此基于这种可迁移特征训练的分类器可以直接用来分类目标域的数据。多源迁移方法，是利用基分类器加权来进行多个源域的迁移，利用多个源域训练得到的多个分类器对目标域数据进行预测，结果加权得到目标域数据的最终标记。如A-SVM方法提出了一个自适应的支持向量机模型，其利用多个源域分类器集成得到一个目标域的支持向量机分类模型，但是该方法认为所有源域分类器对目标域的贡献相同，并未考虑到不同源域之间的差异。MultiSourceTrAdaBoost方法利用样本加权的方式来对多个源域进行迁移，该方法在每个源域和目标域组合上学习一个分类器，然后计算多个弱分类器的分类误差并进行权值更新。MultiSourceTrAdaBoost方法中源域样本的权值更新策略类似于TrAdaBoost算法，目标域样本的权值更新策略类似于AdaBoost算法，最终利用训练好的加权分类器对目标域样本预测。Sun等人提出两级多源迁移学习方法，分别基于边缘分布和条件分布进行加权，使得源域和目标域分布更相近。随着深度神经网络和生成对抗网络的发展，基于深度网络的多源域适应方法近两年也得到了国内外学者们的关注，如多源域对抗网络MDAN，该方法使用对抗策略学习多个源域的具有域不变性和任务判别性的特征；XuR等人提出把所有的源域和目标域数据映射到一个公共的特征空间，以学习可迁移的域不变特征。上述方法虽能实现目标域数据标记缺失下的图像分类工作，但其由于使用同一网络对源域数据进行特征提取，导致源域数据丧失部分有效特征，影响最终分类效果。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于对抗融合多源迁移学习的图像分类方法，以提高训练数据标记缺失下的图像分类准确率。为实现上述目的，本专利技术的技术方案包括如下步骤：(1)建立由域共享子网络F与域特定子网络Fj构成的特征提取网络；(2)使用特征提取网络从原始图像文件中提取图像特征：2a)对于来自源域j的第i个训练样本经过域共享子网络F，得到初步特征其中θF表示F的网络参数，j＝1...N，N表示源域个数，表示源域j中样本的数目；对于来自目标域的第t个样本经过域共享子网络F，得到初步特征其中t＝1...nT，nT表示目标域中样本的数目；2b)将2a)中得到的初步特征输入到第j个源域特有的域特定子网络Fj中，得到原始图像的最终特征Fj(F(xq；θF)；θFj)，其中θFj表示Fj的网络参数，xq表示输入域特定子网络的第q个样本，(3)将(2)中得到的最终特征输入到域判别器Dj中，得到输出Dj(Fj(F(xi；θF)；θFj)；θDj)，利用该输出计算得到Dj的域判别损失LjD(θF,θFj,θDj)，其中θDj表示Dj的网络参数；(4)将(2)中得到的最终特征输入到分类器Cj中，得到不同的输出：对于来自源域j的图像，只有源域分类器Cj被激活，输出利用其输出计算得到Cj的分类损失LjC(θF,θFj,θCj)，其中θCj表示Cj的网络参数；对于来自目标域的图像，所有的分类器都被激活，输出N个P维预测向量，取每个P维向量中最大元素对应的类别标记，即可得到N个伪标记，其中，P表示目标域数据的类别总数；(5)利用目标域样本的伪标记与源域j中的样本标记，计算源域j与目标域中同类别数据的最大均值差异MMD距离，并对所有类别的MMD距离求和得到(6)根据域判别损失分类损失及所有类别的MMD距离之和对特征提取网络、域判别器及分类器进行训练，得到训练后的特征提取网络、域判别器及分类器；(7)将待测样本输入到训练后的特征提取网络、域判别器及分类器中，通过特征提取网络从待测样本中提取图像特征，并将该特征作为域判别器及分类器的输入进行域判别及分类，最终得到该待测样本的N个P维预测向量；(8)计算每个P维预测向量的熵，并利用该熵值计算得到目标域样本的最终类别标记。本专利技术与现有方法相比具有如下优点：第一，本专利技术建立了由域共享子网络F及域特定子网络Fj构成的特征提取网络，通过域共享子网络提取各个域共有的数据特征，通过域特定子网络提取各个域特有的数据特征，使得提取到的最终特征保留了各个源域的特性。第二，本专利技术通过最小化MMD距离使源域数据与目标域数据在整体分布对齐的基础上实现了条件分布对齐，提高了目标域数据的分类准确率。第三，本专利技术通过熵值融合各个源域分类器的分类结果，提高了目标域数据的分类正确率。附图说明图1为本专利技术的实现流程图；图2为本专利技术中训练及测试实验时使用的Office-31数据集部分示例图；图3为本专利技术中训练及测试实验时使用的Office-Caltech10数据集部分示例图；图4为本专利技术中训练及测试实验时使用的Office-Home数据集部分示例图。具体实施方式下面结合附图，对本专利技术的实施例和效果做进一步的详细描述。参照图1，其中，S1...SN表示N个源域，T表示目标域，F及F1...FN分别表示域共享子网络及N个域特定子网络，D1...DN表示N个域判别器，C1...CN表示N个分类器，具体实现步骤如下：步骤1，建立由域共享子网络F与域特定子网络Fj构成的特征提取网络。域共享子网络F是由何恺明等人提出的残差神经网络ResNet50，该网络由卷积层后接4个残差块构成，旨在提取所有域共享的底层特征；域特定子网络共有N个，每个子网络是由卷积层、批标准化层及relu激活函数构成本文档来自技高网...

【技术保护点】
1.一种基于对抗融合多源迁移学习的图像分类方法，其特征在于，包括如下：/n(1)建立由域共享子网络F与域特定子网络F

【技术特征摘要】
1.一种基于对抗融合多源迁移学习的图像分类方法，其特征在于，包括如下：
(1)建立由域共享子网络F与域特定子网络Fj构成的特征提取网络；
(2)使用特征提取网络从原始图像文件中提取图像特征：
2a)对于来自源域j的第i个训练样本经过域共享子网络F，得到初步特征其中θF表示F的网络参数，j＝1...N，N表示源域个数，表示源域j中样本的数目；
对于来自目标域的第t个样本经过域共享子网络F，得到初步特征其中t＝1...nT，nT表示目标域中样本的数目；
2b)将2a)中得到的初步特征输入到第j个源域特有的域特定子网络Fj中，得到原始图像的最终特征Fj(F(xq；θF)；θFj)，其中θFj表示Fj的网络参数，xq表示输入域特定子网络的第q个样本，
(3)将(2)中得到的最终特征输入到域判别器Dj中，得到输出Dj(Fj(F(xi；θF)；θFj)；θDj)，利用该输出计算得到Dj的域判别损失其中θDj表示Dj的网络参数；
(4)将(2)中得到的最终特征输入到分类器Cj中，得到不同的输出：
对于来自源域j的图像，只有源域分类器Cj被激活，输出利用其输出计算得到Cj的分类损失其中θCj表示Cj的网络参数；
对于来自目标域的图像，所有的分类器都被激活，输出N个P维预测向量，取每个P维向量中最大元素对应的类别标记，即可得到N个伪标记，其中，P表示目标域数据的类别总数；
(5)利用目标域样本的伪标记与源域j中的样本标记，计算源域j与目标域中同类别数据的最大均值差异MMD距离，并对所有类别的MMD距离求和得到
(6)根据域判别损失分类损失及所有类别的MMD距离之和对特征提取网络、域判别器及分类器进行训练，得到训练后的特征提取网络、域判别器及分类器；
(7)将待测样本输入到训练后的特征提取网络、域判别器及分类器中，通过特征提取网络从待测样本中提取图像特征，并将该特征作为域判别器及分类器的输入进行域判别及分类，最终得到该待测样本的N个P维预测向量；
(8)计算每个P维预测向量的熵，并利用该熵值计算得到目标域样本的最终类别标记。


2.根据权利要求1所述的方法，其特征在于：(1)中的域共享子网络F是由卷积层后接4个残差块构成的残差神经网络。


3.根据权利要求1所述的方法，其特征在于：(1)中的域特定子网络共有N个，每个子网络是由卷积层、批标准化层及relu激活函数构成的多层神经网络。


4.根据权利要求1所述的方法，其特征在于：(3)中域判别器共有N个，每个域判别器均由全连接层构成。


5.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：方敏，徐筱，杜辉，胡心钰，李海翔，郭龙飞，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61