一种基于对抗空间变换网络的鲁棒特征深度学习方法技术

本发明专利技术属于人工智能领域，公开了一种基于对抗空间变换网络的鲁棒特征深度学习方法。实现步骤：读取训练集中带标注的图像数据；将带标注的图像数据输入分类器网络并计算分类器损失；依据需求读取训练集中的图像数据；将读取的图像数据输对抗空间变换网络得到变换后的图像；将变换前的和变换后的图像输入分类器网络分别得到原始图像和变换后的图像对应的分类器输出；对原始和变换后的图像对应的分类器输出值计算一致性损失；对分类器损失和一致性损失加权求和；优化目标函数，更新对抗空间变换网络和分类器网络参数。本发明专利技术能有效提高深度学习模型对于不同分布样本的泛化能力以及自适应能力，同时对于干扰和污损样本也具有较好的抗干扰能力。

【技术实现步骤摘要】
一种基于对抗空间变换网络的鲁棒特征深度学习方法
本专利技术属于人工智能机器学习领域，具体涉及面向图像分类、识别等任务的具有领域不变性和鲁棒性的特征表示深度学习方法。
技术介绍
机器学习特别是深度学习模型的训练数据通常来自有限分布的样本，当模型必须处理来自不同分布的数据时，会导致性能的显著下降。此外，当输入的数据受到干扰或者污损时，深度学习模型的准确率和稳定性也很容易受到严重影响。目前，这两个问题通常都是作为独立的问题处理的。对上述由于数据分布差异引起模型性能下降的问题，通常采用领域自适应(domainadaptation)和领域泛化(domaingeneralization)这一类技术方法来解决。通常将模型的训练数据集称为源领域，测试数据集称为目标领域。领域自适应学习在训练过程中可以通过少量的标注或无标注的目标领域样本来优化深度学习模型，提高模型在目标领域上的性能。领域泛化则更强调原模型对不同目标领域的泛化能力，训练过程中不接触任何目标领域数据。对于由于污损或干扰数据引起的模型性能下降的问题，样本攻击和防御是目前研究的关注点。事实上，现实生活中这两方面的问题并不是独立存在的。深度学习模型可能既受不同分布样本影响，也同时受到有干扰或有污损的样本的影响。比如，自动驾驶汽车的基于计算机视觉的行人检测系统既需要处理由于不同光照、季节等变化带来的数据分布变化，同时还要处理由于雨、雪、灰尘等造成的输入样本干扰。这两个方面都对模型的稳健性、鲁棒性带来了挑战。提高深度学习模型对不同分布数据的适应性以及干扰和污损数据的鲁棒性对于人脸识别、自动驾驶以及医学影像等领域都有着重要的意义。
技术实现思路
本专利技术的目的在于解决如下技术问题，即当训练数据来自于有限分布样本并在输入数据时受到干扰或有污损样本的影响时，现有的深度学习模型不能同时适应解决上述两个问题。为解决上述技术问题，本专利技术提供一种基于对抗空间变换网络的鲁棒特征深度学习方法，具体技术方案如下：S1：读取训练集中有标注的图像数据；S2：将S1读取的图像数据输入分类器网络计算分类器损失；S3：依据需求，读取训练集中的图像数据；进一步，读取步骤S3中所有的图像数据，包括训练数据集中有标注的图像数据和没有标注的图像数据。S4：将所述S3中的图像数据输对抗空间变换网络得到变换后的图像数据，对抗空间变换网络由空间变换网络(SpatialTransformerNetworks,STN)以及梯度反转层(GradientReverseLayer，GRL)组成，具体包括：S4.1：将所述S3中的图像数据x输入空间变换网络的定位器网络，得到仿射变换的变换参数θ；S4.2：空间变换网络的网格生成器通过仿射变换参数θ计算出输出图像网格坐标点在输入图像中对应的网格坐标；S4.3：根据输出图像网格坐标和输入图像网格坐标关系，对输入图像进行插值计算，得到输出网格坐标中每一个网格的像素值，完成对输入图像的空间变换；S4.4：将S4.3中得到的完成空间变换后的图像输入梯度反转层得到变换后的图像梯度反转层对正向传播的图像数据不作任何改变，只对输入的梯度值进行取反操作，以此达到对抗训练的目的；S5：将S3的图像数据输入分类器网络，得到分类器输出值y*＝M(x)，将S4的图像数据输入分类器网络，得到分类器输出值其中x表示图像数据，T表示对抗空间变换网络；S6：对S5得到的分类器输出值计算一致性损失；通过以下函数计算一致性损失：其中DKL为KL(Kullback-LeiblerDivergence)散度距离，Dl∪Du为步骤S3中所述标注的和无标注的图像数据的并集，E表示损失值在Dl∪Du上的期望；S7：依据S2和S6对分类器损失和一致性损失加权求和；S8：依据S7，计算对抗空间变换网络和分类器网络参数的梯度值并更新其参数直至训练达到最大迭代次数为止，否则回到步骤S1。本专利技术相对于现有技术的有效收益体现在以下几个方面：1、本专利技术所提出的深度学习方法能有效提高深度学习模型对于不同分布样本的泛化能力以及自适应能力，同时对于干扰和污损样本也具有较好的抗干扰能力，解决了现有技术中这两个问题需要分别解决的问题。2、本专利技术的核心专利技术点是设计了对抗空间变换网络并结合一致性损失函数将其应用到深度神经网络的领域自适应和领域泛化学习。提出的对抗空间变换网络是一种对空间变换可微分的神经网络，在训练过程中能通过梯度下降的方法找到最优的对抗样本。这种对抗样本既能增加原有训练样本分布的多样性，从而提高深度学习模型的领域泛化能力和自适应能力，同时这种对抗样本还能模拟不同的干扰和污损数据输入，从而提高深度学习模型的鲁棒性。3、本专利技术通过采用源领域样本训练的方法SRC和基于自监督学习的方法JiGen的对比实验，发现只采用源领域样本训练的方法，由于没有做领域自适应学习，在目标领域上性能最差，而采用基于自监督学习的领域自适应学习，可以得到较好的自适应学习效果。本专利技术提出的方法通过基于对抗空间变换网络的鲁棒特征学习，得到了更适应目标领域的特征表示，大幅度提高了领域自适应的性能，因此在目标领域上的分类准确率达到了最高。4、本专利技术在有干扰和污损的数据集CIFAR10-C上进行了鲁棒性测试，本专利技术相对基线方法在各种干扰数据集上测试误差都有下降，表现出较好的抗干扰能力，验证了其有效的鲁棒特征学习能力。附图说明图1为本专利技术一种基于对抗空间变换网络的鲁棒特征深度学习方法的步骤流程图；图2为本专利技术具体实施例中无目标领域训练样本情况下，采用领域泛化训练的网络框架示意图；图3为本专利技术具体实施例中有目标领域无标注训练样本情况下，采用领域自适应训练的网络框架示意图；图4为本专利技术具体实施例中在CIFAR10-C干扰和污损测试集上的鲁棒性测试结果。具体实施方式下面结合说明书附图和具体实施例对本专利技术作进一步的详细描述，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的实例加以施行或应用，本说明书中的各项细节亦可基于不同的观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。本专利技术提出的对抗空间变换网络基于Jaderberg等人提出的空间变换网络“SpatialTransformerNetworks”(AdvancesinNeuralInformationProcessingSystems,2015)。空间变换网络原本用于对输入图像进行自适应仿射变换以提高深度神经网络的分类和识别的准确率。本专利技术在原有空间变换网络的基础上引入梯度反转层，构成对抗空间变换网络。该网络是一种对空间变换可微分的神经网络，在训练过程中能通过梯度下降的方法找到最优的对抗样本。这种对抗样本既能增加原有训练样本分布的多样性，从而提高深度学习模型的领域泛化能力和自适应能力，同时这种对抗样本还能模拟不同的干扰和污损数据输入，从而提高深本文档来自技高网...

【技术保护点】
1.一种基于对抗空间变换网络的鲁棒特征深度学习方法，具体技术方案如下：/nS1：读取训练集中有标注的图像数据；/nS2：将S1读取的图像数据输入分类器网络中计算分类器损失；/nS3：依据需求，读取训练集中的图像数据；/nS4：将所述S3中的图像数据输对抗空间变换网络得到变换后的图像数据，对抗空间变换网络由空间变换网络以及梯度反转层组成，具体包括：/nS4.1：将所述S3中的图像数据x输入空间变换网络的定位器网络，得到仿射变换的变换参数θ；/nS4.2：空间变换网络的网格生成器通过仿射变换参数θ计算出输出图像网格坐标点在输入图像中对应的网格坐标；/nS4.3：根据输出图像网格坐标和输入图像网格坐标关系，对输入图像进行插值计算，得到输出网格坐标中每一个网格的像素值，完成对输入图像的空间变换；/nS4.4：将S4.3中得到的完成空间变换后的图像输入梯度反转层得到变换后的图像

【技术特征摘要】
1.一种基于对抗空间变换网络的鲁棒特征深度学习方法，具体技术方案如下：
S1：读取训练集中有标注的图像数据；
S2：将S1读取的图像数据输入分类器网络中计算分类器损失；
S3：依据需求，读取训练集中的图像数据；
S4：将所述S3中的图像数据输对抗空间变换网络得到变换后的图像数据，对抗空间变换网络由空间变换网络以及梯度反转层组成，具体包括：
S4.1：将所述S3中的图像数据x输入空间变换网络的定位器网络，得到仿射变换的变换参数θ；
S4.2：空间变换网络的网格生成器通过仿射变换参数θ计算出输出图像网格坐标点在输入图像中对应的网格坐标；
S4.3：根据输出图像网格坐标和输入图像网格坐标关系，对输入图像进行插值计算，得到输出网格坐标中每一个网格的像素值，完成对输入图像的空间变换；
S4.4：将S4.3中得到的完成空间变换后的图像输入梯度反转层得到变换后的图像梯度反转层对正向传播的图像数据不作任何改变，只对输入的梯度值进行取...

【专利技术属性】
技术研发人员：许娇龙，肖良，聂一鸣，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京;11