一种基于元学习的特征偏移矫正方法技术

本发明专利技术公开了一种基于元学习的特征偏移矫正方法，包括步骤：步骤1，利用标签未矫正的数据来预训练特征学习网络；步骤2，利用准确标注的元数据训练特征矫正网络：固定特征学习网络的参数；随机地选择一部分准确标注的元数据来训练特征矫正网络的参数；利用一个相同的损失函数来更新特征矫正网络的参数；步骤3，利用标签矫正后的数据来训练特征学习网络：固定特征矫正网络的参数；按照步骤1中记录的索引号来选择未能准确标注的训练样本；利用一个相同的损失函数来更新特征学习网络的参数。本发明专利技术利用少量准确标注的训练数据学习一种特征偏移矫正方法，从而协助深度神经网络模型从海量未准确标注的训练集中学习一种鲁棒的特征表达方法。

【技术实现步骤摘要】
一种基于元学习的特征偏移矫正方法
本专利技术属于计算机视觉与模式识别领域，具体涉及一种基于元学习的特征偏移矫正方法。
技术介绍
当前深度神经网络模型已经被广泛地应用到计算机视觉的各个领域，例如，图像分类、图像分割、目标检测、图像检索。一直以来，提高深度神经网络的特征学习能力主要有两个途径：一种是增加网络结构的规模，即增加网络的层数和每一层的节点的数目；另一种是构建更大规模的训练集。增加深度神经网络结构的规模将会大大增加计算量，给硬件设备带来很大的计算负担。在现实中，计算资源通常也是有限的，连续地增加两个相邻的卷积层特征图的个数，会导致计算量呈平方规模的增加。此外，当深度神经网络模型的规模增大到一定程度的时候，其性能也会逐渐地趋于饱和。更为糟糕的是，规模越大的深度神经网络规模意味着要学习的参数就会变得越多，在训练的过程中非常容易导致过拟合的现象。构建大规模的训练标注数据集也是一件很困难的事情，不但需要耗费大量的时间、人力和财力，而且需要相关的专业知识来准确地判断标定的内容。因此，在实际应用中准确地标注一个超大规模的训练数据集基本是一件不可能完成的事情。鉴于以上两种情况，最近一些学者也试图对卷积神经网络的结构做了一些小的修改，但这些小的技巧都是基于实验驱动的，是通过大量的实验总结出来的一些技巧，缺乏理论的分析和支持，当然也很难系统地提升网络性能。
技术实现思路
本专利技术的目的在于针对现有特征学习技术的不足，提供了一种基于元学习的特征偏移矫正方法，利用少量准确标注的训练数据学习一种特征偏移矫正方法，从而协助深度神经网络模型从海量未准确标注的训练集中学习一种鲁棒的特征表达方法。本专利技术采用如下技术方案来实现的：一种基于元学习的特征偏移矫正方法，包括以下步骤：步骤1，利用标签未矫正的数据来预训练特征学习网络：首先，固定特征矫正网络的参数；其次，随机地选择一部分标签未矫正的数据来预训练特征学习网络；最后，利用一个损失函数来更新特征学习网络的参数，并且记录下这一部分未能准确标注的训练数据的索引号；步骤2，利用准确标注的元数据训练特征矫正网络：首先，固定特征学习网络的参数；其次，随机地选择一部分准确标注的元数据来训练特征矫正网络的参数；最后，利用一个相同的损失函数来更新特征矫正网络的参数；步骤3，利用标签矫正后的数据来训练特征学习网络：首先，固定特征矫正网络的参数；其次，按照步骤1中记录的索引号来选择未能准确标注的训练样本；最后，利用一个相同的损失函数来更新特征学习网络的参数。本专利技术进一步的改进在于，步骤1的具体实现方法如下：给定一个未能准确标注的训练数据集其中Xi表示第i张输入图像，Yi表示未能准确标注的标签，N表示训练数据集的大小，按照如下的目标函数预训练特征学习网络模型：其中，W表示特征学习网络模型的参数，Θ表示特征矫正网络模型的参数，b(Xi；Θ)表示矫正网络对图像Xi的矫正，f(Xi；W)表示特征学习网络提取的图像Xi的特征，L(·)表示softmax损失函数；在优化过程中，固定特征矫正网络的参数Θ，优化特征学习网络的参数W；得出：偏移后的特征b(Xi；Θ)⊙f(Xi；W)拟合未能准确标注的标签Yi，如果f(Xi；W)是图像Xi的一种无偏的特征表达，那么b(Xi；Θ)要学习到一种从无偏到有偏的矫正方式，从而使得特征学习网络能够从海量的、未能准确标注的训练数据集也能够学习到一种鲁棒的特征表达方式。本专利技术进一步的改进在于，步骤2的具体实现方法如下：给定一个少量的、准确标注的元数据集其中Xi表示第i张输入图像，Yi表示准确标注的标签，M表示元数据集的大小，按照如下的目标函数预训练特征矫正网络模型：在这个训练过程中，固定特征学习网络的参数W，优化特征矫正网络的参数Θ；为了达到预期的学习目标，增加了两个约束：首先，特征矫正网络能够配合特征学习网络做好元数据集上的特征学习；其次，特征矫正网络应该对所有的元数据集中的图像Xi所抽取的特征不做任何的矫正，因为所有的Yi都是准确标注的；第二个约束利用如下的损失函数实现：在这两个约束的共同作用下，保证f(Xi；W)是图像Xi无偏的特征表达。本专利技术至少具有如下有益的技术效果：1、本专利技术在训练深度神经网络模型的过程中不需要大量准备标注的数据，只需要利用极少准确标注的数据就可以帮助深度神经网络模型从大量未准确标注的训练数据中学习到一种鲁棒的表达方法。2、本专利技术提出的学习方案具有很强的可拓展性，因为本方案的设计不依赖于具体的学习任务，所以在实际的应用中可以把该方案进一步地应用到目标跟踪、目标检测、图像分割等具体的任务中。附图说明图1为整个学习方案的技术路线图。具体实施方式以下结合附图和实施例对本专利技术做出进一步的说明。如图1所示，本专利技术提供的基于元学习的特征偏移矫正方法，包括以下步骤：步骤1，把训练数据集分为两个部分：(1)准确标注的元数据集；(2)未准确标注的训练数据集，其中元数据集相对于训练数据集的规模要小很多，从而仅仅花费有限的标注代价来帮助特征学习网络从未准确标注的训练数据集学习一种鲁棒的特征表达方法。步骤2，利用标签未矫正的数据预训练特征学习网络：首先，固定特征矫正网络的参数；其次，随机地选择一部分的含噪声的数据来训练特征学习网络；最后，利用一个损失函数来更新特征学习网络的参数，并且记录下这一部分含噪声的数据的索引号。步骤3，利用准确标注的元数据集训练特征矫正网络：首先，固定特征学习网络的参数；其次，随机地选择一部分的不含噪声的数据来训练特征矫正网络的参数；最后，利用一个相同的损失函数来更新特征矫正网络的参数。步骤4，利用标签矫正后的数据训练特征学习网络：首先，固定特征矫正网络的参数；其次，按照步骤2中记录的索引号来选择含有噪声的训练样本；最后，利用一个相同的损失函数来更新特征学习网络的参数。上述的学习过程可以表示为：给定未能准确标注的训练数据集其中Xi表示第i张输入图像，Yi表示未能准确标注的标签，N表示训练数据集的大小，按照如下的目标函数预训练特征学习网络模型：其中，W表示特征学习网络模型的参数，Θ表示特征矫正网络模型的参数，b(Xi；Θ)表示矫正网络对图像Xi的矫正，f(Xi；W)表示特征学习网络提取的图像Xi的特征，L(·)表示某一个特定的损失函数。不失一般性地，在所有的实验中都使用softmax损失函数来监督所有深度神经网络模型的训练。从公式(1)所表征的训练过程中，固定特征矫正网络的参数Θ，优化特征学习网络的参数W。可以看到：偏移后的特征b(Xi；Θ)⊙f(Xi；W)要尽可能的拟合未能准确标注的标签Yi，如果f(Xi；W)是图像Xi的一种无偏的特征表达，那么b(Xi；Θ)要学习到一种从无偏到有偏的矫正方式，从而使得特征学习网络能够从海量的、未能准确标注的训练数据集也能够学习到一种鲁棒的特征表达方式。为了实现上面的学习目本文档来自技高网...

【技术保护点】
1.一种基于元学习的特征偏移矫正方法，其特征在于，包括以下步骤：/n步骤1，利用标签未矫正的数据来预训练特征学习网络：首先，固定特征矫正网络的参数；其次，随机地选择一部分标签未矫正的数据来预训练特征学习网络；最后，利用一个损失函数来更新特征学习网络的参数，并且记录下这一部分未能准确标注的训练数据的索引号；/n步骤2，利用准确标注的元数据训练特征矫正网络：首先，固定特征学习网络的参数；其次，随机地选择一部分准确标注的元数据来训练特征矫正网络的参数；最后，利用一个相同的损失函数来更新特征矫正网络的参数；/n步骤3，利用标签矫正后的数据来训练特征学习网络：首先，固定特征矫正网络的参数；其次，按照步骤1中记录的索引号来选择未能准确标注的训练样本；最后，利用一个相同的损失函数来更新特征学习网络的参数。/n

【技术特征摘要】
1.一种基于元学习的特征偏移矫正方法，其特征在于，包括以下步骤：
步骤1，利用标签未矫正的数据来预训练特征学习网络：首先，固定特征矫正网络的参数；其次，随机地选择一部分标签未矫正的数据来预训练特征学习网络；最后，利用一个损失函数来更新特征学习网络的参数，并且记录下这一部分未能准确标注的训练数据的索引号；
步骤2，利用准确标注的元数据训练特征矫正网络：首先，固定特征学习网络的参数；其次，随机地选择一部分准确标注的元数据来训练特征矫正网络的参数；最后，利用一个相同的损失函数来更新特征矫正网络的参数；
步骤3，利用标签矫正后的数据来训练特征学习网络：首先，固定特征矫正网络的参数；其次，按照步骤1中记录的索引号来选择未能准确标注的训练样本；最后，利用一个相同的损失函数来更新特征学习网络的参数。


2.根据权利要求1所述的一种基于元学习的特征偏移矫正方法，其特征在于，步骤1的具体实现方法如下：
给定一个未能准确标注的训练数据集其中Xi表示第i张输入图像，Yi表示未能准确标注的标签，N表示训练数据集的大小，按照如下的目标函数预训练特征学习网络模型：



其中，W表示特征学习网络模型的参数，Θ表示特征矫正网络模型的参数，b(Xi；Θ)表示矫正网络对图像Xi的矫正，f(Xi；...

【专利技术属性】
技术研发人员：周三平，王进军，万星宇，惠思奇，张勤东，孟荣业，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61