一种领域适应性网络的深度迁移学习方法技术

本发明专利技术提供一种领域适应性网络的深度迁移学习方法，通过根据每一任务相关层对应的分布差异，分类错误率和错配度，确定领域适应性网络的损失函数的值，其中，任一任务相关层对应的分布差异为源域与目标域分别对应的该任一任务相关层中的特征的概率分布之间的分布差异；并基于损失函数的值，更新领域适应性网络的参数，以使领域适应性网络适配目标域；从而将源域和目标域分别对应的每一任务相关层中的特征的概率分布之间的分布差异作为领域适应性网络的损失函数的值的组成部分，在不同领域间同时匹配了深度网络的每一任务相关层，更好地修正边缘分布和条件分布在不同领域间的差异，保证了迁移学习的可靠性，最终保证领域适应性网络迁移学习的效果。

A deep migration learning method for domain adaptive networks

The present invention provides a depth migration learning method for a domain adaptive network, which determines the value of the loss function of a domain adaptive network by the distribution difference corresponding to the corresponding layer of each task, the classification error rate and mismatch degree, in which the distribution difference of the corresponding layer of any task is corresponding to the source domain and the target domain respectively. The distribution difference between the probability distribution of the characteristics in the related layer of any task; and based on the value of the loss function, the parameters of the adaptive network are updated to adapt the domain adaptive network to the target domain, and the distribution difference between the probability distribution of the characteristics of each task related to the source and target domains respectively. The component of the value of the loss function of the adaptive network as the adaptive network matches each task related layer of the depth network at the same time, better modifies the difference between the edge distribution and the condition distribution in different fields, ensures the reliability of the migration learning, and ultimately guarantees the adaptive network migration learning in the domain. Effect\u3002

【技术实现步骤摘要】
一种领域适应性网络的深度迁移学习方法
本专利技术涉及计算机数据分析
，更具体地，涉及一种领域适应性网络的深度迁移学习方法。
技术介绍
互联网技术已经在生活中各个领域得到了广泛的应用，由于文本、图像、视频等非结构化数据增长速度越来越快，因此需要提出针对这些数据的分析方法和处理算法。通过各种信息渠道可以收集到大规模非结构化数据，但大部分数据中缺少标记等信息，这也就意味着常规的监督学习难以在这些数据中得以应用。为了应对标记数据稀缺问题，推出了基于群体智慧的语义网络知识库，借助互联网用户这个近乎无限的知识资源，对一些重要领域的大规模数据进行标记和维护，如文本领域的维基百科、百度百科，图像领域的ImageNet、Flickr等。而另一方面有了新的思路：有效地挖掘富标记数据中有用的信息，迁移到弱标记甚至无标记的特定场景下，即迁移学习；迁移学习作为机器学习的重要前沿方向之一，目标是将源域的知识迁移到新的领域。由于不同领域的数据不再符合机器学习的常规假设：独立同分布条件，所以迁移学习对机器学习泛化性能提出的要求更高。领域适应性网络(DomainAdaptationNetwork)是一种深度神经网络，其从原始问题(领域)学习到的模型可以很好的适应一个与之不同的目标问题(领域)，领域适应性网络往往包括多层结构，而特征的迁移能力在领域适应性网络的中间层显著弱化，在领域适应性网络的上层严重降低；近年来迁移学习主要面临主要挑战是迁移学习过程中的可靠性，即难以同时保证领域适应性网络中各层的特征的迁移效果，特别是上层的特征的迁移效果，从而影响领域适应性网络迁移学习的效果。专利技术内容为了克服上述问题或者至少部分地解决上述问题，本专利技术提供一种领域适应性网络的深度迁移学习方法。根据本专利技术的一个方面，提供一种领域适应性网络的深度迁移学习方法，包括：确定第一概率分布与第二概率分布之间的分布差异，第一概率分布为源域的样本在领域适应性网络的任一任务相关层中的特征的概率分布，第二概率分布为目标域的样本在任一任务相关层中的特征的概率分布，任务相关层为领域适应性网络的上层，将第一概率分布与第二概率分布之间的分布差异作为任一任务相关层对应的分布差异；确定对源域和目标域中已标记的样本的分类错误率；确定对目标域的数据结构的错配度；根据每一任务相关层对应的分布差异，分类错误率和错配度，确定领域适应性网络的损失函数的值；基于损失函数的值，更新领域适应性网络的参数，以使领域适应性网络适配目标域。其中，确定第一概率分布与第二概率分布之间的分布差异，包括：将源域和目标域中的样本输入到领域适应性网络，作正向传播，获取源域和目标域中的样本在任一任务相关层中的特征；根据源域的样本在任一任务相关层中的特征确定第一概率分布，根据目标域的样本在任一任务相关层中的特征确定第二概率分布；计算第一概率分布与第二概率分布之间的多核分布距离，将多核分布距离作为第一概率分布与第二概率分布之间的分布差异。其中，计算第一概率分布与第二概率分布之间的多核分布距离，包括：选取含有优化参数的多个核函数作为源域和目标域的样本在任一任务相关层中的特征向可再生核希尔伯特空间映射的总核函数；基于总核函数构建第一概率分布与第二概率分布之间的分布距离函数；基于无偏估计法确定优化参数，以获得第一概率分布与第二概率分布之间的多核分布距离。其中，确定对源域和目标域中已标记的样本的分类错误率，包括：将源域和目标域中已标记的样本输入到领域适应性网络，输出对源域和目标域中已标记的样本的预测结果；基于领域适应性网络对源域和目标域中已标记的样本的预测结果的条件概率确定分类错误率。其中，确定对目标域的数据结构的错配度，包括：将目标域中未标记的样本输入到领域适应性网络，输出对目标域中未标记的样本的预测结果；根据领域适应性网络对源域和目标域中已标记的样本的预测结果的条件概率，并基于条件熵函数的低密度划分准则确定源域的分类模型对目标域的数据结构的错配度。其中，基于损失函数的值，更新领域适应性网络的参数，包括：利用反向传播算法更新领域适应性网络的参数；基于更新参数后的领域适应性网络，重新确定更新参数后的损失函数的值，并判断更新参数前的损失函数的值与更新参数后的损失函数的值的差值是否大于预设值，若确定差值大于预设值，则利用反向传播算法重新更新领域适应性网络的参数，直至确定差值小于预设值。本专利技术的另一方面，提供一种领域适应性网络的深度迁移学习装置，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行上述的方法。本专利技术的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。本专利技术的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。本专利技术提供的一种领域适应性网络的深度迁移学习方法，通过根据每一任务相关层对应的分布差异，分类错误率和错配度，确定领域适应性网络的损失函数的值，其中，任一任务相关层对应的分布差异为源域对应的该任一任务相关层中的特征的概率分布与目标域对应的该任一任务相关层中的特征的概率分布之间的分布差异；根据损失函数的值，更新领域适应性网络的参数，以使领域适应性网络适配目标域；从而在对领域适应性网络的深度迁移学习过程中，将源域和目标域分别对应的每一任务相关层中的特征的概率分布之间的分布差异作为领域适应性网络的损失函数的值的组成部分，在不同领域间同时匹配了深度网络的每一任务相关层，更好地修正边缘分布和条件分布在不同领域间的差异，保证了迁移学习的可靠性，最终保证领域适应性网络迁移学习的效果。附图说明为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例的领域适应性网络的深度迁移学习方法的流程图；图2为根据本专利技术实施例的领域适应性网络的结构图；图3为根据本专利技术另一实施例的领域适应性网络的深度迁移学习方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的一个实施例中，参考图1，提供一种领域适应性网络的深度迁移学习方法，包括：S11，确定第一概率分布与第二概率分布之间的分布差异，第一概率分布为源域的样本在领域适应性网络的任一任务相关层中的特征的概率分布，第二概率分布为目标域的样本在任一任务相关层中的特征的概率分布，任务相关层为领域适应性网络的上层，将第一概率分布与第二概率分布之间的分布差异作为任一任务相关层对应的分布差异；S12，确定对源域和目标域中已标记的样本的分类错误率；S13本文档来自技高网...

【技术保护点】
一种领域适应性网络的深度迁移学习方法，其特征在于，包括：确定第一概率分布与第二概率分布之间的分布差异，所述第一概率分布为源域的样本在领域适应性网络的任一任务相关层中的特征的概率分布，所述第二概率分布为目标域的样本在所述任一任务相关层中的特征的概率分布，所述任务相关层为所述领域适应性网络的上层，将所述第一概率分布与所述第二概率分布之间的分布差异作为所述任一任务相关层对应的分布差异；确定对所述源域和所述目标域中已标记的样本的分类错误率；确定对所述目标域的数据结构的错配度；根据每一任务相关层对应的分布差异，所述分类错误率和所述错配度，确定所述领域适应性网络的损失函数的值；基于所述损失函数的值，更新所述领域适应性网络的参数，以使所述领域适应性网络适配所述目标域。

【技术特征摘要】
1.一种领域适应性网络的深度迁移学习方法，其特征在于，包括：确定第一概率分布与第二概率分布之间的分布差异，所述第一概率分布为源域的样本在领域适应性网络的任一任务相关层中的特征的概率分布，所述第二概率分布为目标域的样本在所述任一任务相关层中的特征的概率分布，所述任务相关层为所述领域适应性网络的上层，将所述第一概率分布与所述第二概率分布之间的分布差异作为所述任一任务相关层对应的分布差异；确定对所述源域和所述目标域中已标记的样本的分类错误率；确定对所述目标域的数据结构的错配度；根据每一任务相关层对应的分布差异，所述分类错误率和所述错配度，确定所述领域适应性网络的损失函数的值；基于所述损失函数的值，更新所述领域适应性网络的参数，以使所述领域适应性网络适配所述目标域。2.根据权利要求1所述的方法，其特征在于，所述确定第一概率分布与第二概率分布之间的分布差异，包括：将所述源域和所述目标域中的样本输入到所述领域适应性网络，作正向传播，获取所述源域和所述目标域中的样本在所述任一任务相关层中的特征；根据所述源域的样本在所述任一任务相关层中的特征确定所述第一概率分布，根据所述目标域的样本在所述任一任务相关层中的特征确定所述第二概率分布；计算所述第一概率分布与所述第二概率分布之间的多核分布距离，将所述多核分布距离作为所述第一概率分布与所述第二概率分布之间的分布差异。3.根据权利要求2所述的方法，其特征在于，所述计算所述第一概率分布与所述第二概率分布之间的多核分布距离，包括：选取含有优化参数的多个核函数作为所述源域和所述目标域的样本在所述任一任务相关层中的特征向可再生核希尔伯特空间映射的总核函数；基于所述总核函数构建所述第一概率分布与所述第二概率分布之间的分布距离函数；基于无偏估计法确定所述优化参数，以获得所述第一概率分布与所述第二概率分布之间的多核分布距离。4.根据权利要求1所述的方法，其特征在于，所述确定对所述源域和...

【专利技术属性】
技术研发人员：龙明盛，王建民，陈新阳，黄向东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11