信息处理方法、神经网络的训练方法、装置及存储介质制造方法及图纸

本申请实施例公开了一种信息处理方法、神经网络的训练方法、装置及计算机可读存储介质，信息处理方法包括：获取包括多个带有标签的样本的初始样本集；确定该多个带有标签的样本中每个样本的冗余权重，该多个带有标签的样本中第一样本的冗余权重与该第一样本的类间相似度相关；根据样本的冗余权重从该初始样本集中去除部分样本以得到精简样本集，该第一样本的冗余权重越小，其被选入该精简样本集的可能性越高，由于其他类别的样本的数目通常远大于所属类别内的样本的数目，因此，类间相似度能够体现初始样本集中更多样本的信息，基于本申请样本冗余权重的确定方法得到精简样本集，对神经网络进行训练，有利于提高神经网络的测试精度和训练效率。

【技术实现步骤摘要】
信息处理方法、神经网络的训练方法、装置及存储介质本申请要求于2019年9月18日提交中国专利局、申请号为201910883302.0、专利技术名称为“信息处理方法、神经网络的训练方法、装置及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及信息处理领域，尤其涉及一种信息处理方法、神经网络的训练方法、装置及计算机可读存储介质。
技术介绍
随着神经网络性能的不断提升，神经网络的深度和计算复杂度也在不断提升，从而导致神经网络的训练时长也不断增加。目前大部分神经网络是利用全量的样本集进行训练，样本数目过多，训练时长过长。为了缩短训练时长，现有技术提出从样本集中去除部分样本，基于得到的精简后的样本集训练神经网络。对于同一样本集，从样本集中去除的样本不同，训练得到的神经网络模型的测试精度和/或训练时长不同，这表明样本集中不同样本对训练神经网络的重要性一般不同。为了保证神经网络模型的测试精度，现有技术提出根据样本对训练神经网络的重要性来对样本集进行精简，一般用样本的权重信息或冗余权重来衡量该样本对训练神经网络的重要性，从样本集中去除冗余权重较高的样本，能够保证训练得到的神经网络模型的测试精度，而从样本集中去除冗余权重较低的样本，容易降低训练得到的神经网络模型的测试精度。对样本集中样本的冗余权重的确定方法决定着训练神经网络所采用的样本，进而影响着训练得到的神经网络的测试精度。现有技术提出以样本与所属类别中其他样本的相似度作为样本的冗余权重，从样本集中去除冗余权重较高的部分样本，形成精简后的样本集。现有对样本集的精简方法中，冗余权重的确定仅考虑了同一类别内样本间的相似度，而单个类别内样本的数目通常远小于样本集中样本的数目，同一类别内样本间的相似度仅能体现样本集中少量样本的信息，根据同一类别内样本间的相似度确定的冗余权重不够准确，导致基于现有精简方法得到的精简样本集对神经网络进行训练，测试精度较低。
技术实现思路
为解决上述技术问题，下面通过不同的方面示例性地介绍本申请提供的方案，应理解的是，以下各个方面的实现方式和有益效果可互相参考。本申请实施例第一方面提供一种信息处理方法，包括：获取样本集(为了便于区分，可以将该样本集称作初始样本集)，所述初始样本集包括多个带有标签的样本，其中，一个样本携带的标签用于标识该样本的类别，样本集中的样本可以为图像、声音、文本等类型的样本。多个带有标签的样本中的一个样本(称作第一样本)为例，第一样本的标签用于标识所述第一样本所属的类别；可以根据第一样本的类间相似度确定第一样本的冗余权重，第一样本的冗余权重与第一样本的类间相似度相关，所述第一样本的类间相似度用于表示所述第一样本与其他类别样本之间的相似程度。这里所说的“其他类别”是指，样本集中第一样本所属类别以外的其他类别。确定的初始样本集中各个样本的冗余权重可以用于对初始样本集进行精简，在一种可能的实现方式中，可以根据所述样本集中各样本的冗余权重从样本集中去除冗余权重较大的部分样本，得到精简后的样本集，本申请实施例将精简前的样本集称作初始样本集，将精简后的样本集称作精简样本集。从初始样本集中去除部分样本的过程可以理解为，对初始样本集中的样本进行取样的过程，被抽取到的样本为从初始样本集中去除的样本，由于去除不同样本对训练神经网络的测试精度和/或训练效率的影响不同，为了提高测试精度和训练效率，可以根据样本对提高训练神经网络的测试精度和/或训练效率的重要性确定样本被抽取的权重，并且样本对训练神经网络的测试精度和/或训练效率的重要性越低，该样本被抽取的权重应越大，反之，该样本被抽取的权重应越小，之后可以根据初始样本集中各样本被抽取的权重对初始样本集中的样本进行取样，样本被抽取的权重越大，该样本被取样的概率越高。由于样本被抽取的权重越大，表明该样本对训练神经网络的测试精度和/或训练效率的重要性越低，即对训练神经网络的冗余度越大，因此，本申请实施例中将样本被抽取的权重称作样本的冗余权重或权重信息。样本的冗余权重体现该样本对训练神经网络的冗余性，冗余权重越大，该样本对训练神经网络的重要性越低，也就是对训练神经网络的冗余性越高，其被选入所述精简样本集的概率越低。所述精简样本集为所述初始样本集的子集，得到的所述精简样本集可以用于训练神经网络。上述第一样本可以指多个带有标签的样本中的任意一个样本，或者为多个带有标签的样本中的部分样本中的任意一个样本，也就是说，样本集中的部分样本按照本申请第一方面提供的方法确定冗余权重，其他样本可以按照其他方法确定冗余权重。在本申请实施例提供的信息处理方法的各个实施例中，对于初始样本集中的多个带有标签的样本中的每个样本，关于其冗余权重和类间相似度等特征的限定，均可以参考关于第一样本的冗余权重和类间相似度等特征的限定。本申请实施例提供的样本冗余权重的确定方法，可以根据初始样本集中样本的类间相似度确定样本的冗余权重，由于其他类别的样本的数目通常远大于所属类别内的样本的数目，因此，类间相似度能够体现初始样本集中更多样本的信息，根据类间相似度确定的冗余权重更能反映样本对训练神经网络的重要性，基于本申请样本冗余权重的确定方法得到精简样本集，对神经网络进行训练，有利于提高神经网络的测试精度和训练效率，例如，有利于在神经网络训练时间相当的情况下，提高神经网络的测试精度，或者，在神经网络的测试精度不下降的前提下缩短训练时长。在一种可能的实现方式中，所述第一样本的冗余权重可以与所述第一样本的类间相似度负相关。样本的类间相似度越高，该样本冗余性越高，可以降低该样本的冗余权重。可选的，第一样本的冗余权重关于第一样本的类间相似度的函数为非线性的单调函数。下面对多个带有标签的样本中每个样本的类间相似度的确定方法进行举例介绍，为了便于描述，仍以多个带有标签的样本中的任意一个样本(还称作第一样本)为例，介绍第一样本的类间相似度的确定方法。一般可以认为，若两个样本之间的距离越大，则两个样本的相似度越低，反之，若两个样本之间的距离越小，则两个样本的相似度越高。第一样本的类间相似度可以是根据第一样本与其他类别各个样本之间的距离(可以简称第一样本的类间距离)确定的，由于其他类别的样本的数目通常很大，在一种可能的实现方式中，所述第一样本的类间相似度为根据所述第一样本与所述其他类别样本的聚类中心之间的距离确定的。聚类中心(clustercenters)一般指根据同一类别的大量数据确定的具有代表性的数据，例如同一类别的数据的聚类中心可以为该类别中所有数据的均值，大量数据的聚类中心一般由选用的聚类算法决定，常见的聚类算法包括k均值聚类算法(k-meansclusteringalgorithm)和k-中心点算法(k-medoids)等。以k-means聚类算法为例，一般从多个样本中随机选取K个样本作为初始的聚类中心，然后计算每个样本与各个初始的聚类中心之间的距离，把每个样本分配给距离它最近的聚类中心。聚类中心以及分配给它们的样本就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的本文档来自技高网...

【技术保护点】
1.一种信息处理方法，其特征在于，包括：/n获取初始样本集，所述初始样本集包括多个带有标签的样本，其中，一个样本携带的标签用于标识所述样本的类别；/n确定所述多个带有标签的样本中每个样本的冗余权重，所述多个带有标签的样本中第一样本的冗余权重与所述第一样本的类间相似度相关，所述第一样本的类间相似度用于表示所述第一样本与所述多个带有标签的样本中所述第一样本所属类别以外的其他类别的样本之间的相似程度，其中，所述第一样本为所述每个样本中的任意一个；/n根据所述多个带有标签的样本中每个样本的冗余权重，从所述初始样本集中去除部分样本，以得到精简样本集，所述第一样本的冗余权重越小，其被选入所述精简样本集的可能性越高。/n

【技术特征摘要】
20190918 CN 20191088330201.一种信息处理方法，其特征在于，包括：
获取初始样本集，所述初始样本集包括多个带有标签的样本，其中，一个样本携带的标签用于标识所述样本的类别；
确定所述多个带有标签的样本中每个样本的冗余权重，所述多个带有标签的样本中第一样本的冗余权重与所述第一样本的类间相似度相关，所述第一样本的类间相似度用于表示所述第一样本与所述多个带有标签的样本中所述第一样本所属类别以外的其他类别的样本之间的相似程度，其中，所述第一样本为所述每个样本中的任意一个；
根据所述多个带有标签的样本中每个样本的冗余权重，从所述初始样本集中去除部分样本，以得到精简样本集，所述第一样本的冗余权重越小，其被选入所述精简样本集的可能性越高。


2.根据权利要求1所述的方法，其特征在于，所述第一样本的冗余权重与所述第一样本的类间相似度负相关。


3.根据权利要求1或2所述的方法，其特征在于，所述第一样本的类间相似度为根据所述第一样本与所述其他类别的样本的聚类中心之间的距离确定的。


4.根据权利要求3所述的方法，其特征在于，所述其他类别包括第1类别、第2类别、……、和第n类别，其中，n为大于1的整数；
所述第一样本的类间相似度为根据所述第一样本的类间距离集中的最小距离确定的，所述第一样本的类间距离集包括所述第一样本与所述第1类别的样本的聚类中心之间的距离、所述第一样本与所述第2类别的样本的聚类中心之间的距离、……、和所述第一样本与所述第n类别的样本的聚类中心之间的距离。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一样本的冗余权重与所述第一样本的类内相似度正相关，所述第一样本的类内相似度用于表示所述第一样本与其所属类别中其他样本之间的相似程度。


6.根据权利要求5所述的方法，其特征在于，所述第一样本的类内相似度为根据所述第一样本与其所属类别的样本的聚类中心之间的距离确定的。


7.根据权利要求1至6中任一项所述的方法，其特征在于，在得到所述精简样本集之后，所述方法还包括：
基于所述精简样本集训练神经网络，所述神经网络的学习率与取样比例相关，所述取样比例为在得到所述精简样本集的过程中从所述初始样本集中去除的样本的数目与所述初始样本集中样本的数目之间的比例。


8.根据权利要求7所述的方法，其特征在于，所述基于所述精简样本集训练神经网络，包括：
基于所述精简样本集对所述神经网络进行第j次迭代训练，j为正整数。


9.根据权利要求8所述的方法，其特征在于，在所述基于所述精简样本集对所述神经网络进行第j次迭代训练之后，所述方法还包括：
根据所述多个带有标签的样本中每个样本的冗余权重，从所述初始样本集中去除部分样本，以得到第j+1精简样本集；
基于所述第j+1精简样本集对所述神经网络进行第j+1次迭代训练。


10.根据权利要求8所述的方法，其特征在于，第j次迭代训练处于学习率上升阶段，所述神经网络在第j次迭代训练的学习率与所述取样比例正相关。


11.根据权利要求8所述的方法，其特征在于,第j次迭代训练处于学习率下降阶段，所述神经网络在第j次迭代训练的学习率与所述取样比例负相关。


12.根据权利要求5或6所述的方法，其特征在于，所述第一样本的冗余权重和所述第一样本的类内相似度与类间相似度的比值相关。


13.根据权利要求12所述的方法，其特征在于，若第二样本的类内相似度与所述第二样本的类间相似度的比值与第三样本的类内相似度与所述第三样本的类间相似度的比值相同，则所述第二样本的冗余权重与所述第三样本的冗余权重相同，其中，所述第二样本和所述第三样本为所述多个带有标签的样本中的任意两个样本。


14.根据权利要求12所述的方法，其特征在于，若第四样本的类内相似度与所述第四样本的类间相似度的比值大于第五样本的类内相似度与所述第五样本的类间相似度的比值，则所述第四样本的冗余权重大于所述第五样本的冗余权重，其中，所述第四样本和所述第五样本为所述多个带有标签的样本中的两个样本。


15.根据权利要求13或14所述的方法，其特征在于，所述第一样本的冗余权重为所述第一样本被从所述初始样本集中去除的概率；
第六样本为所述多个带有标签的样本中的任意一个样本，若所述第六样本的类内相似度与所述第六样本的类间相似度相同，则第六样本的冗余权重为0.5。


16.一种神经网络的训练方法，其特征在于，包括：
获取初始样本集，所述初始样本集包括多个样本；
从所述初始样本集中去除部分样本，以得到精简样本集；
基于所述精简样本集训练神经网络，所述神经网络的学习率与取样比例相关，所述取样比例为从所述初始样本集中去除的样本的数目与所述初始样本集中样本的数目之间的比例。


17.根据权利要求16所述的方法，其特征在于，所述基于所述精简样本集训练神经网络，包括：
基于所述精简样本集对所述神经网络进行第j次迭代训练，j为正整数。


18.根据权利要求17所述的方法，其特征在于，在所述基于所述精简样本集对所述神经网络进行第j次迭代训练之后，所述方法还包括：
根据所述多个带有标签的样本中每个样本的冗余权重，从所述初始样本集中去除部分样本，以得到第j+1精简样本集；
基于所述第j+1精简样本集对所述神经网络进行第j+1次迭代训练。


19.根据权利要求17所述的方法，其特征在于，第j次迭代训练处于学习率上升阶段，所述神经网络在第j次迭代训练的学习率与所述取样比例正相关。


20.根据权利要求17所述的方法，其特征在于,第j次迭代训练处于学习率下降阶段，所述神经网络在第j次迭代训练的学习率与所述取样比例负相关。


21.一种信息处理装置，其特征在于，包括：
获取模块，用于获取初始样本集，所述初始样本集包括多个带有标签的样本，其中，一个样本携带的标签用于标识所述样本的类别；
权重确定模块，用于确定所述多个带有标签的样本中每个样本的冗余权重，所述多个带有标签的样本中第一样本的...

【专利技术属性】
技术研发人员：陈雷，阿米尔·卡吉斯塔·加拉希卡勒，王君，朱雄威，应江勇，姜奕祺，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44