【技术实现步骤摘要】
【国外来华专利技术】
本说明书涉及训练神经网络。
技术介绍
1、神经网络是一种机器学习模型，它采用一个或多个非线性单元层来针对接收到的输入预测输出。一些神经网络除了输出层外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层——即下一隐藏层或输出层——的输入。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。
技术实现思路
1、本说明书描述了一种在一个或多个位置的一个或多个计算机上实现为计算机程序的系统，该系统通过使用半监督学习技术利用标记的数据和未标记的数据两者来实现并训练神经网络。一旦训练完成，神经网络就能够对一个或多个接收到的输入执行机器学习任务。
2、根据一个方面，提供了一种计算机实现的方法，包括：从混合训练数据集获得训练输入的批量，其中，该训练输入的批量包括一个或多个未标记的训练输入和一个或多个标记的训练输入，每个标记的训练输入具有相应真实值标签；生成该批量中的每个训练输入的相应第一增强视图；使用在线神经网络并且根据在线网络参数值处理每个训练输入的相应第一增强视图以生成该训练输入的相应在线嵌入；生成该批量中的每个训练输入的相应第二增强视图，其中，对于该批量中的每个训练输入，相应第二增强视图不同于相应第一增强视图；通过使用目标神经网络并且根据目标网络参数值处理每个训练输入的相应第二增强视图以生成训练输入的相应目标嵌入；更新嵌入队列以包括通过使用目标神经网络针对批量中的一个或多个标记的训练输入生成的相应目标嵌入；对于批量中的一个或多个未标记的训练输入中的每个未标记的训练输
3、损失函数可以包括第二项，该第二项鼓励每个训练输入的相应在线与目标嵌入之间的相似性。
4、在线神经网络可以包括在线投影子神经网络和在线预测子神经网络，在线投影子神经网络和目标神经网络具有相同的网络架构但不同的参数值。
5、目标网络参数值可以是在线投影子神经网络的在线投影子网络参数值的指数移动平均值。嵌入队列可以具有固定容量，该固定容量取决于训练输入的批量的大小。
6、嵌入队列可以包括通过使用目标神经网络针对先前获得的批量中的一个或多个标记的训练输入生成的相应目标嵌入。
7、训练输入可以包括图像数据。
8、训练输入可以包括音频数据。
9、生成批量中的每个训练输入的相应第一增强视图可以包括：从增强策略集合中采样一个或多个增强策略；以及将一个或多个采样的增强策略顺序地应用于批量中的每个训练输入。
10、增强策略集合可以包括随机裁剪策略，随后是调整大小策略、随机颜色失真策略或随机高斯模糊策略。
11、针对批量中的一个或多个未标记的训练输入中的每个未标记的训练输入，生成伪标签可以包括：使用k-最近相邻模型从嵌入队列中确定未标记的训练输入的k个最近嵌入，其中k是正整数；以及从与k个最近嵌入相关联的真实值标签针对未标记的训练输入生成伪标签。
12、在一些情况下，k=1，并且伪标签可以和与确定的最近嵌入相关联的真实值标签相同。
13、在一些情况下，k>=2，并且伪标签可以是在确定的最近嵌入当中最高出现的真实值标签。
14、k-最近相邻模型可以被配置为使用余弦相似性来确定每个未标记的训练输入的k个最近嵌入。
15、针对批量中的一个或多个未标记的训练输入中的每个训练输入生成伪标签可以包括：从每个k-最近相邻模型对应于不同增强策略的多个k-最近相邻模型当中选择一个或多个k-最近相邻模型；以及使用每个选择的k-最近相邻模型从嵌入队列中确定未标记的训练输入的k个最近嵌入。
16、混合训练数据集可以包括比标记的训练输入更多的未标记的训练输入。
17、该方法可以进一步包括与在线投影子神经网络一起训练任务子神经网络，以优化下游任务的监督任务特定损失，其中，对于来自混合训练数据集的训练输入，任务子神经网络可以被配置为根据任务子网络参数值处理由在线投影子神经网络生成的投影嵌入，以针对训练输入生成下游任务输出。
18、下游任务可以包括分类任务，并且其中，监督任务特定损失可以包括交叉熵损失。
19、根据另一方面，提供了一个或多个计算机可读存储介质，该一个或多个计算机可读存储介质编码有指令，所述指令在由一个或多个计算机执行时，使一个或多个计算机执行上述方法方面的操作。
20、根据又一方面，提供了一种系统，该系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由一个或多个计算机执行时，使一个或多个计算机执行上述方法方面的相应操作。
21、根据另一方面，提供了一种方法，包括：接收网络输入；以及使用神经网络处理网络输入，该神经网络包括由上述任一方面的方法训练的在线投影子神经网络和任务子神经网络，以针对网络输入生成一个或多个网络输出，包括：使用在线投影子神经网络处理网络输入以生成投影嵌入；以及使用任务子神经网络处理投影嵌入以生成一个或多个网络输出。
22、将理解，在一个方面的场境中描述的特征可以与在另一个方面的场境中描述的特征相结合。
23、本说明书中描述的主题能够在特定实施例中实现，以实现以下一个或多个优点。本说明书中描述的系统通过使用半监督学习技术对神经网络进行预训练，该技术有效地结合标记的数据和未标记的数据以生成信息表示，所述信息表示稍后可能在特定的下游任务中有用。该系统使用相对少量的标记的数据来针对大很多的量的未标记的数据填补（impute）伪标记信息，并且随后将填补的伪标记信息并入对比学习方案，以训练神经网络针对具有相同的真实值标签或伪标签的每对训练输入生成相似的表示。具体地，与许多现有的半监督学习技术不同，这些技术使用可用的标签信息作为交叉熵目标内的监督，所描述的系统使用该标签信息来确定哪些训练输入应具有相似的表示。
24、此外，预训练的神经网络随后能够被用于使用比用于预训练网络的数据少几个数量级的数据来有效地适应特定的机器学习任务。例如，虽然预训练网络可能利用数十亿个未标记的训练输入，但使网络适应特定任务可能仅仅需要几千个标记的训练输入。与其他常规训练方法相比，因此，该系统能够在训练期间更有效地利用计算资源，例如，处理器循环、内存或两者。该系统还能够使用数量级更少的标记的数据来训练神经网络，并且对应地，以与数据标记相关联的更低数量级的人力成本，同时仍确保训练后的神经网络在一系列任务上具有与最先进水平相当甚至超过其的竞争性能，同时附加地是本文档来自技高网...
【技术保护点】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中，所述损失函数包括第二项，所述第二项鼓励每个训练输入的所述相应在线嵌入与目标嵌入之间的相似性。
3.根据权利要求1至2中任一项所述的方法，其中，所述在线神经网络包括在线投影子神经网络和在线预测子神经网络，所述在线投影子神经网络和所述目标神经网络具有相同的网络结构但具有不同的参数值。
4.根据权利要求3所述的方法，其中，所述目标网络参数值是所述在线投影子神经网络的在线投影子网络参数值的指数移动平均值。
5.根据权利要求1至4中任一项所述的方法，其中，所述嵌入队列具有固定容量，所述容量取决于所述训练输入的批量的大小。
6.根据权利要求1至5中任一项所述的方法，其中，所述嵌入队列包括通过使用所述目标神经网络针对先前获得的批量中的一个或多个标记的训练输入生成的相应目标嵌入。
7.根据权利要求1至6中任一项所述的方法，其中，所述训练输入包括图像数据。
8.根据权利要求1至6中任一项所述的方法，其中，所述训练输入包括音频数据。
9
10.根据权利要求9所述的方法，其中，所述增强策略集合包括随机裁剪策略、随后是调整大小策略、随机颜色失真策略或随机高斯模糊策略。
11.根据权利要求1至10中任一项所述的方法，其中，针对所述批量中的所述一个或多个未标记的训练输入中的每个未标记的训练输入生成所述伪标签包括：
12.根据权利要求11所述的方法，其中，k = 1，并且其中，所述伪标签和与所确定的最近嵌入相关联的所述真实值标签相同。
13.根据权利要求11所述的方法，其中，k >= 2，并且其中，所述伪标签是所确定的最近嵌入当中最高出现的真实值标签。
14.根据权利要求11至13中任一项所述的方法，其中，所述k-最近相邻模型被配置为使用余弦相似性来确定每个未标记的训练输入的所述k个最近嵌入。
15.根据权利要求11至14中任一项所述的方法，其中，针对所述批量中的所述一个或多个未标记的训练输入中的每个训练输入生成所述伪标签包括：
16.根据权利要求1至15中任一项所述的方法，其中，所述混合训练数据集包括比标记的训练输入更多的未标记的训练输入。
17.根据权利要求3或当引用权利要求3时权利要求4至16中任一项所述的方法，进一步包括与所述在线投影子神经网络一起训练任务子神经网络以优化下游任务的监督任务特定损失，其中，对于来自所述混合训练数据集的训练输入，所述任务子神经网络被配置为根据任务子网络参数值处理由所述在线投影子神经网络生成的投影嵌入以针对所述训练输入生成下游任务输出。
18.根据权利要求17所述的方法，其中，所述下游任务包括分类任务，并且其中，所述监督任务特定损失包括交叉熵损失。
19.一种系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时能够操作以使所述一个或多个计算机执行任一前述权利要求所述的相应方法的操作。
20.一种计算机存储介质，所述计算机存储介质编码有指令，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行任一前述权利要求所述的相应方法的操作。
21.一种方法，包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中，所述损失函数包括第二项，所述第二项鼓励每个训练输入的所述相应在线嵌入与目标嵌入之间的相似性。
3.根据权利要求1至2中任一项所述的方法，其中，所述在线神经网络包括在线投影子神经网络和在线预测子神经网络，所述在线投影子神经网络和所述目标神经网络具有相同的网络结构但具有不同的参数值。
4.根据权利要求3所述的方法，其中，所述目标网络参数值是所述在线投影子神经网络的在线投影子网络参数值的指数移动平均值。
5.根据权利要求1至4中任一项所述的方法，其中，所述嵌入队列具有固定容量，所述容量取决于所述训练输入的批量的大小。
6.根据权利要求1至5中任一项所述的方法，其中，所述嵌入队列包括通过使用所述目标神经网络针对先前获得的批量中的一个或多个标记的训练输入生成的相应目标嵌入。
7.根据权利要求1至6中任一项所述的方法，其中，所述训练输入包括图像数据。
8.根据权利要求1至6中任一项所述的方法，其中，所述训练输入包括音频数据。
9.根据权利要求1至8中任一项所述的方法，其中，生成所述批量中的每个训练输入的所述相应第一增强视图包括：
10.根据权利要求9所述的方法，其中，所述增强策略集合包括随机裁剪策略、随后是调整大小策略、随机颜色失真策略或随机高斯模糊策略。
11.根据权利要求1至10中任一项所述的方法，其中，针对所述批量中的所述一个或多个未标记的训练输入中的每个未标记的训练输入生成所述伪标签包括：
12.根据权利要求11所述的方法，其中，k = 1，并且其中，所述伪标签和与所确定...
【专利技术属性】
技术研发人员：约瓦纳·米特罗维奇，马特科·博什尼亚克，皮埃尔·里什蒙，内纳德·托马舍夫，弗洛里安·施特鲁布，雅各布·查尔斯·瓦尔克，费利克斯·乔治·伊尔，拉尔斯·比辛，拉兹万·帕什卡努，查尔斯·布伦代尔，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。