用于训练神经网络的方法和设备技术

公开了一种用于训练神经网络的方法和设备，其中所述用于训练神经网络的方法包括：利用描述第一上下文的第一数字训练数据（302）来训练第一子神经网络，其中所述第一子神经网络被设立为自动编码器网络并且包括第一编码器区段（306）和第一解码器区段，并且其中所述第一编码器区段（306）提供所述第一数字训练数据（302）到第一隐空间（308）的映射；在使用借助经训练的第一子神经网络而映射到所述第一隐空间（308）中的第一数字训练数据（302）的情况下训练第一数字数据（402）到所述第一隐空间（308）的第一映射（404），其中所述第一数字数据与第一数字训练数据（302）在语义上关联；利用描述第二上下文的第二数字训练数据（322）来训练第二子神经网络，其中所述第二上下文与所述第一上下文不同，其中所述第二子神经网络被设立为自动编码器网络并且包括第二编码器区段和第二解码器区段（330），并且其中所述第二编码器区段提供所述第二数字训练数据（322）到第二隐空间的映射；在使用借助经训练的第二子神经网络而映射到所述第二隐空间（328）的第二数字训练数据（322）的情况下训练第二数字数据（422）到所述第二隐空间（328）的第二映射（424），其中所述第二数字数据与第二数字训练数据（322）在语义上关联；在使用第三数字训练数据和第三数字数据的情况下训练数字隐数据从第一隐空间（308）到第二隐空间（328）的第三映射（502），其中所述第三数字训练数据包括：描述第一上下文的数字训练数据，和描述第二上下文的数字训练数据，其中所述第三数字数据包括：与描述第一上下文的数字训练数据在语义上关联的数字数据；和与描述第二上下文的数字训练数据在语义上关联的数字数据。练数据在语义上关联的数字数据。练数据在语义上关联的数字数据。

【技术实现步骤摘要】
【国外来华专利技术】用于训练神经网络的方法和设备


[0001]不同的实施例一般而言涉及用于训练神经网络的方法和设备。

技术介绍

[0002]例如使用不同的神经网络，以便基于输入数据和已通过训练神经网络被学习的功能来生成输出数据。所期望的输出数据可以取决于如下上下文，在所述上下文中已生成了所述输入数据。因此可能需要将描述第一上下文的数据变换成描述第二上下文的数据。该上下文例如在识别交通参与者的意图的情况下是有意义的。
[0003]在Suwajanakorn等人的“Synthesizing Obama: Learning Lip Sync from Audio, ACM Transactions on Graphics, 第36卷, No. 4, 2017”中描述了一种借助神经网络来变换视频数据的方法。

技术实现思路

[0004]具有独立权利要求1（第一示例）和权利要求9（第三十二示例）的特征的方法和设备实现了：训练一种神经网络，以便将数字数据从第一上下文变换到第二上下文。
[0005]数字数据的上下文、例如第一数字训练数据和第二数字训练数据的上下文可以在如下方面不同：在哪个上下文中生成了所述数字数据，也即在怎样的相互关系中或在哪些边缘条件下生成了所述数字数据，和/或在数字数据的怎样的固有的上下文中生成了所述数字数据，例如通过数字数据描述怎样的环境。在不同的实施方式中，可以在领土上（territorial）区分上下文，即第一上下文和第二上下文。例如，所述上下文可以关于城区、地区、国家等方面是不同的。所述上下文可以关于语言方面来区分和/或可以关于与语言和/或地区/国家相关联的表情和手势方面来区分。所述上下文可以在文化上不同，即所述上下文可以例如在领土上、在语言、表情、手势等方面来区分。根据一种示例，所述数字数据是数字图像数据并且所述上下文可以在领土上区分，其方式为：已在不同国家中生成了所述数字数据；和/或所述上下文可以在固有方面来区分，其方式为：所述数字图像在关于由人所述说的文本的表情和手势方面来区分（也即所述数字图像数据还关于与语言有关的面部运动方面来区分）。
[0006]所述语言也可以例如在如下数字数据的情况下是不同的，所述数字数据与描述第一上下文或第二上下文的数字数据在语义上关联。与描述第一上下文或第二上下文的数字数据在语义上关联的所述数字数据可以例如是如下文本数据，所述文本数据具有多个文本串，并且所述语义关联可以描述：给描述第一上下文或第二上下文的数字数据其中的每个数字数据分配多个文本串其中的恰好一个文本串。换言之，给描述上下文的数字数据分配数字文本数据，并且使其描述数字数据。也就是说：所述数字文本数据可以直观地描述所述数字数据的内容。所述数字文本数据可以具有关于数字数据的附加信息。例如，所述数字数据可以是如下数字图像数据，所述数字图像数据示出一种场景，并且所述数字文本数据可以描述所述场景。
[0007]第一映射、第二映射和第三映射可以具有子神经网络。这些子神经网络其中的每个可以是任意的神经网络，例如自动编码器网络或卷积的神经网（convolutional neural network（卷积神经网络））。每个子神经网络、也即第一子神经网络和第二子神经网络可以具有任意数目的层并且可以根据任意的方法被训练，诸如通过反向传播（Backpropagation）。自动编码器网络的每个编码器区段可以具有任意数目的编码器层，其中每个编码器层可以包括：具有任意属性（例如任意过滤参量）的卷积层（convolutional layer）、激活函数（例如ReLU激活函数）、具有任意属性的池化层（例如具有任意步幅的最大池化层）和标准化层。自动编码器网络的每个解码器区段可以具有任意数目的解码器层，其中每个解码器层可以包括：具有任意属性的转置卷积层、具有任意属性的卷积层、激活函数（例如ReLU激活函数）和标准化层。
[0008]第一子神经网络的至少一部分可以通过一个或多个处理器来实现。第一映射的至少一部分可以通过一个或多个处理器来实现。第二子神经网络的至少一部分可以通过一个或多个处理器来实现。第二映射的至少一部分可以通过一个或多个处理器来实现。第三映射的至少一部分可以通过一个或多个处理器来实现。在该段中描述的特征与第一示例相结合地构成第二示例。
[0009]第一数字训练数据和第二数字训练数据可以具有数字图像数据。在该段中描述的特征与第一示例或第二示例相结合地构成第三示例。
[0010]第一子神经网络可以被训练，其方式为，第一解码器区段对通过第一编码器区段映射到第一隐空间的第一数字训练数据进行重构并将经重构的第一数字训练数据与第一数字训练数据进行比较。在该段中描述的特征第一示例至第三示例中的一个或多个相结合地构成第四示例。
[0011]经重构的第一数字训练数据与第一数字训练数据的所述比较可以包括：确定第一损失值。所述第一损失值可以基于损失函数而得以确定。在该段中描述的特征与第四示例相结合地构成第五示例。
[0012]第一子神经网络的训练可以包括：适配第一编码器区段和第一解码器区段，其中适配所述第一编码器区段和所述第一解码器区段可以包括：最小化第一损失值。也就是说：经训练的第一子神经网络的第一编码器区段可以输出代码，所述代码在第一隐空间描述如下数字数据，所述数字数据描述第一上下文；并且经训练的第一子神经网络的所述第一解码器区段可以处理在第一隐空间对描述第一上下文的数字数据进行描述的代码并且基于所述代码输出数字数据。在该段中描述的特征与第五示例相结合地构成第六示例。
[0013]第二子神经网络可以被训练，其方式为，第二解码器区段对通过第二编码器区段映射到第二隐空间的第二数字训练数据进行重构并将经重构的第二数字训练数据与第二数字训练数据进行比较。在该段中描述的特征与第一示例至第六示例中的一个或多个相结合地构成第七示例。
[0014]经重构的第二数字训练数据与第二数字训练数据的所述比较可以包括：确定第二损失值。所述第二损失值可以基于损失函数而得以确定。在该段中描述的特征与第七示例相结合地构成第八示例。
[0015]第二子神经网络的训练可以包括：适配第二编码器区段和第二解码器区段，其中适配所述第二编码器区段和所述第二解码器区段可以包括：最小化第二损失值。也就是说：
经训练的第二子神经网络的第二编码器区段可以输出如下代码，所述代码在第二隐空间描述如下数字数据，所述数字数据描述第二上下文；并且经训练的第二子神经网络的所述第二解码器区段可以处理在第二隐空间对描述第二上下文的数字数据进行描述的代码并且基于所述代码输出数字数据，在该段中描述的特征与第八示例相结合地构成第九示例。
[0016]所述第一映射可以具有第三子神经网络并且所述第二映射可以具有第四子神经网络。在该段中描述的特征与第一示例至第九示例中的一个或多个相结合地构成第十示例。
[0017]第一数字数据和第二数字数据可以具有多个文本串，其中所述文本串描述所分配的第一数字训练数据或所分配的第二数字训练数据。也就是说：第一数字本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于训练神经网络的方法，其中由一个或多个处理器执行所述方法， 所述方法包括：利用描述第一上下文的第一数字训练数据来训练第一子神经网络，其中所述第一子神经网络被设立为自动编码器网络并且包括第一编码器区段和第一解码器区段，并且其中所述第一编码器区段提供所述第一数字训练数据到第一隐空间的映射；在使用借助经训练的第一子神经网络而映射到所述第一隐空间的第一数字训练数据的情况下训练第一数字数据到所述第一隐空间的第一映射，其中所述第一数字数据与所述第一数字训练数据在语义上关联；利用描述第二上下文的第二数字训练数据来训练第二子神经网络，其中所述第二上下文与所述第一上下文不同，其中所述第二子神经网络被设立为自动编码器网络并且包括第二编码器区段和第二解码器区段，并且其中所述第二编码器区段提供所述第二数字训练数据到第二隐空间的映射；在使用借助经训练的第二子神经网络而映射到所述第二隐空间的第二数字训练数据的情况下训练第二数字数据到所述第二隐空间的第二映射，其中所述第二数字数据与所述第二数字训练数据在语义上关联；在使用第三数字训练数据和第三数字数据的情况下训练数字隐数据从所述第一隐空间到所述第二隐空间的第三映射，其中所述第三数字训练数据包括：描述第一上下文的数字训练数据，和描述第二上下文的数字训练数据，其中所述第三数字数据包括：与描述第一上下文的数字训练数据在语义上关联的数字数据；和与描述第二上下文的数字训练数据在语义上关联的数字数据。2.根据权利要求1所述的方法，其中所述第一数字训练数据、所述第二数字训练数据和所述第三数字训练数据包括数字图像数据。3.根据权利要求1或2所述的方法，其中所述第一数字训练数据、所述第二数字训练数据和所述第三数字训练数据包括数字传感器数据。4.根据权利要求1至3中任意一项所述的方法，所述方法还包括：在使用附加的第一神经网络和描述第一上下文的第一数字训练数据的情况下生成所述第一数字数据；和/或在使...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：罗伯特，
类型：发明
国别省市：