训练潜在基于得分的生成模型制造技术

本发明专利技术涉及训练潜在基于得分的生成模型。本发明专利技术的一个实施例阐述了一种用于训练生成模型的技术。该技术包括将训练数据集中包括的第一数据点转换成与基于得分的生成模型的基本分布相关联的第一组值。所述技术还包括：经由所述基于得分的生成模型来执行一个或更多个去噪操作以将所述第一组值转换成与潜在空间相关联的第一组潜在变量值。所述技术还包括执行一个或更多个额外操作以将所述第一组潜在变量值转换成第二数据点。最后，该技术包括基于第一数据点和第二数据点来计算一个或更多个损失并且基于该一个或更多个损失来生成经训练的生成模型，其中经训练的生成模型包括基于得分的生成模型。基于得分的生成模型。基于得分的生成模型。

【技术实现步骤摘要】
训练潜在基于得分的生成模型
[0001]相关申请的交叉引用
[0002]本申请要求2021年6月8日提交并且具有序列号63/208，304的标题为“潜在空间中的基于得分的生成建模(SCORE
‑
BASED GENERATIVE MODELING IN LATENT SPACE)”的美国临时专利申请的权益。该相关申请的主题特此通过引用合并于本文。


[0003]本公开的实施例总体上涉及机器学习和计算机科学，并且更具体地涉及训练潜在基于得分的生成模型。

技术介绍

[0004]在机器学习中，生成模型通常包括被训练以生成新的数据实例的深度神经网络和/或其他类型的机器学习模型。例如，可以在包括大量猫的图像的训练数据集上训练生成模型。在训练期间，生成模型“学习”图像中描绘的各个猫的视觉属性。然后，生成模型可以使用这些学习的视觉属性来产生在训练数据集中未发现的猫的新图像。
[0005]基于得分的生成模型(SGM)是一种类型的生成模型。SGM通常包括正向扩散过程，其将输入数据逐渐干扰成在一系列时间步长上遵循特定噪声分布的噪声。SGM还包括反向去噪过程，所述反向去噪过程通过在不同的时间步长系列内将来自噪声分布的随机噪声迭代地转换成新数据来生成新数据。可通过反向正向扩散过程的时间步长来执行反向去噪过程。例如，正向扩散过程可以用于向猫的图像逐渐添加噪声，直到产生白噪声的图像。随后可使用反向去噪过程来从白噪声的图像逐渐去除噪声直到产生猫的图像为止。
[0006]SGM的操作可以使用称为随机微分方程(SDE)的一组复杂方程来表示。第一SDE可以用于将SGM的正向扩散过程建模为从数据集到噪声分布中的对应点集的固定组轨迹。与第一SDE相反的第二SDE可以用于对SGM的反向去噪过程进行建模，该过程将给定点从噪声分布转换回数据。第二SDE可以通过训练神经网络以学习第二SDE中包括的得分函数来近似。经训练的神经网络然后可以迭代地执行以在将噪声样本转换成新数据样本的多个时间步长上评估得分函数。例如，第一SDE可以用于将训练数据集中的猫的图像转换成白噪声的图像。然后，可以训练神经网络来估计第二SDE产生的得分，同时将白噪声图像转换回对应的猫图像。在神经网络被训练之后，神经网络可生成用于将随机白噪声图像转换成在训练数据集中不包括的猫图像的额外得分。
[0007]使用SGM来生成新数据的一个缺点是从噪声样本中生成新数据样本是缓慢的并且计算量大。就此而言，学习在与SGM的反向去噪过程相对应的第二SDE中所包括的得分函数的神经网络在将噪声样本转换成数据样本时通常被执行数千次以生成大量得分值。结果，与使用其他类型的生成模型来合成新数据相比，使用SGM来合成新数据可以慢多个数量级并且更耗费资源。
[0008]使用SGM来生成新数据的另一个缺点是，由于使用涉及导数的SDE来表示SGM，因此SGM仅可以与从中可以计算导数的连续数据一起使用。因此，SGM不能用于生成图形、分子、
文本、二进制数据、分类数据和/或其他类型的非连续数据。
[0009]如前所述，在本领域中所需要的是用于使用SGM生成新数据的更有效的技术。

技术实现思路

[0010]本专利技术的一个实施例阐述了一种用于训练生成模型的技术。该技术包括将训练数据集中包括的第一数据点转换成与基于得分的生成模型的基本分布相关联的第一组值。所述技术还包括：经由所述基于得分的生成模型来执行一个或更多个去噪操作以将所述第一组值转换成与潜在空间相关联的第一组潜在变量值。所述技术还包括执行一个或更多个额外操作以将所述第一组潜在变量值转换成第二数据点。最后，该技术包括基于第一数据点和第二数据点来计算一个或更多个损失并且基于该一个或更多个损失来生成经训练的生成模型，其中经训练的生成模型包括基于得分的生成模型。
[0011]所公开的技术相对于现有技术的一个技术优点是，通过所公开的技术，基于得分的生成模型生成潜在空间中的潜在变量的分布与基本分布之间的映射，该基本分布类似于潜在空间中的潜在变量的分布。然后，当生成数据样本时，可有利地利用映射。具体地，相对于在将噪声样本转换成来自复杂数据分布的数据样本时经由基于得分的生成模型来执行数千个神经网络评估的现有技术方法，映射允许基于得分的生成模型在将来自基本分布的样本转换成可以从其生成数据样本的一组潜在变量值时执行更少的神经网络评估并且产生显著更少的资源开销。所公开的技术的另一优点在于，由于与潜在变量值相关联的潜在空间是连续的，因此可以在学习生成非连续数据的生成模型中使用SGM。这些技术优点提供了优于现有技术方法的一个或更多个技术改进。
附图说明
[0012]为了详细理解各个实施例的上述特征，可以参考各个实施例得到以上简要概述的专利技术概念的更具体描述，在附图中示出了这些实施例中的一些实施例。然而，应注意，附图仅示出了本专利技术构思的典型实施例，并且因此不应被视为以任何方式限制范围，并且存在其他同样有效的实施例。
[0013]图1示出了被配置为实施各个实施例的一个或更多个方面的计算设备。
[0014]图2A是根据各个实施例的图1的训练引擎和执行引擎的更详细的图示。
[0015]图2B示出了根据各个实施例的图2A的VAE和SGM的操作。
[0016]图3A示出了根据各个实施例的用于图2的VAE的层级结构版本中所包括的编码器的示例性架构。
[0017]图3B示出了根据各个实施例的用于图2的VAE的层级结构版本中包括的生成模型的示例性架构。
[0018]图4A示出了根据各实施例的驻留在图2的VAE的层级结构版本中所包括的编码器内的示例性残差单元。
[0019]图4B示出了根据各实施例的驻留在图2的VAE的层级结构版本的生成部分内的示例性残差单元。
[0020]图5示出了根据各个实施例的用于训练生成模型的方法步骤的流程图。
[0021]图6示出了根据各个实施例的用于产生生成输出的方法步骤的流程图。
[0022]图7示出了被配置为实施各个实施例的一个或更多个方面的游戏流式传输系统。
具体实施方式
[0023]在以下描述中，阐述了许多具体细节以便提供对各个实施例的更彻底的理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节中的一个或更多个的情况下实践本专利技术构思。
[0024]总体概述
[0025]生成模型通常包括被训练以生成新的数据实例的深度神经网络和/或其他类型的机器学习模型。例如，可以在包括大量猫的图像的训练数据集上训练生成模型。在训练期间，生成模型“学习”图像中猫的面部、毛皮、身体、表情、姿态和/或其他视觉属性中的模式。然后，生成模型可以使用这些学习到的模式来产生在训练数据集中未发现的猫的新图像。
[0026]基于得分的生成模型(SGM)是一种类型的生成模型。SGM通常包括正向扩散过程，该过程在一系列时间步长内将输入数据逐渐干扰成噪声。SGM还包括反向去噪过程，反向去噪过程通过在不同的时间步长系列内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练生成模型的计算机实现的方法，所述方法包括：将训练数据集中包括的训练图像转换成与基于得分的生成模型的基本分布相关联的第一组值；经由所述基于得分的生成模型来执行一个或更多个去噪操作以将所述第一组值转换成与潜在空间相关联的第一组潜在变量值；执行一个或更多个额外操作以将所述第一组潜在变量值转换成输出图像；基于所述训练图像和所述输出图像计算一个或更多个损失；以及基于所述一个或更多个损失生成经训练的生成模型，其中所述经训练的生成模型包括所述基于得分的生成模型。2.根据权利要求1所述的计算机实现的方法，其中所述经训练的生成模型还包括将所述第一组潜在变量值转换成所述输出图像的解码器神经网络。3.根据权利要求1所述的计算机实现的方法，其中在操作中，所述经训练的生成模型将与所述基本分布相关联的第二组值转换成第二组潜在变量值，以生成在所述训练数据集中不包括的新图像。4.一种用于训练生成模型的计算机实现的方法，所述方法包括：将训练数据集中包括的第一数据点转换成与基于得分的生成模型的基本分布相关联的第一组值；经由所述基于得分的生成模型来执行一个或更多个去噪操作以将所述第一组值转换成与潜在空间相关联的第一组潜在变量值；执行一个或更多个额外操作以将所述第一组潜在变量值转换成第二数据点；基于所述第一数据点和所述第二数据点计算一个或更多个损失；以及基于所述一个或更多个损失生成经训练的生成模型，其中所述经训练的生成模型包括所述基于得分的生成模型。5.根据权利要求4所述的计算机实现的方法，其中将所述第一数据点转换成所述第一组值包括：经由编码器神经网络执行一个或更多个编码操作以将所述第一数据点转换成第二组潜在变量值；以及执行一个或更多个扩散操作以将所述第二组潜在变量值转换为所述第一组值。6.根据权利要求4所述的计算机实现的方法，其中执行所述一个或更多个额外操作包括：将解码器神经网络应用于所述第一组潜在变量值以产生所述第二数据点。7.根据权利要求4所述的计算机实现的方法，其中计算所述一个或更多个损失包括：计算与由所述基于得分的生成模型生成的所述第一组潜在变量值的第一分布和由编码器神经网络基于所述训练数据集生成的第二组潜在变量值的第二分布相关联的交叉熵损失。8.根据权利要求7所述的计算机实现的方法，其中计算所述交叉熵损失包括：从与所述交叉熵损失中包括的损失加权相关联的建议分布采样。9.根据权利要求8所述的计算机实现的方法，其中所述损失加权包括与所述潜在空间与所述基本分布之间的扩散过程相关联的扩散系数。10.根据权利要求7所述的计算机实现的方法，其中所述交叉熵损失包括与所述编码器神经网络相关联的第一损失加权和与所述基于得分的生成模型相关联的第二损失加权中
的至少一个。11.根据权利要求7所述的计算机实现的方法，其中生成所述经训练的生成模型包括：基于所述交叉熵...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：