【技术实现步骤摘要】
技术介绍
1、本公开总体涉及用于图像生成的机器学习。机器学习模型可用于提高图像分辨率、图像修复和生成新的合成图像(synthetic image)等任务。生成性模型的示例包括生成对抗网络(generative adversarial network，gan)、隐马尔可夫模型(hidden markovmodel，hmm)和扩散模型。
2、扩散模型是一类生成性神经网络，它可以被训练为生成新数据，新数据具有与训练数据中的特征相似的特征。这些模型在前向过程(forward process)期间迭代地向数据添加噪声，然后在反向过程(reverse process)期间通过对数据去噪来学习恢复数据。在推断时使用去噪处理，以基于诸如文本提示的外部条件从噪声图像(noisy image)生成新图像。潜在扩散(latent diffusion)模型在表示图像特征的潜在空间(latent space)中添加和去除噪声，而不是在图像本身的像素空间(pixel space)中添加和去除噪声。
技术实现思路
1、本公开描述了用于训练扩散模型的系统和方法。本公开的实施例包括对大规模文本条件扩散模型进行微调(fine-tune)，以使该模型能够生成包括新概念的图像，例如，当提供与新概念相关联的文本提示作为文本输入时。微调包括使用该概念的几个图像示例作为训练数据来调整模型参数的子集。例如，包括扩散模型的图像生成系统可以接收新概念的图像、生成合成图像、将接收到的图像与合成图像进行比较，并通过基于该比
2、在一些情况下，所选参数是限于扩散模型中的注意力块(attention block)的参数。注意力块可以包括交叉注意力和自注意力两个组件。在一些情况下，所选参数包括交叉注意力组件的投影映射。
3、描述了一种用于微调生成性模型的方法、装置、非暂态计算机可读介质和系统。方法、装置、非暂态计算机可读介质和系统的一个或多个方面包括：获得指示要被包括在图像中的元素的输入文本；使用扩散模型，基于输入文本生成描绘该元素的合成图像，该扩散模型通过将描绘该元素的合成图像和描绘与该元素类似的元素的训练图像进行比较而被训练；以及基于比较，更新与扩散模型的注意力层相对应的所选参数。
4、描述了一种用于微调生成性模型的方法、装置、非暂态计算机可读介质和系统。该方法、装置、非暂态计算机可读介质和系统的一个或多个方面包括：标识在第一训练阶段期间在第一训练集(training set)上训练的扩散模型；选择与注意力块相对应的扩散模型的第一参数子集和注意力块之外的扩散模型的第二参数子集；以及通过在第二训练阶段期间基于与第一训练集不同的第二训练集来对扩散模型的第一参数子集进行微调，以训练扩散模型，从而基于文本条件特征生成合成图像，其中扩散模型的第二参数子集在第二训练阶段期间保持固定。
5、描述了一种用于微调生成式模型的装置、系统和方法。该装置、系统和方法的一个或多个方面包括：处理器；存储器，其包括由处理器可执行的指令；文本转换器，其被配置为根据输入文本生成文本条件特征；图像选择组件，其被配置为选择与输入文本相关的图像；以及扩散模型，其被配置为基于文本条件特征来生成合成图像，其中扩散模型通过更新与扩散模型的一个或多个注意力层相对应的所选参数而被训练。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1所述的方法，其中：
4.根据权利要求1所述的方法，其中：
5.根据权利要求4所述的方法，其中：
6.根据权利要求1所述的方法，其中：
7.根据权利要求1所述的方法，还包括：
8.根据权利要求1所述的方法，还包括：
9.一种方法，包括：
10.根据权利要求9所述的方法，还包括：
11.根据权利要求9所述的方法，还包括：
12.根据权利要求9所述的方法，还包括：
13.根据权利要求9所述的方法，还包括：
14.根据权利要求9所述的方法，还包括：
15.一种装置，包括：
16.根据权利要求15所述的装置，其中所述指令还可执行以：
17.根据权利要求15所述的装置，其中所述指令还可执行以：
18.根据权利要求15所述的装置，其中：
19.根据权利要求15所述的装置，其中：
20.根据权
...【技术特征摘要】
1.一种方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1所述的方法，其中：
4.根据权利要求1所述的方法，其中：
5.根据权利要求4所述的方法，其中：
6.根据权利要求1所述的方法，其中：
7.根据权利要求1所述的方法，还包括：
8.根据权利要求1所述的方法，还包括：
9.一种方法，包括：
10.根据权利要求9所述的方法，还包括：
11.根据权利要求9所述的方法，还...
【专利技术属性】
技术研发人员：N·库马里，R·张，朱俊彦，E·谢克特曼，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。