【技术实现步骤摘要】
本申请涉及图像生成，尤其涉及一种图像生成方法和装置。
技术介绍
1、在给定图像描述文本或者与待生成的图像内容匹配的参考图像后，利用扩散模型可以生成所需的目标图像。
2、而可控的图像生成是指通过控制条件引导图像生成，以有效控制生成的目标图像中的边缘、深度以及姿态等图像属性特征。但是，在可控的图像生成过程中，如果不存在用于描述待生成图像的描述文本，则可能导致生成的目标图像与期望的图像的差距较大，导致图像生成效果较差。
技术实现思路
1、一方面，本申请提供了一种图像生成方法，包括：
2、获得至少一张特征参考图像，所述特征参考图像用于表征待生成的目标图像在至少一种目标属性特征上具有的特征；
3、对于所述特征参考图像表征的每种目标属性特征，利用所述目标属性特征对应的特征提取模型提取所述特征参考图像在所述目标属性特征上的目标特征信息；
4、构建目标噪声图像；
5、基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，利用图像生成模型生成所述目标图像。
6、在一种可能的实现方式中，该方法还包括：获得待生成的目标图像的内容参考图像，所述内容参考图像用于表征待生成的目标图像具有的内容特征；
7、所述基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，利用图像生成模型生成所述目标图像，包括：
8、基于所述内容参考图像、目标噪声图像和所述特征参
9、在又一种可能的实现方式中，所述内容参考图像属于所述至少一张特征参考图像。
10、在又一种可能的实现方式中，所述基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，利用图像生成模型生成所述目标图像，包括：
11、将所述目标噪声图像的图像编码矩阵与所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息进行拼接，得到拼接出的合成矩阵；
12、基于所述合成矩阵，利用图像生成模型生成所述目标图像。
13、在又一种可能的实现方式中，所述将所述目标噪声图像的图像编码矩阵与所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息进行拼接，得到拼接出的合成矩阵，包括：
14、确定所述目标噪声图像的图像编码矩阵；
15、将所述特征参考图像在所述目标属性特征上的目标特征信息转换为与所述图像编码矩阵相同维度的特征，得到所述特征参考图像在目标属性特征上对应的转换后特征信息；
16、将所述图像编码矩阵与所述特征参考图像在各目标属性特征上对应的转换后特征信息进行拼接，得到拼接出的合成矩阵。
17、在又一种可能的实现方式中，还包括：获得待生成的目标图像的文本描述信息；
18、所述基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，利用图像生成模型生成所述目标图像，包括：
19、基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，以所述文本描述信息作为图像生成模型生成图像的引导条件，利用所述图像生成模型生成所述目标图像。
20、在又一种可能的实现方式中，所述图像生成模型为基于多个第一图像样本、所述第一图像样本对应的期望图像以及所述第一图像样本对应的特征参考图像样本在至少一种目标属性特征上的特征信息训练得到的；
21、其中，所述第一图像样本对应的期望图像为基于所述第一图像样本期望生成的图像，所述特征参考图像样本在目标属性特征上的特征信息为利用所述目标属性特征对应的特征提取模型提取出的；
22、所述第一图像样本对应的期望图像以及所述特征参考图像均为所述第一图像样本。
23、在又一种可能的实现方式中，所述目标属性特征对应的特征提取模型为基于多个第二图像样本以及所述第二图像样本在所述目标属性特征上的标注特征信息训练得到的；
24、所述多个第二图像样本与所述多个第一图像样本相同或者不相同；
25、所述特征提取模型和所述图像生成模型同步训练得到。
26、在又一种可能的实现方式中，所述图像生成模型通过如下方式训练得到：
27、获得多个第一图像样本；
28、利用所述目标属性特征对应的特征提取模型提取所述第一图像样本在所述目标属性特征上的特征信息；
29、构建噪声图像样本；
30、基于所述噪声图像样本以及第一图像样本在至少一种目标属性特征上的特征信息，利用待训练的图像生成模型生成预测图像；
31、基于所述预测图像与所述第一图像样本确定损失函数值；
32、如果所述损失函数值未收敛或者训练迭代次数未达到设定次数，调整所述图像生成模型的参数，增加训练迭代次数的取值，返回执行所述基于所述噪声图像样本以及第一图像样本在至少一种目标属性特征上的特征信息，利用待训练的图像生成模型生成预测图像，直至所述损失函数值收敛或者所述训练迭代次数达到设定次数，得到训练出的图像生成模型。
33、又一方面，本申请还提供了一种图像生成装置，包括：
34、特征图像获得单元，用于获得至少一张特征参考图像，所述特征参考图像用于表征待生成的目标图像在至少一种目标属性特征上具有的特征；
35、特征提取单元，用于对于所述特征参考图像表征的每种目标属性特征，利用所述目标属性特征对应的特征提取模型提取所述特征参考图像在所述目标属性特征上的目标特征信息；
36、噪声构建单元，用于构建目标噪声图像；
37、图像生成单元，用于基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，利用图像生成模型生成所述目标图像。
本文档来自技高网...【技术保护点】
1.一种图像生成方法，包括：
2.根据权利要求1所述的图像生成方法，还包括：获得待生成的目标图像的内容参考图像，所述内容参考图像用于表征待生成的目标图像具有的内容特征；
3.根据权利要求2所述的图像生成方法，所述内容参考图像属于所述至少一张特征参考图像。
4.根据权利要求1所述的图像生成方法，所述基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，利用图像生成模型生成所述目标图像，包括：
5.根据权利要求4所述的图像生成方法，所述将所述目标噪声图像的图像编码矩阵与所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息进行拼接，得到拼接出的合成矩阵，包括：
6.根据权利要求1所述的图像生成方法，还包括：获得待生成的目标图像的文本描述信息；
7.根据权利要求1或2所述的图像生成方法，所述图像生成模型为基于多个第一图像样本、所述第一图像样本对应的期望图像以及所述第一图像样本对应的特征参考图像样本在至少一种目标属性特征上的特征信息训练得到的；
8.根据权利要求7所
9.根据权利要求7所述的图像生成方法，所述图像生成模型通过如下方式训练得到：
10.一种图像生成装置，包括：
...【技术特征摘要】
1.一种图像生成方法，包括：
2.根据权利要求1所述的图像生成方法，还包括：获得待生成的目标图像的内容参考图像，所述内容参考图像用于表征待生成的目标图像具有的内容特征；
3.根据权利要求2所述的图像生成方法，所述内容参考图像属于所述至少一张特征参考图像。
4.根据权利要求1所述的图像生成方法，所述基于所述目标噪声图像和所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息，利用图像生成模型生成所述目标图像，包括：
5.根据权利要求4所述的图像生成方法，所述将所述目标噪声图像的图像编码矩阵与所述特征参考图像在至少一种目标属性特征上各自对应的目标特征信息进行拼接，得到拼接出的...
【专利技术属性】
技术研发人员：潘红，师圣，
申请(专利权)人：北京联想软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。