【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种图像生成模型的训练、图像生成方法、装置、设备和介质。
技术介绍
1、在图像生成领域，可以利用图像描述(也可以称为文本提示即prompt)，通过基于内容生成技术的图像生成模型，得到该图像描述相应的图像。在上述过程中，图像生成模型的图像生成能力越强，相应的利用相同的图像描述，其生成的图像的质量越好。
2、那么，为了保证所生成图像的质量，需要训练得到具有更好的图像生成能力的图像生成模型。
技术实现思路
1、本公开一个或多个实施例提供了一种图像生成模型的训练、图像生成方法、装置、设备和介质，以实现训练得到可以生成质量更好的图像的图像生成模型。
2、根据第一方面，提供一种图像生成模型的训练方法，包括：
3、获取初始样本集中的第一图像描述；
4、基于所述第一图像描述，通过目标文本生成模型，得到多个预测描述；
5、基于各个预测描述，通过所述目标图像生成模型，得到各个预测描述分别对应的至少两个第一生成图像；
6、基于所述第一图像描述以及所述至少两个第一生成图像，确定用于训练所述目标图像生成模型的扩充图文对；
7、利用所述扩充图文对中的第一生成图像和第一图像描述，训练所述目标图像生成模型。
8、在一种可选实施方式中，所述确定用于训练所述目标图像生成模型的扩充图文对，包括：基于预设质量评估算法，确定各第一描述图像对对应的质量评分，其中，各第一描述图像对包括所述第一图像描述和一个
9、在一种可选实施方式中，所述基于预设质量评估算法，确定各第一描述图像对对应的质量评分，包括：基于各第一描述图像对中的第一图像描述和第一生成图像，通过图文关联模型，确定各第一描述图像对对应的匹配度值；基于各第一描述图像对中的第一生成图像，通过审美预测模型，确定各第一描述图像对对应的美学分值；基于各第一描述图像对对应的匹配度值和美学分值，确定各第一描述图像对对应的质量评分。结合各第一描述图像对中图像与描述的匹配度值和各第一描述图像对中图像的美学分值，确定各第一描述图像对对应的质量评分，以保证可以筛选得到匹配度较高(即匹配度值大)且图像美观度较高(即美学分值大)的第一描述图像对，以保证扩充图文对的质量更好。
10、在一种可选实施方式中，所对应质量评分满足预设质量条件的若干目标描述图像对包括：所对应质量评分最大的n个第一描述图像对，n为正整数；或者，所对应质量评分满足预设质量条件的若干目标描述图像对包括：所对应质量评分超过预设质量分数阈值的若干第一描述图像对。以得到若干第一描述图像对中质量相对最优的若干目标描述图像对，进而保证所得到的扩充图文对的质量更优。
11、在一种可选实施方式中，在所述基于各个预测描述，通过所述目标图像生成模型，得到各个预测描述分别对应的至少两个第一生成图像之前，还包括：获取第二图像描述及其对应的样本图像；基于所述第二图像描述，通过待训练的图像生成模型，得到第二生成图像；利用所述样本图像以及所述第二生成图像之间的差异，确定所述待训练的图像生成模型对应的第一预测损失；以最小化所述第一预测损失为目标，调整所述待训练的图像生成模型的参数，以得到达到第一收敛条件的图像生成模型，作为所述目标图像生成模型。通过第二图像描述及其对应的样本图像训练待训练的图像生成模型，使得该目标图像生成模型具有基于图像描述生成图像的能力。
12、在一种可选实施方式中，在所述基于所述第一图像描述，通过目标文本生成模型，得到多个预测描述之前，还包括：获取第三图像描述；利用预设遮挡算法，对所述第三图像描述的部分描述进行遮挡，得到第四图像描述；基于所述第四图像描述，通过待训练的文本生成模型，得到所述待训练的文本生成模型的输出；利用所述待训练的文本生成模型的输出和所述第三图像描述，确定所述待训练的文本生成模型对应的第二预测损失；以最小化所述第二预测损失为目标，调整所述待训练的文本生成模型的参数，以得到达到第二收敛条件的所述目标文本生成模型。通过第三图像描述及其对应的第四图像描述训练待训练的文本生成模型，使得该目标文本生成模型具有图像描述扩展、补全和预测的能力。
13、在一种可选实施方式中，所述第一图像描述为多个；所述利用所述扩充图文对中的第一生成图像和第一图像描述，训练所述目标图像生成模型，包括：利用各个第一图像描述分别对应的扩充图文对，循环训练所述目标图像生成模型。利用多个第一图像描述对应的质量较好的扩充图文对，循环训练目标图像生成模型，以可以循环利用基于扩充图文对训练过的目标图像生成模型，进行数据扩充，以得到质量再次提高的扩充图文对，并再利用质量再次提高的扩充图文对，循环训练已训练过的目标图像生成模型，已实现得到质量更好的扩充图文对和得到图像生成能力更好的图像生成模型。
14、根据第二方面，提供一种图像生成方法，包括：
15、获取待处理图像描述；
16、基于所述待处理图像描述，通过利用第一方面任一所述的图像生成模型训练方法训练所得的图像生成模型，得到目标图像。
17、根据第三方面，提供一种图像生成模型的训练装置，包括：
18、第一获取模块，配置为获取初始样本集中的第一图像描述；
19、第一得到模块，配置为基于所述第一图像描述，通过目标文本生成模型，得到多个预测描述；
20、第二得到模块，配置为基于各个预测描述，通过所述目标图像生成模型，得到各个预测描述分别对应的至少两个第一生成图像；
21、第一确定模块，配置为基于所述第一图像描述以及所述至少两个第一生成图像，确定用于训练所述目标图像生成模型的扩充图文对；
22、训练模块，配置为利用所述扩充图文对中的第一生成图像和第一图像描述，训练所述目标图像生成模型。
23、根据第四方面，提供一种图像生成装置，包括：
24、第二获取模块，配置为获取待处理图像描述；
25、第三得到模块，配置为基于所述待处理图像描述，通过利用第三方面所述的图像生成模型训练装置训练所得的图像生成模型，得到目标图像。
26、根据第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面所述的方本文档来自技高网...
【技术保护点】
1.一种图像生成模型的训练方法，包括：
2.如权利要求1所述的方法，其中，所述确定用于训练所述目标图像生成模型的扩充图文对，包括：
3.如权利要求2所述的方法，其中，所述基于预设质量评估算法，确定各第一描述图像对对应的质量评分，包括：
4.如权利要求2所述的方法，其中，所对应质量评分满足预设质量条件的若干目标描述图像对包括：所对应质量评分最大的N个第一描述图像对，N为正整数；
5.如权利要求1所述的方法，在所述基于各个预测描述，通过所述目标图像生成模型，得到各个预测描述分别对应的至少两个第一生成图像之前，还包括：
6.如权利要求1所述的方法，在所述基于所述第一图像描述，通过目标文本生成模型，得到多个预测描述之前，还包括：
7.如权利要求1所述的方法，其中，所述第一图像描述为多个；
8.一种图像生成方法，包括：
9.一种图像生成模型的训练装置，包括：
10.一种图像生成装置，包括：
11.一种电子设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处
12.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项所述的方法。
...【技术特征摘要】
1.一种图像生成模型的训练方法，包括：
2.如权利要求1所述的方法，其中，所述确定用于训练所述目标图像生成模型的扩充图文对，包括：
3.如权利要求2所述的方法，其中，所述基于预设质量评估算法，确定各第一描述图像对对应的质量评分，包括：
4.如权利要求2所述的方法，其中，所对应质量评分满足预设质量条件的若干目标描述图像对包括：所对应质量评分最大的n个第一描述图像对，n为正整数；
5.如权利要求1所述的方法，在所述基于各个预测描述，通过所述目标图像生成模型，得到各个预测描述分别对应的至少两个第一生成图像之前，还包括：
6.如权利要求1所述的...
【专利技术属性】
技术研发人员：吴捷，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。