一种图像生成方法及相关装置制造方法及图纸

本申请实施例公开了一种人工智能领域的图像生成方法及相关装置

【技术实现步骤摘要】
一种图像生成方法及相关装置


[0001]本申请涉及人工智能
，尤其涉及一种图像生成方法及相关装置
。

技术介绍

[0002]生成式人工智能
(Artificial Intelligence Generated Content
，
AIGC)
是采用人工智能技术自动生成内容的一种方法，是继专业生产内容
、
用户生产内容之后的一种新型内容创作方式
。
[0003]在一些应用场景中，可以采用
AIGC
技术生成满足用户需求的图片，如相关技术中的
Stable
‑
diffusion
‑
webui
工具平台
、
秋叶训练脚本均可利用
AIGC
技术生成用户所需的图片
。
但是相关技术目前无法实现图片生成的全自动化，即无论是
Stable
‑
diffusion
‑
webui
工具平台，还是秋叶训练脚本，均需通过多个彼此割裂的功能模块来完成图片生成过程，在生成图片的过程中，需要用户手动设置功能模块的工作参数，且需要用户手动将各个功能模块的输出结果串联起来，对于用户来说，操作繁琐复杂
。

技术实现思路

[0004]本申请实施例提供了一种图像生成方法及相关装置，无需用户手动执行繁琐的图像生成步骤，而是能够自动化生成图像，对于用户来说，操作简单，使用体验大大提升
。
[0005]本申请第一方面提供了一种图像生成方法，所述方法包括：
[0006]获取所输入的基础参考数据；所述基础参考数据对应于目标风格；
[0007]根据所述基础参考数据包括的基础参考图像数据，生成训练样本；所述训练样本中包括基于所述基础参考图像数据确定的训练图像
、
以及所述训练图像对应的训练标签；
[0008]利用所述训练样本对基础图像生成模型进行训练，得到目标图像生成模型；所述基础图像生成模型是预先训练的，其用于执行普适性图像生成任务；所述目标图像生成模型用于生成具有所述目标风格的图像；
[0009]通过所述目标图像生成模型，根据参考文本库中包括的参考文本，生成具有所述目标风格的目标图像
。
[0010]本申请第二方面提供了一种图像生成装置，所述装置包括：
[0011]数据获取模块，用于获取所输入的基础参考数据；所述基础参考数据对应于目标风格；
[0012]样本生成模块，用于根据所述基础参考数据包括的基础参考图像数据，生成训练样本；所述训练样本中包括基于所述基础参考图像数据确定的训练图像
、
以及所述训练图像对应的训练标签；
[0013]模型训练模块，用于利用所述训练样本对基础图像生成模型进行训练，得到目标图像生成模型；所述基础图像生成模型是预先训练的，其用于执行普适性图像生成任务；所述目标图像生成模型用于生成具有所述目标风格的图像；
[0014]图像生成模块，用于通过所述目标图像生成模型，根据参考文本库中包括的参考
文本，生成具有所述目标风格的目标图像
。
[0015]本申请第三方面提供了一种计算机设备，所述设备包括处理器和存储器：
[0016]所述存储器用于存储计算机程序；
[0017]所述处理器用于根据所述计算机程序，执行如上述第一方面所述的图像生成方法的步骤
。
[0018]本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的图像生成方法的步骤
。
[0019]本申请第五方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中
。
计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的图像生成方法的步骤
。
[0020]从以上技术方案可以看出，本申请实施例具有以下优点：
[0021]本申请实施例中，先获取用户输入的对应于目标风格的基础参考数据
。
再根据该基础参考数据包括的基础参考图像数据，生成由训练图像及其对应的训练标签组成的训练样本，其中，训练图像是基于基础参考图像数据确定的
。
然后，利用训练样本对预先训练的基础图像生成模型进行训练，得到用于生成具有目标风格的图像的目标图像生成模型，其中，预先训练的基础图像生成模型用于执行普适性图像生成任务
。
随后，通过目标图像生成模型，根据参考文本库中包括的参考文本，生成具有目标风格的目标图像
。
[0022]本申请根据用户所输入的基础参考数据，自动生成训练样本来训练基础图像生成模型，以得到目标图像生成模型，最终基于目标图像生成模型生成与用户需求对应的目标图像，实现图像生成过程的自动化
。
可见，在上述图像生成的过程中，用户仅需输入对应于目标风格的基础参考图像数据，缩减了用户手动操作的繁琐工作，对于用户来说，操作简单，能够提升用户的使用体验
。
此外，图像的自动化生成，能够加快图像的生成速度，提高目标图像的产能
。
附图说明
[0023]图1为本申请实施例提供的一种模型训练信息填写页面的示意图；
[0024]图2为本申请实施例提供的一种图像生成方法的场景架构图；
[0025]图3为本申请实施例提供的一种图像生成方法的流程图；
[0026]图4为本申请实施例提供的一种训练图像及其对应的训练标签的示意图；
[0027]图
5a
为本申请实施例提供的一种基础参考图像的裁剪过程的示意图；
[0028]图
5b
为本申请实施例提供的另一种基础参考图像的裁剪过程的示意图；
[0029]图6为本申请实施例提供的一种放大基础参考图像的分辨率的示意图；
[0030]图7为本申请实施例提供的一种生成目标图像的示意图；
[0031]图8为本申请实施例提供的一种生成目标图像的页面示意图；
[0032]图9为本申请实施例提供的一种具体的图像生成方法的流程图；
[0033]图
10
为本申请实施例提供的一种图像生成方法的流程示意图；
[0034]图
11
为本申请实施例提供的一种图像生成装置的结构示意图；
[0035]图
12
为本申请实施例提供的一种终端设备的结构示意图；
[0036]图
13
为本申请实施例提供的一种服务器的结构示意图
。
具体实施方式
[0037]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像生成方法，其特征在于，所述方法包括：获取所输入的基础参考数据；所述基础参考数据对应于目标风格；根据所述基础参考数据包括的基础参考图像数据，生成训练样本；所述训练样本中包括基于所述基础参考图像数据确定的训练图像
、
以及所述训练图像对应的训练标签；利用所述训练样本对基础图像生成模型进行训练，得到目标图像生成模型；所述基础图像生成模型是预先训练的，其用于执行普适性图像生成任务；所述目标图像生成模型用于生成具有所述目标风格的图像；通过所述目标图像生成模型，根据参考文本库中包括的参考文本，生成具有所述目标风格的目标图像
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述基础参考数据包括的基础参考图像数据，生成训练样本，包括：当所述基础参考图像数据为多张基础参考图片时，对每张所述基础参考图片进行目标预处理操作，得到所述训练图像；当所述基础参考图像数据为基础参考视频时，从所述基础参考视频中抽取多张基础参考视频帧，对每张所述基础参考视频帧进行所述目标预处理操作，得到所述训练图像；针对每张所述训练图像，采用图片逆向标签算法，根据所述训练图像，确定所述训练图像对应的训练标签
。3.
根据权利要求2所述的方法，其特征在于，所述目标预处理操作包括：当基础参考图像的尺寸不满足预设尺寸比例时，通过人脸识别算法识别所述基础参考图像中的角色面部区域；所述基础参考图像包括所述基础参考图片
、
或者所述基础参考视频帧；基于所述角色面部区域，对所述基础参考图像进行裁剪处理，得到满足所述预设尺寸比例的基础参考角色图像
。4.
根据权利要求2或3所述的方法，其特征在于，所述目标预处理操作包括：当基础参考图像的分辨率低于目标分辨率阈值时，采用图片超分辨率算法，按照目标分辨率倍数对所述基础参考图像的分辨率进行放大处理；所述目标分辨率倍数根据所述目标分辨率阈值和所述基础参考图像的分辨率确定；所述基础参考图像包括所述基础参考图片
、
或者所述基础参考视频帧
、
或者基于所述基础参考图片或所述基础参考视频帧中的角色面部区域确定的基础参考角色图像
。5.
根据权利要求2所述的方法，其特征在于，所述采用图片逆向标签算法，根据所述训练图像，确定所述训练图像对应的训练标签，包括：采用所述图片逆向标签算法，根据所述训练图像，生成所述训练图像对应的描述文本标签；根据所述训练图像包括的虚拟角色，确定所述训练图像对应的角色标识标签；利用所述训练图像对应的所述角色标识标签和所述描述文本标签，确定所述训练图像对应的训练标签
。6.
根据权利要求1所述的方法，其特征在于，所述基础图像生成模型中包括第一冻结结构和第二冻结结构，所述第一冻结结构原始的高维模型参数通过对应的低维模型参数表示；所述利用所述训练样本对基础图像生成模型进行训练，得到目标图像生成模型，包括：
利用所述训练样本对所述...

【专利技术属性】
技术研发人员：王双坤，刘文双，刘赣，罗鑫骥，付锦华，尹存祥，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：