【技术实现步骤摘要】
本申请实施例涉及但不限于金融科技，尤其涉及一种图像生成方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、在金融行业领域，根据输入文本生成图像的技术通常涉及人工智能中的文本到图像生成任务；这项技术可以用于多种应用，例如生成报告的插图、创建个性化的视觉内容、或者在没有实际图像的情况下模拟潜在的投资项目的视觉表示。其中，稳定扩散模型是一种新型的深度学习模型，可以在保持稳性的同时生成高质量、多样性的图像。由于稳定扩散模型本身是一种多模态的模型，在短时间就被开发出了多模态图像生成的应用，包括文字生成图像，图像转换图像，文字生成视频等。然而，当前的图像生成方法存在一些缺点，例如人像模糊、无法精准控制人像等，难以满足用户的需求。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、为了解决上述
技术介绍
中提到的问题，本申请实施例提供了一种图像生成方法、装置、电子设备及计算机可读存储介质，能够更加精准地控制图像生成，从而可以很好地满足用户的需求。
3、第一方面，本申请实施例提供了一种图像生成方法，包括：
4、获取待转换文本；
5、基于预设的文本编码器对所述待转换文本进行转化处理，得到文本嵌入向量；
6、将所述文本嵌入向量输入至预设的潜在向量生成模块，得到潜在向量；
7、将所述潜在向量输入至预训练的稳定扩散模型得到潜在图像，以及，将所述潜在向量输入至预训练的生成对抗网络得到调整
8、基于预设的解码器对所述潜在图像进行转换处理得到转换图像；
9、根据所述调整图像对所述转换图像进行约束修正处理得到目标图像。
10、根据本申请的一些实施例，所述文本编码器包括文本倒置模块和基准编码器；所述基于预设的文本编码器对所述待转换文本进行转化处理，得到文本嵌入向量，包括：
11、基于所述文本倒置模块对所述待转换文本进行倒置变换处理得到变换文本；
12、基于所述基准编码器对所述变换文本进行编码转换处理得到所述文本嵌入向量。
13、根据本申请的一些实施例，所述基于所述文本倒置模块对所述待转换文本进行倒置变换处理得到变换文本，包括：
14、对所述待转换文本进行文本分割处理得到文本分割单元；
15、对所述文本分割单元进行倒置处理得到所述变换文本。
16、根据本申请的一些实施例，所述将所述文本嵌入向量输入至预设的潜在向量生成模块，得到潜在向量，包括：
17、基于所述潜在向量生成模块对所述文本嵌入向量进行特征提取得到文本嵌入特征；
18、基于所述潜在向量生成模块对所述文本嵌入特征进行潜在空间映射处理得到潜在映射信息；
19、基于所述潜在向量生成模块对所述潜在映射信息进行正则化处理得到所述潜在向量。
20、根据本申请的一些实施例，所述将所述潜在向量输入至预训练的稳定扩散模型得到潜在图像，包括：
21、基于所述稳定扩散模型对所述潜在向量进行采样处理得到采样向量信息；
22、基于所述稳定扩散模型对所述采样向量信息进行去噪处理得到初始图像信息；
23、基于所述稳定扩散模型对所述初始图像信息进行推理处理得到所述潜在图像。
24、根据本申请的一些实施例，所述生成对抗网络包括生成器模块和判别器模块；所述将所述潜在向量输入至预训练的生成对抗网络得到调整图像，包括：
25、对所述潜在向量进行预处理得到预处理向量信息；
26、将所述预处理向量信息输入至所述生成器模块进行转换得到第一图像信息；
27、基于所述判别器模块对所述第一图像信息进行判别调整处理得到所述调整图像。
28、根据本申请的一些实施例，所述根据所述调整图像对所述转换图像进行约束修正处理得到目标图像，包括：
29、根据所述调整图像和所述转换图像确定图像误差信息；
30、基于预设的遗传算法对所述图像误差信息进行优化处理得到图像优化结果；
31、根据所述图像优化结果对所述转换图像进行修正处理得到所述目标图像。
32、第二方面，本申请实施例还提供了一种图像生成装置，包括：
33、第一处理模块，用于获取待转换文本；
34、第二处理模块，用于基于预设的文本编码器对所述待转换文本进行转化处理，得到文本嵌入向量；
35、第三处理模块，用于将所述文本嵌入向量输入至预设的潜在向量生成模块，得到潜在向量；
36、第四处理模块，用于将所述潜在向量输入至预训练的稳定扩散模型得到潜在图像，以及，将所述潜在向量输入至预训练的生成对抗网络得到调整图像；
37、第五处理模块，用于基于预设的解码器对所述潜在图像进行转换处理得到转换图像；
38、第六处理模块，用于根据所述调整图像对所述转换图像进行约束修正处理得到目标图像。
39、第三方面，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的图像生成方法。
40、第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上第一方面所述的图像生成方法。
41、根据本申请提供的实施例的图像生成方法，至少具有如下有益效果：在进行图像生成的过程中，首先获取待转换文本；接着基于预设的文本编码器对待转换文本进行转化处理就可以得到文本嵌入向量；接着将文本嵌入向量输入到预设的潜在向量生成模块就可以得到潜在向量；接着将潜在向量输入到预训练的稳定扩散模型就可以得到潜在图像，以及，将潜在向量输入到预训练的生成对抗网络就可以得到调整图像；接着基于预设的解码器对潜在图像进行转换处理就可以得到转换图像；最后根据调整图像对转换图像进行约束修正处理就可以得到对应的目标图像；通过上述方式，通过将潜在向量输入到稳定扩散模型得到潜在图像，并且将潜在向量输入到生成对抗网络得到调整图像，后续就可以基于调整图像对转换图像进行约束修正处理，进而可以更加精准地控制图像生成，可以很好地满足用户的需求。
本文档来自技高网...【技术保护点】
1.一种图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的图像生成方法，其特征在于，所述文本编码器包括文本倒置模块和基准编码器；所述基于预设的文本编码器对所述待转换文本进行转化处理，得到文本嵌入向量，包括：
3.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述文本倒置模块对所述待转换文本进行倒置变换处理得到变换文本，包括：
4.根据权利要求1所述的图像生成方法，其特征在于，所述将所述文本嵌入向量输入至预设的潜在向量生成模块，得到潜在向量，包括：
5.根据权利要求1所述的图像生成方法，其特征在于，所述将所述潜在向量输入至预训练的稳定扩散模型得到潜在图像，包括：
6.根据权利要求1所述的图像生成方法，其特征在于，所述生成对抗网络包括生成器模块和判别器模块；所述将所述潜在向量输入至预训练的生成对抗网络得到调整图像，包括：
7.根据权利要求1所述的图像生成方法，其特征在于，所述根据所述调整图像对所述转换图像进行约束修正处理得到目标图像，包括：
8.一种图像生成装置，其特征在于，包
9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像生成方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行权利要求1至7中任意一项所述的图像生成方法。
...【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的图像生成方法，其特征在于，所述文本编码器包括文本倒置模块和基准编码器；所述基于预设的文本编码器对所述待转换文本进行转化处理，得到文本嵌入向量，包括：
3.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述文本倒置模块对所述待转换文本进行倒置变换处理得到变换文本，包括：
4.根据权利要求1所述的图像生成方法，其特征在于，所述将所述文本嵌入向量输入至预设的潜在向量生成模块，得到潜在向量，包括：
5.根据权利要求1所述的图像生成方法，其特征在于，所述将所述潜在向量输入至预训练的稳定扩散模型得到潜在图像，包括：
6.根据权利要求1所...
【专利技术属性】
技术研发人员：郑喜民，宋亚琦，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。