图像生成方法及装置制造方法及图纸

本说明书实施例公开了一种图像生成方法及装置，该图像生成方法包括利用包括图像空间的扩散模型和隐空间的扩散模型的初级模型训练，确定支持在

【技术实现步骤摘要】
图像生成方法及装置


[0001]本说明书的一个或多个实施例涉及人工智能领域，特别的涉及一种图像生成方法及装置
。

技术介绍

[0002]随着互联网的发展，基于扩散模型的图像生成方法在
AIGC
领域取得了重大突破，推动了
AIGC
技术从学术界向工业界迈进
。
[0003]但是，目前
AIGC
图像生成方面，主要有两种不同的技术路径，包括基于隐空间扩散的
AIGC
图像生成方法和直接在图像空间进行扩散的
AIGC
图像生成方法，两者各有优点但无法兼顾，比如前者无法对一些图像细节进行较好的控制，而后者往往需要耗费大量的计算资源和时间
。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术实施例提供一种图像生成方法及装置
。
[0005]第一方面，本说明书实施例提供了一种图像生成方法，包括：
[0006]构建图像训练的初级模型，所述初级模型包含图像空间的扩散模型和隐空间的扩散模型；
[0007]将
prompt
输入所述初级模型，获取所述初级模型训练过程中的第一损失函数，并以所述第一损失函数作为收敛函数进行训练，得到关联的初级模型；
[0008]对关联的初级模型进行联合训练，得到双重扩散模型；
[0009]将所述
prompt
输入双重扩散模型，获取所述双重扩散模型训练过程中的第二损失函数，并以所述第二损失函数作为收敛函数进行训练，得到输出的标准图像；
[0010]获取资源信息，结合所述标准图像，资源信息计算所述双重扩散模型的层权重，并以所述层权重对所述双重扩散模型训练过程进行优化，得到优化后的双重扩散模型输出的目标图像
。
[0011]第二方面，本说明书实施例提供了一种图像生成装置，包括：
[0012]初级模型构建模块，配置为构建图像训练的初级模型，所述初级模型包含图像空间的扩散模型和隐空间的扩散模型；
[0013]初级模型训练模块，配置为将
prompt
输入所述初级模型，获取所述初级模型训练过程中的第一损失函数，并以所述第一损失函数作为收敛函数进行训练，得到关联的初级模型；
[0014]联合训练模块，配置为对关联的初级模型进行联合训练，得到双重扩散模型；
[0015]双重扩散模型训练模块，配置为将所述
prompt
输入双重扩散模型，获取所述双重扩散模型训练过程中的第二损失函数，并以所述第二损失函数作为收敛函数进行训练，得到输出的标准图像；
[0016]双重扩散模型优化模块，配置为获取资源信息，结合所述标准图像，资源信息计算
所述双重扩散模型的层权重，并以所述层权重对所述双重扩散模型训练过程进行优化，得到优化后的双重扩散模型输出的目标图像
。
[0017]第三方面，本说明书实施例提供了一种电子设备，包括处理器以及存储器；
[0018]所述处理器与所述存储器相连；
[0019]所述存储器，用于存储可执行程序代码；
[0020]所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行一个或多个实施例所述的方法
。
[0021]第四方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一个或多个实施例所述的方法
。
[0022]鉴于上述，在本说明书一个或多个实施例中，利用包括图像空间的扩散模型和隐空间的扩散模型的初级模型训练，在减少模型复杂度的情况下，确定支持在
prompt
下的关联初级模型，并构建双重扩散模型进行模型训练，保证各种路径下的标准图像的生成询过，然后结合资源信息，训练路径权重优化模型，自适应寻优的图像生成路径，得到目标图像
。
从而能够结合隐空间扩散和图像空间扩散的优势，进行双重训练，并在扩散过程中基于资源信息进行动态的路径选择，从而用较小的资源消耗，达到较好的细节控制效果
。
附图说明
[0023]为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0024]图1是本说明书一个实施例所应用的系统架构的示意图
。
[0025]图2是本说明书一个实施例提供的一种图像生成方法的流程图
。
[0026]图3是本说明书一个实施例提供的又一种图像生成方法的流程图
。
[0027]图4是本说明书一个实施例提供的又一种图像生成方法的流程图
。
[0028]图5是本说明书一个实施例提供的一种图像生成装置的结构示意图
。
[0029]图6是本说明书一个实施例提供的一种电子设备的结构示意图
。
具体实施方式
[0030]现在将参考示例实施方式讨论本文描述的主题
。
应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围
、
适用性或者示例的限制
。
可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变
。
各个示例可以根据需要，省略
、
替代或者添加各种过程或组件
。
例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加
、
省略或者组合
。
另外，相对一些示例所描述的特征在其它例子中也可以进行组合
。
[0031]如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。
术语“基于”表示“至少部分地基于”。
术语“一个实施例”和“一实施例”表示“至少一个实施例”。
术语“另一个实施例”表示“至少一个其他实施例”。
术语“第一”、“第二”等可以指代不
同的或相同的对象
。
下面可以包括其他的定义，无论是明确的还是隐含的
。
除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的
。
[0032]本说明书在结合一个或多个实施例对图像口令处理方法进行详细阐述之前，可先简单说明现有技术对
AIGC
图像的生成方式
。
[0033]随着互联网的发展，基于扩散模型的图像生成方法在
AIGC
领域取得了重大突破，图像的
AIGC
应用有了爆发性增长
。
无论是国内还是国外都有了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像生成方法，其中，包括：构建图像训练的初级模型，所述初级模型包含图像空间的扩散模型和隐空间的扩散模型；将
prompt
输入所述初级模型，获取所述初级模型训练过程中的第一损失函数，并以所述第一损失函数作为收敛函数进行训练，得到关联的初级模型；对关联的初级模型进行联合训练，得到双重扩散模型；将所述
prompt
输入双重扩散模型，获取所述双重扩散模型训练过程中的第二损失函数，并以所述第二损失函数作为收敛函数进行训练，得到输出的标准图像；获取资源信息，结合所述标准图像，资源信息计算所述双重扩散模型的层权重，并以所述层权重对所述双重扩散模型训练过程进行优化，得到优化后的双重扩散模型输出的目标图像
。2.
根据权利要求1所述的方法，其中，所述方法还包括：所述初级模型包括大规模模型
、
基础模型
、
关联映射模块，所述大规模模型
、
基础模型分别包括图像空间的扩散模型和隐空间的扩散模型
。3.
根据权利要求2所述的方法，其中，所述初级模型训练过程，包括：将
prompt
输入大规模模型中的图像空间的扩散模型和隐空间的扩散模型，输出对应的大规模图像；将
prompt
输入基础模型中的图像空间的扩散模型和隐空间的扩散模型，输出对应的基础图像；将所述大规模图像和基础图像中的隐空间输入所述关联映射模块，输出初级图像
。4.
根据权利要求3所述的方法，其中，所述将所述大规模图像和基础图像中的隐空间输入所述关联映射模块，输出初级第一图像，包括：将所述大规模图像和基础图像中的隐空间输出作为所述关联映射模块的输入数据，所述大规模图像和基础图像中的图像空间输出作为拟合对象，输出拟合后的初级图像
。5.
根据权利要求3所述的方法，其中，所述第一损失函数，包括：获取所述初级模型训练过程中产生的扩散损失
、
蒸馏损失
、
关联损失，生成对应的第一损失函数
。6.
根据权利要求1所述的方法，其中，所述方法还包括：所述双重扩散模型包括图像空间的基础扩散模型
、
隐空间的基础扩散模型
、
路径交互模型
、
融合输出模型
。7.
根据权利要求6所述的方法，其中，所述双重扩散模型训练过程，包括：将
prompt
输入所述图像空间的基础扩散模型和隐空间的基础扩散模型进行训练，获取所述图像空间的基础扩散模型和隐空间的基础扩散模型的中间层特征；将所述中间层特征输入所述路径交互模型，输出交互后的中间层特征，并以交互后对的中间层特征替换原中间层特征；获取所述图像空间的基础扩散模型和隐空间的基础扩散模型输出的过程图像，并将所述过程图像输入融合输出模型，得到对应的标准图像
。8.
根据权利要求1所述的方法，其中，所述结合所述标准图像，资源信息计算所述双重扩散模型的层权重，并以所述层权重对所述双重扩散模型训练过程进行优化，包括：
将所述标准图像输入所述双重扩散模型，输出训练后的标准图像，并获取产生的第二损失函数；将所述资源信息输入路径权重优化模块，输出层权重，并获取产生的权重稀疏损失；以所述第二损失函数和权重稀疏损失作为收敛函数进行训练，直至收敛函数收敛，得到优化后的双重扩散模型
。9.
一种图像生成装置，其中，包括：初级模型构建模块，配置为构建图像训练的初级模型，所述初级模型包含图像空间的扩散模型和隐空间的扩散模型；初级模型训练模块，配置为将
prompt
输入所述初级模型，获取所述初级模型训练过程中的第一损失函数，并以所述第一损失函数作为收敛函数进行训练，得到关联的初级模型；联合训练模块，配置为对关联的初级模...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：