图像生成方法技术

本申请公开了一种图像生成方法

【技术实现步骤摘要】
图像生成方法、装置、设备和存储介质


[0001]本申请涉及图像处理
，特别是涉及一种图像生成方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]目前，用户通常通过专业的图像编辑软件，对图像当中的图像要素进行编辑，例如增加
、
删除或修改图像要素等，从而得到符合用户需求的图像
。
[0003]然而，当用户通过图像编辑软件手动编辑图像时，需要用户学习图像编辑的基础知识以及图像编辑软件的使用方式，并且，编辑图像的过程中通常需要耗费用户大量精力
。
由此可见，现有方式，效率较低
。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种图像生成方法
、
装置
、
设备和存储介质，能够提高生成用户期望的目标图像的效率
。
[0005]为了解决上述技术问题，本申请第一方面提供了一种图像生成方法，包括：获取原始图像；显示对原始图像分析得到的图像描述文本；响应于对图像描述文本的编辑指令，获取图像描述文本编辑之后的目标描述文本；显示基于目标描述文本所生成的目标图像
。
[0006]为了解决上述技术问题，本申请第二方面提供了一种图像生成装置，包括：图像获取模块，用于获取原始图像；文本显示模块，用于显示对原始图像分析得到的图像描述文本；文本编辑模块，用于响应于对图像描述文本的编辑指令，获取图像描述文本编辑之后的目标描述文本；图像显示模块，用于显示基于目标描述文本所生成的目标图像
。
[0007]为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现上述第一方面的图像生成方法
。
[0008]为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的图像生成方法
。
[0009]以上方案，对原始图像进行分析得到图像描述文本，并对图像描述文本进行显示，响应于对图像描述文本的编辑指令，获取图像描述文本编辑之后的目标描述文本，并显示基于目标描述文本所生成的目标图像
。
通过该方式，仅需用户根据实际需求对原始图像的图像描述文本进行编辑，便可基于编辑后的目标描述文本自动生成用户期望的目标图像，无需用户花费大量时间手动编辑原始图像，提高了生成目标图像的效率
。
[0010]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请
。
附图说明
[0011]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申
请的实施例，并与说明书一起用于说明本申请的技术方案
。
[0012]图1是本申请提供的图像生成方法一实施例的流程示意图；
[0013]图2是本申请提供的原始图像一示意图；
[0014]图3是本申请提供的目标图像一示意图；
[0015]图4是本申请提供的图像生成方法另一实施例的流程示意图；
[0016]图5是本申请提供的图像生成模型一实施例的结构示意图；
[0017]图6是本申请提供的文本生成网络的网络结构示意图；
[0018]图7是本申请提供的图像生成模型的训练方法一实施例的流程示意图；
[0019]图8是本申请提供的图像生成方法又一实施例的流程示意图；
[0020]图9是本申请提供的图像生成方法又一实施例的流程示意图；
[0021]图
10
是本申请提供的图像生成方法又一实施例的流程示意图；
[0022]图
11
是本申请提供的图像生成方法又一实施例的流程示意图；
[0023]图
12
是本申请提供的图像生成装置一实施例的流程示意图；
[0024]图
13
是本申请提供的电子设备一实施例的框架示意图；
[0025]图
14
是本申请提供的计算机可读存储介质一实施例的框架示意图
。
具体实施方式
[0026]下面结合说明书附图，对本申请实施例的方案进行详细说明
。
[0027]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构
、
接口
、
技术之类的具体细节，以便透彻理解本申请
。
[0028]需要说明的是，本文中术语“若干”表示至少一个，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
[0029]请参阅图1，图1是本申请提供的图像生成方法一实施例的流程示意图
。
该方法可以由终端设备执行，示例性地，终端设备可以是电脑
、
手机
、
平板或者其他具备数据处理和显示功能的设备，本实施例对此不作具体限定
。
需注意的是，若有实质上相同的结果，本专利技术的方法并不以图1所示的流程顺序为限
。
如图1所示，该方法包括如下步骤：
[0030]S11
：获取原始图像
。
[0031]步骤
S11
中，获取的原始图像的数量可以是一个或多个
。
[0032]在一实施方式中，终端设备的存储单元中预先存储有若干图像，终端设备可以从存储单元中获取图像并进行展示以供用户进行选择，并将用户选择的至少一个图像作为原始图像
。
[0033]在另一实施方式中，用户可通过其他设备向终端设备发送图像，终端设备可将接收到的至少一个图像作为原始图像
。
[0034]在又一实施方式中，终端设备可先获取用户选择的动态图像，然后将获取到的动态图像拆解为多个静态图像，将拆解得到的多个静态图像作为原始图像
。
示例性地，用户选择的动态图像可以是用户从终端设备展示的多个动态图像中确定的动态图像，或者，还可以是用户通过其他设备发送的动态图像
。
[0035]S12
：显示对原始图像分析得到的图像描述文本
。
[0036]步骤
S12
中，先对原始图像进行分析，得到图像描述文本，然后将原始图像的图像
描述文本显示在终端设备的交互界面上
。
需要说明的是，当原始图像的数量为多个时，分别对各个原始图像分析，得到各个原始图像的图像描述文本并显示
。
[0037]图像描述文本至少包括原始图像的简单描述文本
。
图像描述文本可以仅包括原始图像的简单描述文本，或者，图像描述文本可以仅包括原始图像的复杂描述文本，又或者，图像描述文本可以同时包括原始图像的简单描述文本和复杂描述文本
。
...

【技术保护点】

【技术特征摘要】
1.
一种图像生成方法，其特征在于，包括：获取原始图像；显示对所述原始图像分析得到的图像描述文本；响应于对所述图像描述文本的编辑指令，获取所述图像描述文本编辑之后的目标描述文本；显示基于所述目标描述文本所生成的目标图像
。2.
根据权利要求1所述的方法，其特征在于，所述图像描述文本至少包括所述原始图像的简单描述文本
。3.
根据权利要求2所述的方法，其特征在于，所述简单描述文本的获取步骤包括：获取所述原始图像的图像编码特征；基于所述图像编码特征进行模态转换，得到所述原始图像以文本推理表达的文本编码特征；将所述文本编码特征输入大语言模型，并获取所述大语言模型的输出文本作为所述简单描述文本
。4.
根据权利要求2所述的方法，其特征在于，在所述响应于对所述图像描述文本的编辑指令，获取所述图像描述文本编辑之后的目标描述文本之后，以及在所述显示基于所述目标描述文本所生成的目标图像之前，所述方法还包括：基于所述目标描述文本，生成所述原始图像的复杂描述文本，作为新的目标描述文本；所述显示基于所述目标描述文本所生成的目标图像，包括：显示基于所述新的目标描述文本所生成的目标图像
。5.
根据权利要求4所述的方法，其特征在于，所述复杂描述文本的获取步骤包括：基于注意力机制处理所述目标描述文本的第一编码特征，得到注意力文本特征；基于所述第一编码特征和所述注意力文本特征进行融合，得到第一融合特征；基于所述第一融合特征以及所述第一融合特征经特征提取所得到的提取特征进行融合，得到第二融合特征；基于所述第二融合特征进行解码，得到所述复杂描述文本
。6.
根据权利要求5所述的方法，其特征在于，所述基于注意力机制处理所述目标描述文本的第一编码特征，得到注意力文本特征，包括：获取所述第一编码特征由第一提取网络所提取的特征作为查询特征，并获取所述第一编码特征由第二提取网络所提取的特征作为键特征，以及选择所述第一编码特征作为值特征；基于所述查询特征
、
所述键特征和所述值特征进行处理，得到所述注意力文本特征
。7.
根据权利要求1所述的方法，其特征在于，在所述图像描述文本包括简单描述文本和复杂描述文本的情况下，所述目标图像的生成步骤包括：获取所述简单描述文本响应于所述编辑指令之后的第一目标文本，并获取所述复杂描述文本响应于所述编辑指令之后的第二目标文本；获取所述第一目标文本的第二编码特征，并获取所述第二目标文本的文本提取特征；基于所述第二编码特征和所述文本提取特征进行加权，得到文本加权特征；基于所述文本加权特征，生成得到所述目标图像
。
8.
根据权利要求1所述方法，其特征在于，所述目标图像基于图像生成模型得到，所述图像生成模型的训练步骤包括：获取样本图像；其中，所述样本图像标注有样本简单描述文本和样本复杂描述文本；基于所述样本图像的样本图像编码特征，生成所述样本图像的预测简单描述文本；基于所述预测简单描述文本生成所述样本图像的预测复杂描述文本；基于所述预测简单描述文本的样本文本编码特征和所述预测复杂描述文本的样本文本提取特征，生成预测图像；至少基于所述预测复杂描述文本与所述样本复杂描述文本之间的文本差异和所述样本文本编码特征与所述样本文本提取特征之间的第一分布差异，调整所述图像生成模型的网络参数
。9.
根据权利要求8所述的方法，其特征在于，所述基于所述预测简单描述文本生成所述样本图像的预测复杂描述文本，包括：基于所述样本文本编码特征，得到注意力机制的样本查询特征
、
样本键特征和样本值特征，并基于所述样本查询特征
、
所述样本键特征和所述样本值特征，得到样本注意力文本特征；基于...

【专利技术属性】
技术研发人员：刘聪，张海薇，何山，高建清，杨硕，殷保才，殷兵，郜静文，胡国平，魏思，王士进，刘权，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：