虚拟服装合成方法技术

本申请提供了一种虚拟服装合成方法

【技术实现步骤摘要】
虚拟服装合成方法、装置、设备及存储介质


[0001]本申请涉及服装设计
，尤其涉及一种虚拟服装合成方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]在服装设计领域，利用人工智能根据各种模式的控制信号生成和改变服装图像，如利用跨模态服装合成虚拟服装等方式具有较大的应用前景，其有助于服装设计师更加灵活地生成服装并修改设计
。
[0003]但现有的对应跨模态服装合成的方案容易忽略服装图像与输入文本之间的结构对应关系，导致出现服装部件遗漏
、
属性混淆等模态语义不对齐的情况发生，如出现在输入文本中包括有两个侧袋
(
即倾斜开口的口袋
)
的描述，但在实际生成的服装图像却遗漏了两个口袋的部件遗漏情况；或者出现在生成的服装图像上生成了两个贴袋
(
即横向开口的口袋
)
的属性混淆情况，使得合成的服装图像不能够满足灵活合成的要求，且按照输入文本合成的服装图像也不能准确地对应输入文本
。

技术实现思路

[0004]本申请提供了一种虚拟服装合成方法
、
装置
、
设备及存储介质，解决了合成的服装图像与输入文本不对应的问题，本方案能够灵活且准确地根据输入文本生成对应的服装图像，有效地避免了服装部件遗漏
、
属性混淆的语义不对齐的情况发生
。
[0005]第一方面，本申请提供一种虚拟服装合成方法，其包括：
[0006]接收输入参数并开启处理周期，输入参数包括输入文本和输入图像；
[0007]对输入文本提取若干个属性短语，以确定待生成的服装图像的服装部件；
[0008]对输入图像划分为多个部分级图像，并对部分级图像与属性短语进行二部图匹配，以确定部分级图像与属性短语之间的相似度之和；
[0009]基于属性短语和输入图像，确定属性短语对应的交叉注意图，以确定交叉注意图对应的关联度；
[0010]根据相似度之和
、
关联度以及对应输入文本的训练噪声，确定在当前的处理周期内的待去除噪声，以消除输入图像中的待去除噪声并生成待处理图像；
[0011]将待处理图像作为新的输入图像并开启下一处理周期，以逐步消除待处理图像中的各处理周期确定的待去除噪声，直至生成服装图像
。
[0012]第二方面，本申请还提供了一种虚拟服装合成装置，其包括：
[0013]参数接收模块，配置为接收输入参数并开启处理周期，输入参数包括输入文本和输入图像；
[0014]衣服组别解析模块，配置为对输入文本提取若干个属性短语，以确定待生成的服装图像的服装部件；
[0015]语义一致性模块，配置为对输入图像划分为多个部分级图像，并对部分级图像与
属性短语进行二部图匹配，以确定部分级图像与属性短语之间的相似度之和；
[0016]交叉注意模块，配置为基于属性短语和输入图像，确定属性短语对应的交叉注意图，以确定交叉注意图对应的关联度；
[0017]噪声消除模块，配置为根据相似度之和
、
关联度以及对应输入文本的训练噪声，确定在当前的处理周期内的待去除噪声，以消除输入图像中的待去除噪声并生成待处理图像；
[0018]图像输出模块，配置为将待处理图像作为新的输入图像并开启下一处理周期，以逐步消除待处理图像中的各处理周期确定的待去除噪声，直至生成服装图像
。
[0019]第三方面，本申请还提供了一种电子设备，其包括：
[0020]一个或多个处理器；
[0021]存储装置，用于存储一个或多个程序；
[0022]当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第二方面提供的虚拟服装合成方法
。
[0023]第四方面，本申请还提供了一种存储有计算机可执行指令的存储介质，计算机可执行指令在由处理器执行时用于执行如上述第二方面提供的虚拟服装合成方法
。
[0024]本申请通过不断地根据训练文本对应的噪声
、
属性短语与部分级图像的匹配程度以及通过交叉注意图确定需关注和修改的像素点，得到每个处理周期中的待去除噪声，进而不断地修正输入图像，更好地生成与语义一致的图像
。
而且在输入文本变更后，对服装图像的修改是进行局部操作，并保持与操作无关的区域内容的一致性，使得服装图像能够与修改后的文本仍保持对齐，为用户提供了更加友好灵活的服装合成操作
。
附图说明
[0025]图1为本申请一实施例提供的虚拟服装合成方法的步骤流程图；
[0026]图2为本申请一实施例提供的扩散模型的示意图；
[0027]图3为本申请一实施例提供的替换交叉注意图的步骤流程图；
[0028]图4为本申请提供相关技术与本方案所合成的服装图像的对比示意图；
[0029]图5为本申请提供的相关技术与本方案进行服装修改的对比示意图；
[0030]图6为本申请一实施例提供的虚拟服装合成装置的结构示意图；
[0031]图7为本申请一实施例提供的电子设备的结构示意图
。
具体实施方式
[0032]下面结合附图和实施例对本申请实施例作进一步的详细说明
。
可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定
。
另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式
。
[0033]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、
“
第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个
。
此外，说明书以及权利要求中“和
/
或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系
。
在本申请的描述中，“多个”表示两个及以上，“若干”表示一个及以上
。
[0034]在服装设计领域中，设计师利用跨模态服装合成虚拟服装，但所生成的服装图像与输入文本不对齐，使得服装图像不能够满足用户的预期效果
。
为此，本申请提供了一种虚拟服装合成方法
、
装置
、
设备及存储介质，以根据输出文本生成对应的图像，使得输入文本和服装图像对齐，而且在输入文本修改后，也能够对应将修改的部分进行修订本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟服装合成方法，其特征在于，所述方法包括：接收输入参数并开启处理周期，所述输入参数包括输入文本和输入图像；对所述输入文本提取若干个属性短语，以确定待生成的服装图像的服装部件；对所述输入图像划分为多个部分级图像，并对所述部分级图像与所述属性短语进行二部图匹配，以确定所述部分级图像与所述属性短语之间的相似度之和；基于所述属性短语和所述输入图像，确定所述属性短语对应的交叉注意图，以确定所述交叉注意图对应的关联度；根据所述相似度之和
、
所述关联度以及对应所述输入文本的训练噪声，确定在当前的处理周期内的待去除噪声，以消除所述输入图像中的待去除噪声并生成待处理图像；将所述待处理图像作为新的输入图像并开启下一处理周期，以逐步消除待处理图像中的各处理周期确定的待去除噪声，直至生成所述服装图像
。2.
根据权利要求1所述的虚拟服装合成方法，其特征在于，以匈牙利匹配损失量作为所述部分级图像与所述属性短语的相似度之和
。3.
根据权利要求1所述的虚拟服装合成方法，其特征在于，以一致性损失量作为所述交叉注意图对应的关联度
。4.
根据权利要求3所述的虚拟服装合成方法，其特征在于，所述基于所述属性短语和所述输入图像，确定所述属性短语对应的交叉注意图，以确定所述交叉注意图对应的关联度包括：根据所述输入图像和预设的第一参数矩阵，确定对应图像的查询矩阵；根据所述属性短语和预设的第二参数矩阵，确定对应所述属性短语的键值矩阵；基于所述查询矩阵和所述键值矩阵，确定所述交叉注意图和所述一致性损失量
。5.
根据权利要求1所述的虚拟服装合成方法，其特征在于，所述方法还包括：在所述服装图像已生成的情况下，当所述输入文本变更时，应用变更后的输入文本对应的交叉注意图，以生成待处理图像
。6.
根据权利要求5所述的虚拟服装合成方法，其特征在于，所述在所述服装图像已生成的情况下，当所述输入文本变更时，应用变更后的输入文本对应的交叉注意图，以生...

【专利技术属性】
技术研发人员：季诚，林涵，王振兴，
申请(专利权)人：上海天图云睿智能科技有限公司，
类型：发明
国别省市：