【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种服饰编辑模型构建方法、编辑方法、装置、设备、介质和产品。
技术介绍
1、时尚编辑（fashion edit）是一项具有挑战性的任务，任务可以允许用户根据提示对服饰进行修改，被广泛应用于时装设计、电子商务等领域。
2、目前的人物服饰编辑模型仅支持少数类别（如上衣、裤子等）的服饰替换，用户体验感和满意度欠佳。
技术实现思路
1、本专利技术提供一种服饰编辑模型构建方法、编辑方法、装置、设备、介质和产品，用以解决现有技术中人物服饰编辑模型仅支持少数类别的服饰替换，用户体验感和满意度欠佳的缺陷。
2、本专利技术提供一种服饰编辑模型构建方法，包括：
3、确定初始模型、原始样本图像和引导提示，所述引导提示表征各类别服饰的服饰特征；
4、基于所述原始样本图像包含的服饰类别，对所述原始样本图像进行服饰特征去除，得到无服饰特征图；
5、基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，所述服饰编辑模型用于对待编辑图像中各类服饰进行编辑。
6、根据本专利技术提供的服饰编辑模型构建方法，所述基于所述原始样本图像包含的服饰类别，对所述原始样本图像进行服饰特征去除，得到无服饰特征图，包括：
7、对所述原始样本图像进行解析，得到人体关键点和密集姿态图，并获取所述原始样本图像对应的服饰解析图；
8、基于所述人体关键点、密集姿态图和服饰解析图，对所
9、基于所述服饰解析图，对所述原始样本图像中第二类别的服饰进行弱力特征去除，得到所述无服饰特征图。
10、根据本专利技术提供的服饰编辑模型构建方法，所述基于所述人体关键点、密集姿态图和服饰解析图，对所述原始样本图像中第一类别的服饰进行强力特征去除，得到所述无服饰特征图，包括：
11、基于所述服饰解析图，确定所述原始样本图像中第一类别的服饰的服饰图块；
12、基于所述人体关键点和所述密集姿态图，对所述服饰图块以及与所述服饰图块相关的人体部位图块进行掩码，得到所述无服饰特征图。
13、根据本专利技术提供的服饰编辑模型构建方法，所述引导提示包括图像或文本，所述基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，包括：
14、将所述引导提示输入至所述初始模型中与所述引导提示模态对应的编码器，得到引导特征，所述编码器基于文本图像样本对训练得到；
15、基于所述无服饰特征图和所述引导特征，对所述初始模型进行参数迭代，得到所述服饰编辑模型。
16、根据本专利技术提供的服饰编辑模型构建方法，所述初始模型包括第一阶段模型和第二阶段模型，所述基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，包括：
17、基于所述无服饰特征图和第一引导提示，通过第一阶段模型生成第一编辑图像，并基于所述原始样本图像的目标编辑图像与所述第一编辑图像之间的差异，对所述第一阶段模型进行参数迭代，得到第二阶段模型；
18、基于所述第一编辑图像和所述原始样本图像生成伪样本图像，基于所述伪样本图像、第二引导提示和服饰类型，通过所述第二阶段模型生成第二编辑图像，并基于所述原始样本图像与所述第二编辑图像之间的差异，对所述第二阶段模型进行参数迭代，得到所述服饰编辑模型。
19、根据本专利技术提供的服饰编辑模型构建方法，所述基于所述无服饰特征图和第一引导提示，通过第一阶段模型生成第一编辑图像，包括：
20、确定所述原始样本图像对应的密集姿态图和服饰解析图，并基于所述服饰解析图和所述无服饰特征图，生成掩码解析图；
21、将所述目标编辑图像、所述无服饰特征图、所述密集姿态图和所述掩码解析图，输入至所述第一阶段模型中的变分自编码器，分别得到潜在噪声图、潜在无服饰特征图、潜在密集姿态图和潜在掩码解析图；
22、将所述第一引导提示输入至所述第一阶段模型中的提示编码器，得到第一引导特征；
23、将所述潜在噪声图、潜在无服饰特征图、潜在密集姿态图和潜在掩码解析图，以及所述第一引导特征，依次输入至所述第一阶段模型中的去噪变换器和变分自解码器，得到所述变分自解码器输出的第一编辑图像。
24、根据本专利技术提供的服饰编辑模型构建方法，所述基于所述伪样本图像、第二引导提示和服饰类型，通过所述第二阶段模型生成第二编辑图像，包括：
25、将所述服饰类型输入至所述第二阶段模型中的嵌入层，得到服饰类型特征；
26、将所述第二引导提示输入至所述第二阶段模型中的提示编码器，得到第二引导特征；
27、将所述服饰类型特征和所述第二引导特征进行融合，得到初始融合特征；
28、将所述伪样本图像输入至所述第二阶段模型中的变分自编码器，得到自编码特征；
29、将所述自编码特征和所述初始融合特征依次输入至所述第二阶段模型中的去噪变换器和变分自解码器，得到所述变分自解码器输出的第二编辑图像。
30、根据本专利技术提供的服饰编辑模型构建方法，所述将所述自编码特征和所述初始融合特征依次输入至所述第二阶段模型中的去噪变换器和变分自解码器，得到所述变分自解码器输出的第二编辑图像，包括：
31、将所述自编码特征和所述初始融合特征输入至所述去噪变换器中的多头交叉注意力层，得到最终融合特征；
32、将所述最终融合特征输入至所述变分自解码器，得到所述变分自解码器输出的第二编辑图像。
33、本专利技术还提供一种服饰编辑方法，包括：
34、获取待编辑的人物图像，目标引导提示和目标服饰类型，所述目标引导提示和目标服饰类型用于指示目标图像的服饰特征；
35、将所述待编辑的人物图像，目标引导提示和目标服饰类型输入至已训练的服饰编辑模型，对所述人物图像进行服饰编辑，得到所述服饰编辑模型输出的目标图像；
36、所述服饰编辑模型基于所述的服饰编辑模型构建方法构建得到。
37、本专利技术还提供一种服饰编辑模型构建装置，包括：
38、确定单元，用于确定初始模型、原始样本图像和引导提示，所述引导提示表征各类别服饰的服饰特征；
39、特征去除单元，用于基于所述原始样本图像包含的服饰类别，对所述原始样本图像进行服饰特征去除，得到无服饰特征图；
40、参数迭代单元，用于基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，所述服饰编辑模型用于对待编辑图像中各类服饰进行编辑。
41、本专利技术还提供一种服饰编辑装置，包括：
42、获取单元，用于获取待编辑的人物图像，目标引导提示和目标服饰类型，所述目标引导提示和目标服饰类型用于指示目标图像的服饰特征；
<本文档来自技高网...【技术保护点】
1.一种服饰编辑模型构建方法，其特征在于，包括：
2.根据权利要求1所述的服饰编辑模型构建方法，其特征在于，所述基于所述原始样本图像包含的服饰类别，对所述原始样本图像进行服饰特征去除，得到无服饰特征图，包括：
3.根据权利要求2所述的服饰编辑模型构建方法，其特征在于，所述基于所述人体关键点、密集姿态图和服饰解析图，对所述原始样本图像中第一类别的服饰进行强力特征去除，得到所述无服饰特征图，包括：
4.根据权利要求1所述的服饰编辑模型构建方法，其特征在于，所述引导提示包括图像或文本，所述基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，包括：
5.根据权利要求1至4中任一项所述的服饰编辑模型构建方法，其特征在于，所述初始模型包括第一阶段模型和第二阶段模型，所述基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，包括：
6.根据权利要求5所述的服饰编辑模型构建方法，其特征在于，所述基于所述无服饰特征图和第一引导提示，通过第一阶段模型生成第一编辑图像，包括：<...
【技术特征摘要】
1.一种服饰编辑模型构建方法，其特征在于，包括：
2.根据权利要求1所述的服饰编辑模型构建方法，其特征在于，所述基于所述原始样本图像包含的服饰类别，对所述原始样本图像进行服饰特征去除，得到无服饰特征图，包括：
3.根据权利要求2所述的服饰编辑模型构建方法，其特征在于，所述基于所述人体关键点、密集姿态图和服饰解析图，对所述原始样本图像中第一类别的服饰进行强力特征去除，得到所述无服饰特征图，包括：
4.根据权利要求1所述的服饰编辑模型构建方法，其特征在于，所述引导提示包括图像或文本，所述基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，包括：
5.根据权利要求1至4中任一项所述的服饰编辑模型构建方法，其特征在于，所述初始模型包括第一阶段模型和第二阶段模型，所述基于所述无服饰特征图和所述引导提示，对所述初始模型进行参数迭代，得到所述服饰编辑模型，包括：
6.根据权利要求5所述的服饰编辑模型构建方法，其特征在于，所述基于所述无服饰特征图和第一引导提示，通过第一阶段模型生成第一编辑图像，包括：
7.根据权利要求5所述的服饰编辑模型构建方法，其特征在于，所述基于所述伪样...
【专利技术属性】
技术研发人员：吴凌翔，易东，王金桥，牛蕴方，
申请(专利权)人：武汉人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。