【技术实现步骤摘要】
本公开涉及模型增强领域，特别涉及一种基于生成网络的虚拟模特真实感增强方法及其系统。
技术介绍
1、虚拟模特是三维模型的一种具体应用，其是指使用计算机技术生成的模特，可以在数字环境中进行换装和表演。这种技术可以用于服装设计和销售，也可以用于娱乐和艺术表演。虚拟模特通常是通过三维建模和动画技术创建的，可以使用各种软件工具进行制作和编辑。和真人模特相比，虚拟模特不受时间和地点限制，可以随时进行换装和表演，同时还可以进行更精确的数据分析和测试。
2、数字服装是一种使用数字技术来创建、设计和展示的服装，可用于虚拟试衣、在线购物、时尚设计、游戏和动画等。数字服装通过计算机技术进行设计、模拟和展示，可以避免传统服装制作过程中需要考虑的物理性质和制造工艺等问题，同时也方便进行修改和定制，为用户提供更加便捷、个性化、低成本的服装购买和定制体验，同时也可以为服装设计师提供更加灵活、高效的创作和展示方式。数字服装的创建通常需要使用3d建模软件、图形处理软件、虚拟现实技术等工具。
3、随着元宇宙和虚拟时尚的高速发展，数字服装和虚拟模特已经成为了时尚产业的重要趋势。采用数字化建模和设计技术，可以将服装设计师的创意转化为数字模型，并在虚拟模特上实现快速的效果查看与展示。越来越多的品牌和设计师开始采用数字技术进行服装设计和制造，同时，数字服装也带来了新的商业机会和商业模式，如个性化定制、数字化营销等.
4、逼真的数字化服装和模特建模，基于渲染技术虽然能够比较真实的模拟现实世界，但与真人模特相比仍然存在较大差距，尤其是虚拟模
技术实现思路
1、有鉴于此，本公开提出了一种基于生成网络的虚拟模特真实感增强方法及其系统，具体方案如下：
2、第一部分，本公开提出了一种基于生成网络的虚拟模特真实感增强方法，包括如下步骤：
3、获取关于穿着数字服装的虚拟模特的渲染图；
4、判断所述渲染图中关于所述数字服装的解析信息是否已知，所述解析信息包括只涉及数字服装的服装区域和只涉及人体结构的模特区域；
5、若未知，则基于预设算法提取出服装区域和模特区域；
6、将所述解析信息由图像像素空间转换到隐空间后输入到生成网络中；
7、在包括模特信息在内的生成控制条件的控制下，使所述生成网络基于所述模特信息在所述模特区域生成一个真实感更强的模特形象，所述模特形象维持所述虚拟模特的形态并且穿着所述数字服装；
8、将所述模特形象由隐空间转换到图像像素空间后，得到穿着所述数字服装的模特生成图。
9、在一个具体实施例中，所述生成控制条件中还包括服装信息，所述服装信息包括数字服装的边缘、轮廓、法线及色彩；
10、通过所述服装信息使所述生成网络强化对数字服装的局部细节和全局信息的理解和认知，进一步确保模特形象不超出所述模特区域。
11、在一个具体实施例中，所述模特信息包括姿态、年龄、性别、肤色、脸型、五官以及发型。
12、在一个具体实施例中，所述生成网络包括生成对抗网络和扩散模型。
13、在一个具体实施例中，通过图像编码器进行编码以将所述解析信息由图像像素空间转换到隐空间；
14、通过与所述图像编码器匹配的图像解码器进行解码以将所述模特形象由隐空间转换到图像像素空间。
15、在一个具体实施例中，基于图像分割技术分割服装区域，基于人体解析技术提取虚拟模特区域，并基于图像抠图技术对所述模特区域进行适应不同场景的不同粒度的处理。
16、第二部分，本公开提出了一种基于生成网络的虚拟模特真实感增强系统，包括如下模块：
17、输入单元，用于获取关于穿着数字服装的虚拟模特的渲染图；
18、解析信息获取单元，用于判断所述渲染图中关于所述数字服装的解析信息是否已知，所述解析信息包括只涉及数字服装的服装区域和只涉及人体结构的模特区域；
19、若未知，则基于预设算法提取出服装区域和模特区域；
20、第一转换单元，用于将所述解析信息由图像像素空间转换到隐空间后输入到生成网络中；
21、生成单元，用于在包括模特信息在内的生成控制条件的控制下，使所述生成网络基于所述模特信息在所述模特区域生成一个真实感更强的模特形象，所述模特形象维持所述虚拟模特的形态并且穿着所述数字服装；
22、第二转换单元，用于将所述模特形象由隐空间转换到图像像素空间后，得到穿着所述数字服装的模特生成图。
23、在一个具体实施例中，所述生成控制条件中还包括服装信息，所述服装信息包括数字服装的边缘、轮廓、法线及色彩；
24、通过所述服装信息使所述生成网络强化对数字服装的局部细节和全局信息的理解和认知，进一步确保模特形象不超出所述模特区域。
25、在一个具体实施例中，所述模特信息包括姿态、年龄、性别、肤色、脸型、五官以及发型；
26、和或，所述生成网络包括生成对抗网络和扩散模型；
27、和/或，基于图像分割技术分割服装区域，基于人体解析技术提取虚拟模特区域，并基于图像抠图技术对所述模特区域进行适应不同场景的不同粒度的处理。
28、在一个具体实施例中，通过图像编码器进行编码以将所述解析信息由图像像素空间转换到隐空间；
29、通过与所述图像编码器匹配的图像解码器进行解码以将所述模特形象由隐空间转换到图像像素空间。
30、第三部分，本公开提出了一种基于生成网络的虚拟模特真实感增强方法，包括如下步骤：
31、接收穿着数字服装的虚拟模特的渲染图；
32、提取所述渲染图的解析信息，所述解析信息包括服装区域和模特区域；
33、将所述解析信息、模特信息输入生成网络，生成穿着有所述数字服装的且与模特信息对应的模特形象。
34、在一些具体实施例中，所述服装区域为数字服装所在的区域，所述模特区域为虚拟模特裸露于数字服装之外的人体结构，所述模特区域不包括被数字服装所覆盖的人体结构。
35、在一些具体实施例中，获取渲染图的解析信息之前，还包括：
36、判断所述渲染图中是否包含解析信息；
37、若不包含所述解析信息，则基于预设算法提取服装区域和模特区域,对所述服装区域和所述模特区域的边缘进行精确表达。
38、在一些具体实施例中，基于图像分割算法提取所述服装区域，基于人体解析算法提取所述模特区域，并基于图像抠图算法处理所述服装区域和所述模特区域的边缘，以实现对所述服装区域和所述模特区域的边缘进行精确表达。
39、在一些具体实施例中，获取所述模特信息的方式包括：
40、生成参考模特模型，将该模型的本文档来自技高网...
【技术保护点】
1.一种基于生成网络的虚拟模特真实感增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，所述生成控制条件中还包括服装信息，所述服装信息包括数字服装的边缘、轮廓、法线及色彩；
3.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，所述模特信息包括姿态、年龄、性别、肤色、脸型、五官以及发型。
4.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，所述生成网络包括生成对抗网络和扩散模型。
5.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，通过图像编码器进行编码以将所述解析信息由图像像素空间转换到隐空间；
6.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，基于图像分割技术分割服装区域，基于人体解析技术提取虚拟模特区域，并基于图像抠图技术对所述模特区域进行适应不同场景的不同粒度的处理。
7.一种基于生成网络的虚拟模特真实感增强系统，其特征在于，包括如下模块：
8.根据权利要求7所述的虚拟模特真实感增强系统，其特征在于，所述生成控制
9.根据权利要求7所述的虚拟模特真实感增强系统，其特征在于，所述模特信息包括姿态、年龄、性别、肤色、脸型、五官以及发型；
10.根据权利要求7所述的虚拟模特真实感增强系统，其特征在于，通过图像编码器进行编码以将所述解析信息由图像像素空间转换到隐空间；
11.一种基于生成网络的虚拟模特真实感增强方法，其特征在于，包括如下步骤：
12.根据权利要求11所述的虚拟模特真实感增强方法，其特征在于，所述服装区域为数字服装所在的区域，所述模特区域为虚拟模特裸露于数字服装之外的人体结构，所述模特区域不包括被数字服装所覆盖的人体结构。
13.根据权利要求11所述的虚拟模特真实感增强方法，其特征在于，获取渲染图的解析信息之前，还包括：
14.根据权利要求13所述的虚拟模特真实感增强方法，其特征在于，基于图像分割算法提取所述服装区域，基于人体解析算法提取所述模特区域，并基于图像抠图算法处理所述服装区域和所述模特区域的边缘，以实现对所述服装区域和所述模特区域的边缘进行精确表达。
15.根据权利要求11所述的虚拟模特真实感增强方法，其特征在于，获取所述模特信息的方式包括：
16.根据权利要求11所述的虚拟模特真实感增强方法，其特征在于，所述模特区域包括区域轮廓信息和人体部位信息。
17.根据权利要求11所述的虚拟模特真实感增强方法，其特征在于，将所述解析信息、预设模特信息输入生成网络时，还包括：将服装信息输入生成网络，所述服装信息包括服装的边缘、轮廓、法线、色彩、纹理中的一项或多项特征。
18.一种电子设备，其特征在于，包括：
19.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，该指令被处理器执行时实现如权利要求11至17中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于生成网络的虚拟模特真实感增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，所述生成控制条件中还包括服装信息，所述服装信息包括数字服装的边缘、轮廓、法线及色彩；
3.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，所述模特信息包括姿态、年龄、性别、肤色、脸型、五官以及发型。
4.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，所述生成网络包括生成对抗网络和扩散模型。
5.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，通过图像编码器进行编码以将所述解析信息由图像像素空间转换到隐空间；
6.根据权利要求1所述的虚拟模特真实感增强方法，其特征在于，基于图像分割技术分割服装区域，基于人体解析技术提取虚拟模特区域，并基于图像抠图技术对所述模特区域进行适应不同场景的不同粒度的处理。
7.一种基于生成网络的虚拟模特真实感增强系统，其特征在于，包括如下模块：
8.根据权利要求7所述的虚拟模特真实感增强系统，其特征在于，所述生成控制条件中还包括服装信息，所述服装信息包括数字服装的边缘、轮廓、法线及色彩；
9.根据权利要求7所述的虚拟模特真实感增强系统，其特征在于，所述模特信息包括姿态、年龄、性别、肤色、脸型、五官以及发型；
10.根据权利要求7所述的虚拟模特真实感增强系统，其特征在于，通过图像编码器进行编码以将所述解析信息由图像像素空间转...
【专利技术属性】
技术研发人员：刘郴，赫高峰，王华民，
申请(专利权)人：浙江凌迪数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。