【技术实现步骤摘要】
本专利技术涉及深度学习和计算机视觉，特别是涉及一种基于自定义扩散模型的三维虚拟试穿方法和系统。
技术介绍
1、虚拟试穿旨在根据用户输入的数字衣服和数字人，输出该数字人穿上该数字衣服的视图。现有绝大多数虚拟试穿方法实现了二维层面的虚拟试穿。总体而言这些方法采用了衣服变形-试穿生成的两阶段框架，首先采取了tps或者基于流的网络完成衣服变形，然后采取诸如gan（生成对抗网络）或者扩散模型合成最终的生成结果。三维虚拟试穿方法将二维虚拟试穿拓展到了更高的维度，能够立体三维虚拟试穿结果，即生成立体的穿着相应数字衣物的数字人。传统三维虚拟试穿方法使用了三维扫描或者衣物物理建模的方式，构建立体试穿结果。基于深度学习的三维虚拟试穿方法利用了可微渲染器，使smpl（参数化人体模板）穿上衣服。尽管在三维虚拟试穿方面生成方面取得了显著进展，但存在输入数据要求繁多导致处理过程复杂、生成的三维模型过饱和或者含有过多杂质导致最终生成的视图质量不高。
2、现有技术公开一种虚拟试穿、试戴系统及电子设备，包括虚拟试穿试戴模块、虚拟场景演示模块、搭配模块；所述搭配模块用于匹配待试物与人体三维立体模型；所述虚拟试穿试戴模块用于展示所述人体三维立体模型与所述待试物的匹配情况；所述虚拟场景演示模块，提供若干现实虚拟场景，用于展示试穿/试戴后的虚拟人体模型与选定环境的融洽关系；虚拟试穿试戴模块、搭配模块和所述虚拟场景演示模块三者之间均数据连通，该系统在试穿之前需要输入整体参数集、头部参数集、上身参数集、下身参数集和脚部参数集；其中整体参数集包括身高和/或体重；头
技术实现思路
1、本专利技术的首要目的是克服现有技术存在的问题，提供一种基于自定义扩散模型的三维虚拟试穿方法，本专利技术能够简化试穿处理步骤和提高生成试穿视图的质量。
2、作为本专利技术的另一目的，也基于前述目的的方法而提供与之相适应的系统。
3、为了实现上述目的，本专利技术提供了一种基于自定义扩散模型的三维虚拟试穿方法，包括：
4、步骤s1：构建扩散模型，对所述扩散模型进行预训练，获得预训练扩散模型，将多概念的lora和densepose controlnet引入到所述预训练扩散模型，获得自定义扩散模型；
5、步骤s2：使用所述自定义扩散模型生成 rgb模板，根据所述 rgb模板获取掩膜模板和法线模板；
6、步骤s3：使用第一mlp网络参数化基于dmtet的几何表示，训练所述第一mlp网络并更新参数直至收敛，获得优化几何表示；
7、步骤s4：使用第二mlp网络参数化所述优化几何表示对应的纹理，训练所述第二mlp网络并更新参数直至收敛，获得优化纹理表示；
8、步骤s5：结合所述优化几何表示和所述优化纹理表示，获得试穿结果的人体，完成试穿。
9、进一步地，步骤s2具体包括：
10、步骤s2.1：使用所述自定义扩散模型在多个预定义的视点内生成rgb模板；
11、步骤s2.2：将所述rgb模板输入解析预测器和法线图预测器，获得所述掩膜模板和所述法线模板。
12、进一步地，步骤s3具体包括：
13、步骤s3.1：使用第一mlp网络参数化基于基于dmtet的几何表示，
14、其中，表示四面体网格，表示四面体网格的顶点；
15、步骤s3.2：训练所述第一mlp网络并更新参数直至收敛，训练的第一mlp网络用于预测每个顶点在四面体网格中的有符号距离函数值和变形偏移；
16、步骤s3.3：对所述几何表示进行可微渲染处理，获得与所述几何表示对应的法线图；
17、步骤s3.4：将所述法线图输入所述预训练扩散模型，计算所述法线图的分数蒸馏采样损失；
18、步骤s3.5：结合所述掩膜模板和所述法线模板优化所述几何表示；
19、步骤s3.6：重复步骤s3.2至步骤s3.5直到所述参数收敛，获得优化几何表示。
20、进一步地，步骤s3.2中训练的目标函数由下式确定：
21、
22、其中表示在表面周围随机采样的点集，s表示mlp网络的预测输出，表示预先计算的sdf值，表示带有多概念的lora和densepose controlnet的自定义扩散模型，表示在当前相机视角下从smpl网格渲染的姿态密度。
23、进一步地，步骤s3.4中分数蒸馏采样损失由下式确定：
24、
25、其中，表示扩散模型步数，表示权重，表示具有步噪声的的潜在编码，表示由clip提取的法线图提示的嵌入,为当前时刻噪声，的参数。
26、进一步地，步骤s3.5包括：根据所述掩膜模板和对应的渲染模板的均方误差以及法线模板和对应的渲染法线图的重建损失优化几何表示，所述重建损失包括mse损失和感知损失。
27、进一步地，所述均方误差由下式确定：
28、
29、其中，表示渲染掩膜，表示掩膜模板；
30、所述mse损失由下式确定：
31、
32、其中，表示渲染法线图，表示法线模板；
33、所述感知损失由下式确定：
34、
35、其中表示预训练vgg网络中的第个特征图。
36、进一步地，步骤s4具体包括：
37、步骤s4.1：使用第二mlp网络参数化所述优化几何表示所对应的纹理，并训
38、练所述第二mlp网络并更新参数；
39、步骤s4.2：对所述优化几何表示和所述纹理进行可微渲染处理，获得与所述优化几何表示和所述纹理对应的rgb图；
40、步骤s4.3：将所述rgb输入至所述自定义扩散模型，计算所述rgb图的分数蒸馏采样损失；
41、步骤s4.4：结合所述掩膜模板和所述rgb模板优化所述纹理；
42、步骤s4.5：重复步骤s4.1至步骤s4.4,直到所述参数收敛，获得优化纹理表示。
43、进一步地，步骤s4.4包括根据rgb模板和对应的渲染rgb图像之间的mse损失和感知损失优化所述纹理。
44、为了实现本专利技术的另一目的，本专利技术提供一种基于自定义扩散模型的三维虚拟试穿系统，包括：
45、构建模块：用于构建扩散模型，对所述扩散模型进行预训练，获得预训练扩散模型，将多概念的lora和densepose controlnet引入到所述预训练扩散模型，获得自定义扩散模型；
46、获取模块：用于使用所述自定义扩散模型生成 rgb模板，根据所述 rgb模板获取掩膜模板和法线模板；
本文档来自技高网...【技术保护点】
1.一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，包括：
2.根据权利要求1所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤S2具体包括：
3.根据权利要求2所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤S3具体包括：
4.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤S3.2中训练的目标函数由下式确定：
5.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤S3.4中分数蒸馏采样损失由下式确定：
6.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤S3.5包括：根据所述掩膜模板和对应的渲染模板的均方误差以及法线模板和对应的渲染法线图的重建损失优化几何表示，所述重建损失包括MSE损失和感知损失。
7.根据权利要求6所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，所述均方误差由下式确定：
8.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特
9.根据权利要求8所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤S4.4包括根据RGB模板和对应的渲染RGB图像之间的MSE损失和感知损失优化所述纹理。
10.一种基于自定义扩散模型的三维虚拟试穿系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，包括：
2.根据权利要求1所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤s2具体包括：
3.根据权利要求2所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤s3具体包括：
4.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤s3.2中训练的目标函数由下式确定：
5.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，步骤s3.4中分数蒸馏采样损失由下式确定：
6.根据权利要求3所述的一种基于自定义扩散模型的三维虚拟试穿方法，其特征在于，...
【专利技术属性】
技术研发人员：梁小丹，谢震宇，高雨飞，马泽华，
申请(专利权)人：中山大学·深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。