线性可微的参数化服装模型制作方法及其参数的优化方法技术

本发明专利技术提供了一种线性可微的参数化服装模型制作方法，利用包含人物的视频序列，重建对象的粗略模型，并在此基础上，通过图像分割技术，分割出人体部分和衣服部分，分别对衣服和人体分开进行建模，进而得到有较高精度和较高真实感的双层模型，同时本发明专利技术提出一种基于上述方案的优化方法，和一种对衣服、裤子的参数化方案，可以实现依据三维数据和二维图像而实时动态优化衣服、裤子的几何参数；本发明专利技术的方案充分借助已有静态重建的深度学习方案所提供的鲁棒性，并在后期改进和优化中，完成参数化、语义化等工作，以完成动态重建。

【技术实现步骤摘要】
线性可微的参数化服装模型制作方法及其参数的优化方法
本专利技术涉及计算机视觉，三维重建，计算机图形学。
技术介绍
目前，在人体的识别、分割等领域，已有较为成熟的算法，例如目前性能最优的人体图片分割算法CIHP_PGN和LIP_JPPNet，可通过二维图片或视频等，将人体部分从背景中分割出来，同时又将人体分为头发、脸、衣服、手臂、裤子、脚等若干部分，对于大多数一般场景可以有较高的正确率，但对于少数具有挑战性的场景，算法会失败，造成低精度和低真实感，因此只能被一定程度上作为普适的应用。同时在人体静态三维重建方面，已经有不少鲁棒性较高的算法，例如PiFu，PAIR，前者通过训练深度网络,完成单张RBG图片作为输入，重建的三维模型作为输出。后者在前者的基础上进行改进，加入了对SMPL人体姿态和形状的估计，以使得算法更加适合针对人体的三维重建。本项目即是在上述的相关算法基本成熟的基础上所进行的研究成果。
技术实现思路
本专利技术的第一个目的在于提供一种有较高精度和较高真实感的线性可微的参数化服装模型制作方法；本专利技术的第二个目的在于提供一种对三维几何和对应二维几何参数进行优化的线性可微的参数化服装模型制作方法的参数的优化方法。为了实现上述目的，本专利技术所采取的技术方案如下：线性可微的参数化服装模型制作方法，包括以下几个步骤：S1.衣服的板片由11个参数完全确定，这些参数又完全确定了16个节点，满足对称性，确保关于竖直中轴对称，这16个节点又将整个板片分为8个子板片，即一共11个参数，完全确定衣服的几何尺寸、节点位置；S2.裤子的板片由7个参数完全确定，这些参数又完全确定了10个节点，满足对称性，确保关于竖直中轴对称，这10个节点又将整个板片分为4个子板片，即一共7个参数，完全确定裤子的几何尺寸、节点位置；S3.使用Delaunay三角剖分算法，在加密后的轮廓内用三角面片填充，得到最终的衣服板片；S4.每个面片顶点计算所得对应的(u,v)坐标和形函数值(N1,N2,N3,N4)。线性可微的参数化服装模型制作方法的参数的优化方法，包括以下几个步骤：S1.在得到合理的内层人体模型的基础上，设计损失函数，通过梯度下降优化服装的三维几何(所有顶点坐标)；S2.在优化服装三维几何的同时，设计损失函数，通过梯度下降优化服装二维几何参数；S3.优化过程中，快速检测服装和内层人体是否碰撞，并对碰撞部分特殊处理。进一步地，上述S3所述的碰撞检测，计算待处理点与内层人体的最小法向距离，小于给定阈值时，对其附加一个设定的梯度，方向为对应法向，并作用在最终梯度下降中。本专利技术的有益效果为：本专利技术利用包含人物的视频序列，重建对象的粗略模型，并在此基础上，通过图像分割技术，分割出人体部分和衣服部分，分别对衣服和人体分开进行建模，进而得到有较高精度和较高真实感的双层模型，从而实现本专利技术的第一个目的；同时本专利技术提出一种新的优化方法，和一种对衣服、裤子的参数化方案，充分借助已有静态重建的深度学习方案所提供的鲁棒性，并在后期改进和优化中，完成参数化、语义化等工作，以完成动态重建，实现依据三维数据和二维图像而实时动态优化衣服、裤子的几何参数，从而实现本专利技术的第二个目的。具体实施方式实施例一线性可微的参数化服装模型制作方法，包括以下几个步骤：S1.衣服的板片由11个参数完全确定，这些参数又完全确定了16个节点，满足对称性，确保关于竖直中轴对称，这16个节点又将整个板片分为8个子板片，即一共11个参数，完全确定衣服的几何尺寸、节点位置；S2.裤子的板片由7个参数完全确定，这些参数又完全确定了10个节点，满足对称性，确保关于竖直中轴对称，这10个节点又将整个板片分为4个子板片，即一共7个参数，完全确定裤子的几何尺寸、节点位置；S3.使用Delaunay三角剖分算法，在加密后的轮廓内用三角面片填充，得到最终的衣服板片；S4.每个面片顶点计算所得对应的(u,v)坐标和形函数值(N1,N2,N3,N4)。根据上述的线性可微的参数化服装模型制作方法的参数的优化方法，包括以下几个步骤：S1.在得到合理的内层人体模型的基础上，设计损失函数，通过梯度下降优化服装的三维几何(所有顶点坐标)；S2.在优化服装三维几何的同时，设计损失函数，通过梯度下降优化服装二维几何参数；S3.优化过程中，快速检测服装和内层人体是否碰撞，并对碰撞部分特殊处理。进一步地，上述S3所述的碰撞检测为：计算待处理点与内层人体的最小法向距离，小于给定阈值时，对其附加一个设定的梯度，方向为对应法向，并作用在最终梯度下降中。实施例二首先输入是同一个人的一段视频序列，一共P帧，作为输入图像，视频需要包含人的全身，可以是正面、侧面或背面，人物的动作可以是简单的站立姿势下的各种动作，但不包括复杂动作，例如翻跟头、倒地等。对每一帧，通过PAIR，通过神经网络输出一个对应的粗略模型，同时输出对应SMPL模型的参数。即总共P个模型M_i(i＝1,2,3,...,P)。P组参数(β,θ,r,t,s)_i(i＝1,2,3,...,P)，其中β,θ分别对应SMPL参数中的shape和pose参数，r,t分别对应模型的旋转和平移量，s对应放缩尺度。之后优化SMPL模型，对模型M_i(i＝1,2,3,...,P)进行拟合。首先以PAIR输出的SMPL参数为先验基础，优化(β,θ,r,t,s)_i(i＝1,2,3,...,P)，得到一个姿态和体型大致合适的SMPL模型，再对SMPL模型上的每个点定义偏移量b(6890×3)，即每一个顶点相对于原先位置的偏置，单独优化b，得到拟合后的SMPL模型，于是对所有P个模型，得到了拓扑一致的表达m_i(i＝1,2,3,...,P)，P个模型均为SMPL参数和偏移量b所表达。与此同时，对输入视频的每一帧，利用CIHP_PGN和LIP_JPPNet，分割出对应衣服/裤子，和人体的部分。结合之前得到的P个模型M_i(i＝1,2,3,...,P)和对应的SMPL表达m_i(i＝1,2,3,...,P)，先在对应的SMPL模型上进对应分割，通过图像对模型顶点的标记，由标记“投票”，统计最终顶点的分类，得到了SMPL表达的衣服部分mc_i(i＝1,2,3,...,P)和人体部分ms_i(i＝1,2,3,...,P)，而后通过寻找拟合SMPL模型和粗略模型最近点，直接将分类标签迁移的方式，得到模型表达的衣服部分Mc_i(i＝1,2,3,...,P)，和人体部分Ms_i(i＝1,2,3,...,P)。然后通过分割后的模型，再次针对性优化SMPL表达，用来描述模型的内层人体部分S_i(i＝1,2,3,...,P)。并用本专利技术提出的衣服、裤子参数化模型拟合对应衣服、裤子部分，同时处理碰撞、接触的问题，和优化衣服、裤子的对应参数，进而优化得到最终的衣服、裤子模型，将衣服、裤子部本文档来自技高网...

【技术保护点】
1.线性可微的参数化服装模型制作方法，其特征在于：包括以下几个步骤：/nS1.衣服的板片由11个参数完全确定，这些参数又完全确定了16个节点，满足对称性，确保关于竖直中轴对称，这16个节点又将整个板片分为8个子板片，即一共11个参数，完全确定衣服的几何尺寸、节点位置；/nS2.裤子的板片由7个参数完全确定，这些参数又完全确定了10个节点，满足对称性，确保关于竖直中轴对称，这10个节点又将整个板片分为4个子板片，即一共7个参数，完全确定裤子的几何尺寸、节点位置；/nS3.使用Delaunay三角剖分算法，在加密后的轮廓内用三角面片填充，得到最终的衣服板片；/nS4.每个面片顶点计算所得对应的(u,v)坐标和形函数值(N1,N2,N3,N4)。/n

【技术特征摘要】
1.线性可微的参数化服装模型制作方法，其特征在于：包括以下几个步骤：
S1.衣服的板片由11个参数完全确定，这些参数又完全确定了16个节点，满足对称性，确保关于竖直中轴对称，这16个节点又将整个板片分为8个子板片，即一共11个参数，完全确定衣服的几何尺寸、节点位置；
S2.裤子的板片由7个参数完全确定，这些参数又完全确定了10个节点，满足对称性，确保关于竖直中轴对称，这10个节点又将整个板片分为4个子板片，即一共7个参数，完全确定裤子的几何尺寸、节点位置；
S3.使用Delaunay三角剖分算法，在加密后的轮廓内用三角面片填充，得到最终的衣服板片；
S4.每个面片顶点计算所得对应的(u,v)坐标和形函数值(N1,N2,N3,N...

【专利技术属性】
技术研发人员：徐乐朗，刘烨斌，何书廉，方浩树，陆晓飞，徐阳，
申请(专利权)人：亿匀智行深圳科技有限公司，
类型：发明
国别省市：广东;44