【技术实现步骤摘要】
本专利技术属于三维重建，涉及到人体姿态提取和重建，具体涉及到一种基于人体形状一致性的可驱动单视点多人重建方法。
技术介绍
1、三维数字人技术，作为现代科技与信息技术、计算机科学的交汇点，近年来已得到了迅猛发展。进入21世纪，随着人工智能技术的快速发展，借助深度学习和计算机视觉以及自然语言处理等领域的突破，三维数字人技术迎来了前所未有的发展机遇并且需求也呈现井喷式的增长。vr/ar应用、电影工业、游戏制作等领域作为对可驱动高质量三维数字人强依赖的龙头产业，对低成本、批量生成高质量三维数字人具有极高的需求。并且随着元宇宙等概念的进一步诞生，每个人都将有生成定制化的专属三维数字人需求。因此，如何从日常设备获取视频输入，并生成高质量可驱动人体已经成为一个重要的研究方向。
2、计算机图形学中存在多种三维物体表示方式，每种方式都有特定的使用场景和优缺点，包括但不限于点云、体素以及多边形网格等，其中多边形网格作为计算机cg行业最常用的三维表示方式，经过长时间迭代改进后能够精确地表示复杂的形状，并进行纹理映射、光照计算和碰撞检测等，但是难以使用深度学习梯度下降的方式进行优化。点云方式不适用于直接渲染，体素表示方式的表示效果直接受限于体素网格的分辨率大小。经研究发现，传统用于渲染烟雾、云等非实体物体的体渲染技术能以一种相对低成本的方式和深度学习结合进行训练。因此，基于神经隐式表示的体渲染技术成为了近期三维可驱动数字人研究的首选技术方案。
3、现有人体渲染方法普遍聚焦于如何提高单目标人体渲染质量、压缩渲染时间，对输入视点数目
技术实现思路
1、针对现有技术的不足，本专利技术提出了一种基于人体形状一致性的可驱动单视点多人重建方法。
2、本专利技术在体渲染的基础上提出了一种可驱动单视点多人重建框架。框架根据人体形状一致性，提出了通用人体形状特征和个体体态及纹理特征的学习过程，以及一个具有遮挡恢复的表面回归模块和基于有向距离的人体完整性损失，从而实现单目视频中多个可驱动三维数字人的同时获取。通用人体形状特征学习过程用于学习人体的共性体态和共性纹理特征，为后续个体表面非刚性形变的学习提供基础人体形状。个体体态和纹理特征学习过程用于学习视频中每个个体的个体体态和个体纹理特征，实现在共性体态和共性纹理特征上的细节修正。具有遮挡恢复的表面回归模块(surface regressor)依赖人体标准形态信息，推导得到三维空间点相对于人体表面的有向距离。同时，利用三维空间点的有向距离计算人体完整性损失，以约束人体内、外点的密度，缓解由于遮挡或者采样频率不足导致的人体形状和纹理欠约束问题。
3、一种基于人体形状一致性的可驱动单视点多人重建方法，具体步骤如下：
4、步骤s1：建立单视点多人视频数据集；
5、步骤s2：基于相机内参和外参矩阵生成采样射线和采样点；
6、步骤s3：基于线性混合蒙皮(linear blend skinning)算法和人体姿态将三维空间采样点由观察空间(observation space)变换到标准姿态空间(canonical space)；
7、步骤s4：采用通用特征体素模块和个体特征体素模块，对标准姿态空间中的三维空间采样点进行采样并插值和位置编码，得到融合特征向量；
8、步骤s5：将融合特征向量送入隐式表示解码模块，得到三维空间采样点的体密度和颜色信息，并基于体渲染公式得到待绘制视点下的像素点颜色；
9、步骤s6：将三维空间采样点送入表面回归模块，得到三维空间采样点距离人体表面的有向距离；
10、步骤s7：通过深度渲染模块，将不同个体的颜色信息混合到待绘制视点的输出图像中；
11、步骤s8：通过人体生成质量损失函数，实现对模型训练中生成质量、人体内外点的体密度、纹理信息等的约束。
12、本专利技术的有益效果如下：
13、本专利技术提供了一种基于人体形状一致性的可驱动单视点多人重建方法。
14、本专利技术通过将人体形状学习过程解耦为通用人体形状特征学习，以及个体体态和纹理特征学习。通过引入一个通用体素网格和多个个体体素网格，共同实现对某一空间采样点的特征表达，进而提出了一种可驱动的多人重建框架。
15、本专利技术提出了一种具有遮挡恢复的表面回归模块，通过引入人体标准形态信息以及k近邻算法，计算三维空间采样点相对于人体标准形态表面的有向距离，辅助完整性损失计算。
16、本专利技术提出了一种人体完整性损失函数，利用有向距离约束体内点密度趋于1，从而有效减少躯干空洞或肢体断离情况的出现。
本文档来自技高网...【技术保护点】
1.一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于步骤S1具体如下：
3.根据权利要求1所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤S2具体细节如下：
4.根据权利要求3所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤S3具体细节如下：
5.根据权利要求4所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤S4具体细节如下：
6.根据权利要求5所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤S5具体细节如下：
7.根据权利要求6所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤S6具体细节如下：
8.根据权利要求7所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤S7具体细节如下：
9.根据权利要求7所述的一种基于人体形状一致性的可驱
10.根据权利要求7所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤S9具体细节如下：
...【技术特征摘要】
1.一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于步骤s1具体如下：
3.根据权利要求1所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤s2具体细节如下：
4.根据权利要求3所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤s3具体细节如下：
5.根据权利要求4所述的一种基于人体形状一致性的可驱动单视点多人重建方法，其特征在于，步骤s4具体细节如下：
6.根据权利...
【专利技术属性】
技术研发人员：周文晖，郑正雄，王凯鑫，卢怡菲，胡泽昱，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。