【技术实现步骤摘要】
本专利技术涉及计算机图形学，具体为基于3d高斯的人体重建和实时动画渲染系统。
技术介绍
1、在数字人体建模领域，传统的三维模型虽广泛应用于虚拟现实、电影和动画制作，但这些模型的创建通常依赖繁琐的手动操作和动作捕捉技术，导致成本和劳动强度较高。参数化3d人体模型简化了设备和劳动成本，但在模拟复杂细节如服装和发型时，其固定的拓扑结构表现出明显局限。此外，近年来基于神经辐射场(nerf)的人体建模技术虽能使用深度学习精确捕捉细节，但这类方法对形变敏感且渲染效率低下，尤其是在高分辨率时。这也限制了其在实时动画中的应用。
2、3d高斯的直接性、灵活性和高效性以及高斯飞溅渲染技术的快速性，让3d高斯建模技术其成为人体建模的理想选择。然而，3d高斯建模技术应用于人体模型时，没有宽松服饰进行建模，人体姿态参数和lbs权重存在误差，缺乏专门针对人体模型的高斯优化策略。因此，专利技术基于3d高斯的人体重建和实时动画渲染系统。
技术实现思路
1、鉴于上述和/或现有基于3d高斯的人体重建和实时动画渲染系统中存在的问题，提出了本专利技术。
2、因此，本专利技术的目的是提供基于3d高斯的人体重建和实时动画渲染系统，能够解决上述提出现有的问题。
3、为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了如下技术方案：
4、基于3d高斯的人体重建和实时动画渲染系统，其包括一种方法，具体步骤如下：
5、s1，参数提取：利用深度学习方法从单目视频每一
6、s2，可变形高斯人体初始化：借助smpl提供的模板先验，同时根据不同的人体部位初始化高斯的各个参数，得到可变形高斯人体；
7、s3，设置可学习优化的参数：将人体形态参数和姿势参数，smpl中的线性混合蒙皮参数，可变形高斯人体的高斯参数设置为可学习优化的参数，添加可学习的混合蒙皮修正参数修正线性混合蒙皮参数，添加潜在关节的可学习线性混合蒙皮参数；
8、s4，可变形高斯人体变形：根据姿势参数，运用线性混合蒙皮技术以及潜在关节模块对所述可变形高斯人体进行变形，得到带有姿势的高斯人体；
9、s5，渲染：使用可微的3d高斯溅射渲染方法，渲染带有姿势的高斯人体的2d图像；
10、s6，模型训练：将s5得到的2d图像与真实图像作损失求梯度来优化参数，使用创新性的紧凑致密化算法、kl-sph再高斯化算法对s5可变形高斯人体中高斯的数量进行优化；
11、s7，实时人体动画：将新的自定义的姿势参数序列输入训练完的模型，实时输出人体新的姿势，实现动画化。
12、作为本专利技术所述的基于3d高斯的人体重建和实时动画渲染系统的一种优选方案，其中：所述s2的具体流程如下：
13、s21，高斯均值初始化：人体形态参数输入smpl模型，输出匹配视频中人体的网格顶点坐标，将每个顶点坐标作为高斯的均值；
14、s22，高斯其他参数初始化：使用从人体网格计算得到的法向量及两个随机正交向量作为高斯的初始旋转参数，在面部、手和脚细节密集区域设置较小的高斯缩放参数，高斯不透明度统一设为1，高斯的球面谐波系数设为零。
15、作为本专利技术所述的基于3d高斯的人体重建和实时动画渲染系统的一种优选方案，其中：所述s4的具体流程如下：
16、s41，基本姿势变换：姿势参数与线性混合蒙皮参数计算得到人体网格顶点的基本变换矩阵；
17、s42，模拟服饰行为的变换：将姿势参数和时间参数输入到由多层感知机实现潜在关节模块，得到潜在关节的姿势信息后再与额外引入的线性混合蒙皮参数计算得到模拟服饰行为的顶点变换矩阵；
18、s43，两个变换矩阵线性相加得到最终的顶点变换矩阵并作用在所述可变形高斯人体上得到所述带有姿势的高斯人体。
19、作为本专利技术所述的基于3d高斯的人体重建和实时动画渲染系统的一种优选方案，其中：所述s5的具体流程如下：
20、s51：根据透视方向和相机参数，将带有姿势的高斯人体中的高斯投射至像平面；
21、s52：计算所有高斯在像平面每个像素产生的颜色贡献值得到模型的2d图像。
22、作为本专利技术所述的基于3d高斯的人体重建和实时动画渲染系统的一种优选方案，其中：所述s6的具体流程如下：
23、s61：紧凑密集化算法计算高斯与其最近邻高斯的距离并在它们之间添加新的高斯来调整密度；
24、s62：kl-sph再高斯算法利用kl散度和球面谐波函数的差异性来选择需要分裂或克隆的高斯，避免冗余高斯的无效分裂和克隆，此外，使用损失函数优化调整可变形高斯人体模型中的参数。
25、作为本专利技术所述的基于3d高斯的人体重建和实时动画渲染系统的一种优选方案，其中：所述s7的具体流程如下：
26、s71：新的人体姿势参数和线性混合蒙皮参数计算基本姿势变换矩阵，新的人体姿势参数输入潜在关节模块输出的服饰行为变换矩阵，两个变换矩阵线性相加后作用于可变形高斯人体；
27、s72：根据透视方向和相机参数，渲染变形后的高斯人体模型的2d图像，其过程以120fps的实时渲染图像，达到实时渲染效果。
28、与现有技术相比：
29、本专利技术无需复杂的设备，只需拍摄到人体的全部位置，将数据训练约3分钟，能有效地从单目视频中重建出精确的人体。同时，本专利技术可以以120fps的速度输出人体的图像序列，实现逼真地人体动画化。本专利技术在动态人体建模及实时渲染领域的应用更加广泛，特别是在虚拟现实、游戏开发和动画制作等领域，提供了一种效率更高、更逼真的解决方案。
本文档来自技高网...【技术保护点】
1.基于3D高斯的人体重建和实时动画渲染系统，其特征在于，包括一种方法，具体步骤如下：
2.根据权利要求1所述的基于3D高斯的人体重建和实时动画渲染系统，其特征在于，所述S2的具体流程如下：
3.根据权利要求1所述的基于3D高斯的人体重建和实时动画渲染系统，其特征在于，所述S4的具体流程如下：
4.根据权利要求1所述的基于3D高斯的人体重建和实时动画渲染系统，其特征在于，所述S5的具体流程如下：
5.根据权利要求1所述的基于3D高斯的人体重建和实时动画渲染系统，其特征在于，所述S6的具体流程如下：
6.根据权利要求1所述的基于3D高斯的人体重建和实时动画渲染系统，其特征在于，所述S7的具体流程如下：
【技术特征摘要】
1.基于3d高斯的人体重建和实时动画渲染系统，其特征在于，包括一种方法，具体步骤如下：
2.根据权利要求1所述的基于3d高斯的人体重建和实时动画渲染系统，其特征在于，所述s2的具体流程如下：
3.根据权利要求1所述的基于3d高斯的人体重建和实时动画渲染系统，其特征在于，所述s4的具体流程如下：
4...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。