【技术实现步骤摘要】
本专利技术涉及了三维重建领域中的一种手部化身生成方法，具体涉及了一种基于特征嵌入和部分感知平滑策略的高保真手部化身生成方法。
技术介绍
1、手部化身在数字应用中扮演着关键角色，特别是在虚拟现实、数字娱乐和人机交互等领域，它们增强了用户的沉浸感并促进了虚拟环境中的自然交互。
2、尽管以往的研究集中于逼真的手部渲染，但很少关注手部几何形状的精细重建，而手部几何形状的精细度对于高质量的渲染是至关重要的。现有技术通常依赖于基于网格的表示，这些表示受到固定拓扑和有限分辨率的限制，难以准确表示细节。新兴的神经隐式表示技术在合成静态场景的新视图方面显示出强大的能力，一些研究已将这些方法扩展到人体等可运动物体的领域，以促进逼真渲染，然而这些神经隐式表示的技术需要大量的时间资源损耗才能实现逼真的渲染。在扩展现实和游戏领域，对于即时渲染的要求是非常看重的，这就要求技术能够在保持高渲染质量的同时实现快速响应。
3、总的来说，现有技术在高保真手部化身生成领域存在以下缺陷：
4、1、现有技术在恢复手部细节几何形状方面存在困难，这些细节在逼真渲中起着关键作用。
5、2、尽管一些方法能够实现实时渲染，但它们通常无法捕捉到手部网格的精细细节，导致渲染效果缺乏真实感。而某些高质量渲染的方法在训练过程中需要大量的时间，这限制了它们在实时应用中的可行性。
6、3、现有方法难以泛化到未见过的姿势和形状，这限制了它们的应用范围。
技术实现思路
1、为了解决
技术介绍
2、本专利技术采用的技术方案包括如下步骤：
3、一、一种基于特征嵌入和平滑策略的高保真手部化身生成方法
4、s1：获取多视角手部图像数据集，数据集中包含不同视角下的多个手部图像样本；
5、s2：根据一个手部图像样本构建初始手部网格模型以及生成三个特征嵌入模块对应的均值网格模型特征；
6、s3：基于初始手部网格模型和三个特征嵌入模块对应的均值网格模型特征，利用多视角手部图像数据集对三个特征嵌入模块和神经网络渲染器分别进行训练后，获得优化的三个特征嵌入模块和最终的神经网络渲染器以及更新的手部网格模型；
7、s4：对于实际手部图像序列，结合当前手部网格模型，根据一张手部图像对当前三个特征嵌入模块进行迭代训练后，获得优化的三个特征嵌入模块以及更新的手部网格模型；再利用最终的神经网络渲染器对更新的手部网格模型进行图像渲染后，获得该手部图像对应的高保真的2d手部渲染图像；
8、s5：重复s4，对实际手部图像序列中的其他手部图像依次进行图像渲染后，获得对应的高保真的2d手部渲染图像，从而获得手部渲染图像序列。
9、所述s2具体为：
10、s2.1：根据当前手部图像样本中的掩码后图像和姿势参数，构建初始手部网格模型，以及将初始手部网格模型的线性混合蒙皮权重作为第一特征嵌入模块的均值网格模型特征；
11、s2.2：结合球谐函数和当前视角下的相机参数，利用初始手部网格模型构建第二特征嵌入模块对应的均值网格模型特征和第三特征嵌入模块对应的均值网格模型特征。
12、所述s3具体为：
13、s3.1：根据当前手部图像样本、三个特征嵌入模块对应的均值网格模型特征，结合当前手部网格模型，对三个特征嵌入模块分别进行训练迭代后，获得三个训练完成的特征嵌入模块以及更新手部网格模型；
14、s3.2：根据当前手部网格模型以及第二特征嵌入模块和第三特征嵌入模块对应的最优潜空间特征向量，对当前神经网络渲染器进行训练迭代后，获得更新的神经网络渲染器；
15、s3.3：基于最新的特征嵌入模块、手部网格模型、神经网络渲染器，重复s3和s4，利用多视角手部图像数据集中的其他手部图像样本对三个特征嵌入模块、手部网格模型和神经网络渲染器进行训练后，获得最终三个特征嵌入模块、手部网格模型、神经网络渲染器。
16、所述s2.1具体为：
17、根据一个视角下的掩码后图像及其对应的姿势参数，利用mano模型构建原始网格模型，再通过细分方法提高原始网格模型的分辨率，生成初始手部网格模型，将初始手部网格模型的线性混合蒙皮权重作为第一特征嵌入模块的均值网格模型特征。
18、所述s2.2具体为：
19、初始化手部顶点偏移的特征向量以及顶点反照率的特征向量，再结合球谐函数和当前视角下的相机参数，对初始手部网格模型进行渲染后得到第一2d手部图像，根据第一2d手部图像和当前视角下的掩码后图像计算的第一损失值对手部顶点偏移的特征向量以及顶点反照率的特征向量进行训练迭代，直至训练结束，获得最优的手部顶点偏移的特征向量以及顶点反照率的特征向量，将最优的手部顶点偏移的特征向量作为第二特征嵌入模块的均值网格模型特征、最优的顶点反照率的特征向量作为第三特征嵌入模块的均值网格模型特征。
20、所述s3.1具体为：
21、s3.1.1：根据当前视角下的手部姿势、均值网格模型特征和当前潜空间特征向量，利用三个特征嵌入模块分别预测手部顶点偏移、顶点反照率和线性混合蒙皮权重，再根据预测获得手部顶点偏移、顶点反照率和线性混合蒙皮权重对当前手部网格模型进行优化，获得优化后的手部网格模型；
22、s3.1.2：渲染优化后的手部网格模型后，获得第二2d手部图像；
23、s3.1.3：根据第二2d手部图像和当前视角下的掩码后图像计算第二损失值，根据第二损失值对三个特征嵌入模块的潜空间特征向量进行调整并更新；
24、s3.1.4：重复s3.1.1-s3.1.3，对三个特征嵌入模块的潜空间特征向量训练迭代，直至训练结束，获得三个特征嵌入模块对应的最优潜空间特征向量以及最优的手部网格模型并更新。
25、所述s3.1中，每个特征嵌入模块均包括姿势解码器，将当前视角下的手部姿势和对应的潜空间特征向量q拼接后再输入到姿势解码器中，姿势解码器的输出与映射矩阵相乘后再与对应的均值网格模型特征相加后的结果作为当前特征嵌入模块的预测输出。
26、所述s3.2具体为：
27、s3.2.1：利用第二特征嵌入模块和第三特征嵌入模块对应的最优潜空间特征向量构建神经网络渲染器，神经网络渲染器的渲染过程如下：
28、c(πi)＝c(x,n,h,d)
29、h＝concat(qd，qρ，qrender)
30、其中，c(πi)是从第i个视点的相机参数πi合成的图像，c()为渲染函数，x、n分别是通过交点处的三角面片顶点插值得到的位置和法线本文档来自技高网...
【技术保护点】
1.一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述S2具体为：
3.根据权利要求1所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述S3具体为：
4.根据权利要求2所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述S2.1具体为：
5.根据权利要求2所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述S2.2具体为：
6.根据权利要求3所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述S3.1具体为：
7.根据权利要求3所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述S3.1中，每个特征嵌入模块均包括姿势解码器，将当前视角下的手部姿势和对应的潜空间特征向量Q拼接后再输入到姿势解码器中，姿势解码器的输出与映射矩阵相乘后再与对应的均值网格模型特征相加后的结果作为当前特征嵌
8.根据权利要求3所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述S3.2具体为：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述s2具体为：
3.根据权利要求1所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述s3具体为：
4.根据权利要求2所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述s2.1具体为：
5.根据权利要求2所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述s2.2具体为：
6.根据权利要求3所述的一种基于特征嵌入和平滑策略的高保真手部化身生成方法，其特征在于，所述s3.1具体为：
7.根据权利要求3所述的一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。