【技术实现步骤摘要】
本专利技术涉及人体重建领域的一种手部重建方法，具体涉及一种基于多尺度颜色信息与深度信息融合的双手重建方法。
技术介绍
1、从单一视角恢复人手的三维姿态和形状在众多应用中起着关键作用，如人机交互、混合现实、动作识别和仿真。近年来，在单目rgb图像、单目rgb-d图像、多视角图像和视频序列等多种输入的手部重建领域出现了大量的研究。但由于手指关节固有的复杂性、自我遮挡和运动模糊问题，如何有效地解决三维手部重建中的难题是一项持续的工作。
2、目前，用于手部重建的主流方法主要侧重于从单张rgb图像中直接估计双手。这些方法通常受限于背景杂乱，光线变化和运动模糊等问题。为了解决上述问题，传统方法将检测和重建分离开来，即先用现成的检测器从图像中提取手部区域，然后再将其输入重建模型。因此，这些方法只能预测根部对齐的三维手部网格，具有依赖根节点输出的局限性。
3、此外，也有部分方法利用rgb-d作为输入，使用深度图来预测稀疏的3d关键点，将深度信息作为辅助监督信息。但这些方法并不能有效地融合颜色信息和深度信息，使两者一起用于手部重建。这一问题可归因于手势的高度非线性性质以及手部之间的固有差异，这使得通过直接结合彩色图像和深度图来获得令人满意的重建结果非常困难。因此，设计一种专门针对手部重建任务的有效融合策略来将颜色信息和深度信息共同用于重建是十分必要的。
4、目前的现有技术之一，mueller等人在论文“real-time hand tracking underocclusion from an egocentr
5、目前的现有技术之二，kazakos等人在论文“on the fusion of rgb and depthinformation for hand pose estimation”的方法，是在特征层面上进行融合操作，但实验结果表明，直接拼接从浅层cnn获取的两个特征并不能提高性能。
6、目前的现有技术之三，lin等人在论文“multi-level fusion net for hand poseestimation in hand-object interaction”的方法，将深度图缩放到多个尺度，以聚合不同分辨率的特征，然后采用特征注意结构融合rgb特征。但该方法主要应用于裁剪后的单手图像，这些图像只能预测稀疏的3d关键点，而不能预测密集的网格。此外，该方法将深度图处理成二维图像，而忽略了其固有的三维特征。
技术实现思路
1、为了能有效地解决基于单一模态信息输入进行双手重建方法的局限性，本专利技术提出一种基于多尺度颜色信息与深度信息融合的双手重建方法，能够利用颜色信息和深度信息形成互补优势，从而准确地在相机坐标系下重建具有真实深度和比例的双手网格。
2、本专利技术采用的技术方案是：
3、s1：输入待重建双手的单目rgb-d图像；
4、s2：利用双流特征提取模型分别提取单目rgb-d图像的多尺度颜色特征、左右手对应的中心点特征以及多尺度深度特征；
5、s3：使用金字塔型深度融合网络融合多尺度颜色特征、左右手对应的中心点特征以及多尺度深度特征，获得左右手对应的全局融合特征；
6、s4：根据左右手对应的全局融合特征，采用基于gcn的解码器在相机坐标系中生成双手网格。
7、所述s2具体为：
8、所述双流特征提取模型包括颜色特征提取模块和深度特征提取模块；所述待重建双手的rgb图像作为颜色特征提取模块的输入，颜色特征提取模块中提取获得rgb图像的多尺度颜色特征，根据多尺度颜色特征，再分别回归左右手对应的中心以及掩码，获得左右手对应的中心点特征和掩码图像；根据待重建双手的深度图像和左右手对应的掩码图像进行点云的生成，获得初始左手点云和初始右手点云，再利用深度特征提取模块分别提取获得初始左手点云和初始右手点云对应的多尺度深度特征。
9、所述s2中，对于初始左手点云的生成，其包括以下步骤：
10、首先根据左手的掩码图像ml，获得待重建双手的深度图像中的左手区域，根据相机内参和左手区域内的深度信息生成3d点集，接着计算3d点集的平均深度，根据点集的平均深度滤除超过阈值范围的异常值，获得过滤后的点集，从过滤后的点集中选择n个点作为初始左手点云。
11、所述s3具体为：
12、所述金字塔型深度融合网络包括尺度特征融合模块、尺度特征拼接模块和全局特征融合模块；尺度特征融合模块设置的数量与颜色特征、深度特征的尺度数相同，不同尺度特征融合模块的输入为不同尺度的颜色特征，第一个尺度特征融合模块的输入还设置有与对应尺度的深度特征，相邻两个尺度特征融合模块之间通过尺度特征拼接模块相连，尺度特征拼接模块将前一个尺度特征融合模块的输出与后一个尺度特征融合模块对应尺度的深度特征进行拼接后再输入到后一个尺度特征融合模块中，最后一个尺度特征融合模块的输出作为全局特征融合模块的输入，左/右手对应的中心点特征也作为全局特征融合模块的输入，全局特征融合模块输出左/右手对应的全局融合特征。
13、所述尺度特征融合模块中，首先通过相机内参将当前尺度的左/右手点云投回2d的颜色特征图上，获得深度特征与颜色特征之间的映射关系；然后根据当前尺度的颜色特征中满足该映射关系的颜色特征，利用多层感知器模型学习尺度缩放参数和移动参数，获得第一尺度缩放参数和第一移动参数；再基于第一尺度缩放参数和第一移动参数，通过仿射变换将当前尺度的深度特征与当前尺度的颜色特征中满足该映射关系的颜色特征进行融合，获得当前尺度的融合特征。
14、所述尺度特征拼接模块中，对前一个尺度特征融合模块的输出进行采样，采样点的个数与后一个尺度特征融合模块的点云个数相同，获得特征样本集，再对特征样本集进行球查询分组后形成对应子区域，将各子区域内的点云分别送入pointnet中提取获得对应的局部特征，最后将所有局部特征与后一个尺度特征融合模块对应尺度的深度特征进行拼接后再输入到后一个尺度特征融合模块中。
15、所述全局特征融合模块中，首先将最后一个尺度特征融合模块的输出送入pointnet中提取获得全局特征；根据左/右手对应的中心点特征，利用多层感知器模型学习尺度缩放参数和移动参数，获得第二尺度缩放参数和第二移动参数；根据第二尺度缩放参数和第二移动参数对全局特征进行仿射变换后，获得左/右手对应的全局融合特征。
16、所述基于gcn的解码器中，其全连接神经网络组成多个回归头，多个回归头至少输出根节点坐标、根对齐的mano网格和/或gcn网格。
17、本专利技术的有益效果是：
18、本专利技术通过采取上述技术方案，本专利技术方法能够根据rgb-d图像实现多尺度的颜色信息和深度信息融合，在相机坐标系中生本文档来自技高网...
【技术保护点】
1.一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述S2具体为：
3.根据权利要求2所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述S2中，对于初始左手点云的生成，其包括以下步骤：
4.根据权利要求1所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述S3具体为：
5.根据权利要求4所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述尺度特征融合模块中，首先通过相机内参将当前尺度的左/右手点云投回2D的颜色特征图上，获得深度特征与颜色特征之间的映射关系；然后根据当前尺度的颜色特征中满足该映射关系的颜色特征，利用多层感知器模型学习尺度缩放参数和移动参数，获得第一尺度缩放参数和第一移动参数；再基于第一尺度缩放参数和第一移动参数，通过仿射变换将当前尺度的深度特征与当前尺度的颜色特征中满足该映射关系的颜色特征进行融合，获得当前尺度的融合特征。
...【技术特征摘要】
1.一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述s2具体为：
3.根据权利要求2所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述s2中，对于初始左手点云的生成，其包括以下步骤：
4.根据权利要求1所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述s3具体为：
5.根据权利要求4所述的一种基于多尺度颜色信息与深度信息融合的双手重建方法，其特征在于，所述尺度特征融合模块中，首先通过相机内参将当前尺度的左/右手点云投回2d的颜色特征图上，获得深度特征与颜色特征之间的映射关系；然后根据当前尺度的颜色特征中满足该映射关系的颜色特征，利用多层感知器模型学习尺度缩放参数和移动参数，获得第一尺度缩放参数和第一移动参数；再基于第一尺度缩放参数和第一移动参数，通过仿射变换将当前尺度的深度特征与当前尺度的颜色特征中满足该映射关系的颜色特征进行融合，获得当前尺度的融合特征。
6.根据权利要求4所述的一种基于多尺...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。