【技术实现步骤摘要】
本申请涉及数据处理领域，具体涉及一种基于ar眼镜的动作捕捉方法、装置及电子设备。
技术介绍
1、随着科技的进步，增强现实（ar）技术已被广泛应用于多个领域，特别是在健身和体育训练中。ar眼镜能实时渲染用户自身和环境，提供一种沉浸式的交互体验，这对于健身训练尤其重要。利用ar眼镜，用户可以在任何地点即时看到自己的动作表现和改进的建议，极大地提高了训练的效率和动力。
2、目前，传统的动作捕捉方法主要依赖于单一的外部摄像头来跟踪用户的动作。这些方法往往受限于环境光线影响，降低了动作捕捉的准确性。
3、因此，亟需一种基于ar眼镜的动作捕捉方法、装置及电子设备。
技术实现思路
1、本申请提供了一种基于ar眼镜的动作捕捉方法、装置及电子设备，通过结合多种传感器数据，更全面地捕捉用户的动态行为，减少单一数据源的误差，提高整体的动作捕捉精度。
2、在本申请的第一方面提供了一种基于ar眼镜的动作捕捉方法，该方法包括：获取用户的深度图像；根据所述深度图像，构建所述用户的三维点云模型；获取传感器的传感器数据，所述传感器包括惯性测量单元、光学传感器以及压力传感器，所述传感器数据包括惯性数据、图像数据以及压力数据，所述惯性数据对应于所述惯性测量单元，所述图像数据对应于所述光学传感器，所述压力数据对应于所述压力传感器；将所述惯性数据、所述图像数据以及所述压力数据进行空间匹配，得到用户动作信息；将所述用户动作信息融合至所述三维点云模型，得到用户动作模型；将所述用户动作模型发送
3、通过采用上述技术方案，通过获取用户的深度图像，构建用户的三维点云模型，准确地捕捉和建模用户的身体结构。结合惯性测量单元、光学传感器和压力传感器的多源传感器数据，获得全面的用户动作信息。将惯性数据、图像数据和压力数据进行空间匹配，实现对用户动作的精准感知和表征。再将用户动作信息融合至三维点云模型中，生成逼真的用户动作模型，真实再现用户的动作姿态。最后将用户动作模型发送至vr眼镜显示，实现了将真实世界中的用户动作实时映射到虚拟环境中，提供身临其境的交互体验，通过结合多种传感器数据，更全面地捕捉用户的动态行为，减少单一数据源的误差，提高整体的动作捕捉精度。
4、可选的，所述根据所述深度图像，构建所述用户的三维点云模型，具体包括：将所述深度图像转换为三维点云数据，得到初始三维点云；对所述初始三维点云进行背景移除，提取出包含用户身体区域的前景点云；采用点云分割算法对所述前景点云进行聚类，得到多个点云簇，所述点云簇代表所述用户的各个身体部位；将各个所述点云簇与预设人体模型进行匹配，得到各个所述点云簇对应的精细点云模型，所述精细点云模型为所述用户的各个身体部位的点云模型；对所述精细点云模型进行空间拼接，得到所述三维点云模型。
5、通过采用上述技术方案，通过将深度图像转换为三维点云数据，获得包含丰富空间信息的用户身体点云表示。提取前景点云，可以消除背景干扰，突出用户身体区域。对前景点云进行聚类，可以识别出用户身体的各个部位，实现对人体结构的精细划分。将各点云簇与预设人体模型匹配，得到对应身体的各个部位的精细点云模型，进一步提高人体建模的准确性和细节表现力。最后通过空间拼接生成完整的三维点云模型，为后续动作捕捉奠定高质量的人体模型基础。
6、可选的，所述用户动作信息包括所述用户的姿态数据和动作数据，所述将所述惯性数据、所述图像数据以及所述压力数据进行空间匹配，得到用户动作信息，具体包括：将所述惯性测量单元的惯性数据与所述光学传感器的图像数据进行时间同步，得到目标惯性数据和目标图像数据，所述目标惯性数据为所述惯性数据进行时间同步后的数据，所述目标图像数据为所述图像数据进行时间同步后的数据；将所述压力传感器的压力数据、所述目标惯性数据以及所述目标光学进行空间配准，得到所述用户的各个身体部位的压力分布；根据所述压力分布，确定所述用户的姿态数据和动作数据，得到所述用户动作信息。
7、通过采用上述技术方案，将惯性数据和图像数据进行时间同步，消除由于传感器采样频率和时间戳不一致导致的数据偏差，使多源数据在时间维度上对齐。对压力数据、同步后的惯性数据和图像数据进行空间配准，将它们统一到同一坐标系下，建立起传感器数据与用户身体部位之间的空间映射关系。根据压力分布信息，精准确定用户的姿态数据和动作数据，获得全面且细粒度的用户动作信息。
8、可选的，所述将所述用户动作信息融合至所述三维点云模型，得到用户动作模型，具体包括：根据所述用户动作信息，确定所述用户的身体各个部位的运动参数；将所述运动参数应用于所述三维点云模型中对应的身体部位，得到所述用户动作模型。
9、通过采用上述技术方案，将运动参数应用于对应的三维点云模型身体部位，生成逼真的用户动作模型。该方法将用户动作信息与三维点云模型进行深度融合，实现了动作数据对人体模型的精细控制。通过将高层语义的动作信息映射到低层几何形变，使静态人体的三维点云模型"活"起来，展现出连贯、自然的动态效果。同时，融合后的用户动作模型继承了三维点云模型的真实性和准确性，视觉效果更加逼真，为身临其境的虚拟互动提供了保障。
10、可选的，所述根据所述用户动作信息，确定所述用户的身体各个部位的运动参数，具体包括：根据所述姿态数据，确定所述用户的身体各个部位的旋转矩阵和平移向量；根据所述动作数据，确定所述用户的身体各个部位的关节角度变化量和肌肉形变量；将所述旋转矩阵、所述平移向量、所述关节角度变化量以及所述肌肉形变量作为所述运动参数。
11、通过采用上述技术方案，通过结合旋转矩阵和平移向量，能够准确地表现用户身体各个部位的空间位置和方向；通过计算关节角度变化量和肌肉形变量，能模拟出更加细致和真实的身体动态。
12、可选的，所述将所述运动参数应用于所述三维点云模型中对应的身体部位，得到所述用户动作模型，具体包括：根据所述旋转矩阵和所述平移向量，对所述三维点云模型中的各个身体部位进行旋转变换和平移变换，得到变换三维点云模型；根据所述关节角度变化量对所述变换三维点云模型中的关节部位进行调整，并根据所述肌肉形变量对所述变换三维点云模型中的肌肉区域进行形变处理，得到所述用户动作模型。
13、通过采用上述技术方案，根据旋转矩阵和平移向量对三维点云模型进行几何变换，精确控制人体各部位的刚体运动，实现人体模型的整体姿态调整。利用关节角度变化量对变换三维点云模型进行关节调整，模拟人体关节的旋转运动，使动作更加自然。根据肌肉形变量对变换三维点云模型的软组织区域进行形变处理，模拟肌肉收缩舒张引起的皮肤和衣物变形，增强人物形象的真实感。通过将运动参数分层应用于三维点云模型，实现了对三维点云模型的运动控制和形变模拟，生成高度逼真的用户动作模型。该方法充分利用三维点云模型的精细几何表示，同时结合运动学和软体动力学的仿真技术，使动作模型在运动的连贯性、真实性和细节表现上都达到了较高的水平，为身临其境的虚拟互动提供本文档来自技高网...
【技术保护点】
1.一种基于AR眼镜的动作捕捉方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像，构建所述用户的三维点云模型，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述用户动作信息包括所述用户的姿态数据和动作数据，所述将所述惯性数据、所述图像数据以及所述压力数据进行空间匹配，得到用户动作信息，具体包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述用户动作信息融合至所述三维点云模型，得到用户动作模型，具体包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述用户动作信息，确定所述用户的身体各个部位的运动参数，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述运动参数应用于所述三维点云模型中对应的身体部位，得到所述用户动作模型，具体包括：
7.根据权利要求1所述的方法，其特征在于，所述将所述用户动作模型发送至VR眼镜的显示界面进行显示之后，所述方法还包括：
8.一种基于AR眼镜的动作捕捉装置，其特征在于，所述装置包括获取模块
9.一种电子设备，其特征在于，包括处理器(301)、存储器(305)、用户接口(303)及网络接口(304)，所述存储器(305)用于存储指令，所述用户接口(303)和网络接口(304)用于给其他设备通信，所述处理器(301)用于执行所述存储器(305)中存储的指令，以使所述电子设备(300)执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-7任意一项所述的方法。
...【技术特征摘要】
1.一种基于ar眼镜的动作捕捉方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像，构建所述用户的三维点云模型，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述用户动作信息包括所述用户的姿态数据和动作数据，所述将所述惯性数据、所述图像数据以及所述压力数据进行空间匹配，得到用户动作信息，具体包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述用户动作信息融合至所述三维点云模型，得到用户动作模型，具体包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述用户动作信息，确定所述用户的身体各个部位的运动参数，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述运动参数应用于所述三维点云模型中对应的身体部位，得到所述用户动作模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。