【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
技术实现思路
1、本专利技术涉及扩展现实系统和方法。在示例性实施例中，捕获二维手部图像。使用二维手部图像识别二维关键点。将二维关键点映射到三维关键点。使用三维关键点进行手部预测。还有其他实施例。
2、一个或多个计算机的系统可以被配置成通过在系统上安装软件、固件、硬件或它们的组合来执行特定的操作或动作，这些软件、固件、硬件或它们的组合在运行时使系统执行动作。一个或多个计算机程序可以被配置成通过包括指令来执行特定的操作或动作，上述指令在由数据处理装置执行时使该装置执行动作。一个一般性方面包括手部预测方法，该方法包括捕获包含至少第一手部的多个图像，该多个图像处于二维(2d)空间，该多个图像包括当前图像和先前图像。该方法还包括使用先前图像识别多个先前2d关键点。该方法还包括使用当前图像识别多个当前2d关键点。该方法还包括将多个先前2d关键点映射到多个先前三维(3d)关键点。该方法还包括将多个当前2d关键点映射到多个当前3d关键点。该方法还包括使用多个先前3d关键点和多个当前3d关键点生成3d空间中的多个3d预测关键点。该方法还包括将多个3d预测关键点映射为多个预测的2d关键点。该方法还包括使用多个预测的2d关键点来识别错误的手部检测。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个计算机程序均配置为执行方法的动作。
3、实施方式可以包括以下特征中的一个或多个。该方法可以包括将多个先前2d关键点投射到3d空间。上述多个图
4、一个一般性方面涉及扩展现实装置，该装置包括具有正面和背面的壳体。该装置还包括配置在正面的第一摄像头，该第一摄像头被配置为以预定义帧率捕获多个二维(2d)图像，该多个2d图像包括当前图像和先前图像。该装置还包括配置在壳体的背面的显示器。该装置还包括耦合到第一摄像头并配置为存储多个2d图像的存储器。该装置还包括耦合到存储器的处理器。在该装置中，处理器被配置为：使用至少当前图像和先前图像来识别与手部相关联的多个2d关键点，将多个2d关键点映射到多个三维(3d)关键点，使用至少多个3d关键点来提供手部预测。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个计算机程序均配置为执行方法的动作。
5、实施方式可以包括以下特征中的一个或多个。处理器可以包括神经处理单元，该神经处理单元被配置为使用第一摄像头捕获的第一图像来检测手部。该装置可以包括第二摄像头，第一摄像头位于壳体的左侧，第二摄像头位于壳体的右侧。处理器还被配置为追踪手部。处理器还被配置为：生成多个预测的3d关键点，将多个预测的3d关键点映射为多个预测的2d关键点。所描述技术的实施可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
6、一个一般性方面涉及手部追踪方法，该方法包括捕获第一图像。该方法还包括检测第一图像中的至少第一手部。该方法还包括捕获包含至少第一手部的多个图像，该多个图像处于二维(2d)空间，该多个图像包括当前图像和先前图像。该方法还包括使用该多个图像来识别多个2d关键点。该方法还包括将多个2d关键点映射到多个三维(3d)关键点。该方法还包括使用多个3d关键点生成3d空间中的多个3d预测关键点。该方法还包括将多个3d预测关键点映射为多个预测的2d关键点。该方法还包括使用多个3d预测关键点来追踪第一手部。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个计算机程序均配置为执行方法的动作。
7、实施方式可以包括以下特征中的一个或多个。该方法可以包括计算多个3d预测关键点的置信度值，以及使用至少置信度值来识别错误的手部检测。该方法可以包括识别第一图像和第二图像之间的变化。该方法可以包括：使用第一图像执行深度学习过程以用于手部检测。所描述技术的实施可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
8、要认识到的是，本专利技术实施例提供了优于传统技术的许多优点。特别地，手形预测技术可以实现更准确、更高效的手部追踪和边界框。另外，根据本专利技术实施例的手形预测技术可以与手势识别技术结合执行。
9、本专利技术实施例可以与现有的系统和方法结合实施。例如，根据本专利技术的手形校准技术可用于各种xr系统，包括配备有测距组件的xr设备。此外，根据本专利技术的各种技术可以通过软件或固件更新而应用到现有的xr系统中。还有其他益处。
10、本专利技术在已知技术的背景下实现了这些益处和其他益处。然而，通过参考说明书的后面部分和所附附图，可以进一步理解本专利技术的性质和优点。
本文档来自技高网...【技术保护点】
1.一种手部预测方法，所述方法包括：
2.根据权利要求1所述的方法，还包括：将所述多个先前2D关键点投射到3D空间。
3.根据权利要求2所述的方法，其中，所述多个图像还包含至少第二手部，所述多个3D预测关键点与所述第一手部和第二手部相关联。
4.根据权利要求1所述的方法，还包括：
5.根据权利要求4所述的方法，其中，用左上角位置和右下角位置定义所述边界框，所述边界框包括围绕所述第一手部的至少百分之十边缘区域。
6.根据权利要求1所述的方法，其中，所述多个3D预测关键点被分配有置信度值，所述方法还包括：使用所述置信度值检测非手部对象。
7.根据权利要求1所述的方法，还包括：使用所述多个预测的2D关键点来追踪所述第一手部。
8.根据权利要求1所述的方法，还包括：在检测到所述第一手部时启动手部追踪过程。
9.根据权利要求1所述的方法，还包括：计算所述多个先前3D关键点和所述多个当前3D关键点之间的坐标变化，每个3D关键点包括三个坐标。
10.根据权利要求1所述的方法，还包括：使用
11.一种扩展现实装置，包括：
12.根据权利要求11所述的装置，其中，所述处理器包括神经处理单元，所述神经处理单元被配置为使用所述第一摄像头捕获的第一图像来检测手部。
13.根据权利要求11所述的装置，还包括第二摄像头，所述第一摄像头位于所述壳体的左侧，所述第二摄像头位于所述壳体的右侧。
14.根据权利要求11所述的装置，其中，所述处理器还被配置为追踪所述手部。
15.根据权利要求11所述的装置，其中，所述处理器还被配置为：
16.一种手部追踪方法，所述方法包括：
17.根据权利要求16所述的方法，还包括：
18.根据权利要求16所述的方法，还包括：识别所述第一图像和第二图像之间的变化。
19.根据权利要求16所述的方法，还包括：使用所述第一图像执行深度学习过程以用于手部检测。
...【技术特征摘要】
【国外来华专利技术】
1.一种手部预测方法，所述方法包括：
2.根据权利要求1所述的方法，还包括：将所述多个先前2d关键点投射到3d空间。
3.根据权利要求2所述的方法，其中，所述多个图像还包含至少第二手部，所述多个3d预测关键点与所述第一手部和第二手部相关联。
4.根据权利要求1所述的方法，还包括：
5.根据权利要求4所述的方法，其中，用左上角位置和右下角位置定义所述边界框，所述边界框包括围绕所述第一手部的至少百分之十边缘区域。
6.根据权利要求1所述的方法，其中，所述多个3d预测关键点被分配有置信度值，所述方法还包括：使用所述置信度值检测非手部对象。
7.根据权利要求1所述的方法，还包括：使用所述多个预测的2d关键点来追踪所述第一手部。
8.根据权利要求1所述的方法，还包括：在检测到所述第一手部时启动手部追踪过程。
9.根据权利要求1所述的方法，还包括：计算所述多个先前3d关键点和所述多个当前3d关键点之间的坐标变化，每个3d关键点包括三...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。