用于可穿戴系统的手部手势输入技术方案

公开了用于允许用户的手部与虚拟对象交互的技术。可以从图像捕获装置接收至少一个手部的图像。可以检测与至少一个手部相关联的多个关键点。响应于确定手部正在做出或正在转变成做出特定手势，可以选择多个关键点的子集。可以基于特定手势将交互点配准到相对于多个关键点的子集的特定位置。可以将邻近点配准到沿着用户的身体的位置。可以投射从邻近点通过交互点的光线。可以基于光线来形成用于与虚拟对象交互的多DOF控制器。对象交互的多DOF控制器。对象交互的多DOF控制器。

【技术实现步骤摘要】
【国外来华专利技术】用于可穿戴系统的手部手势输入
[0001]相关申请的交叉引用
[0002]本申请要求2020年2月26日提交的名称为“HAND GESTURE INPUT FOR WEARABLE SYSTEM(用于可穿戴系统的手部手势输入)”的美国临时专利申请No.62/981,934和2020年5月19日提交的名称为“HAND GESTURE INPUT FOR WEARABLE SYSTEM(用于可穿戴系统的手部手势输入)”的美国临时专利申请No.63/027,272的优先权的权益，出于全部目的在此通过引用将其内容整体地并入本文。

技术介绍

[0003]现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。
[0004]尽管在这些显示技术上取得了进步，但是在本领域中需要与增强现实系统，特别是显示系统，有关的改善的方法、系统和装置。

技术实现思路

[0005]本公开总体上涉及用于改进光学系统的性能和用户体验的技术。更具体地，本公开的实施例提供了用于操作增强现实(AR)、虚拟现实(VR)或混合现实(MR)可穿戴系统的方法，其中用户手部手势用于在虚拟环境内交互。
[0006]本专利技术的各种实施例的概述在下方被提供为示例列表。如以下所使用的，对一系列示例的任何引用将被理解为对分离的那些示例中的每一个的引用(例如，“示例1
‑
4”将被理解为“示例1、2、3或4”)。
[0007]示例1是一种与虚拟对象交互的方法，所述方法包括：接收用户的手部的图像；分析所述图像以检测与所述用户的手部相关联的多个关键点；基于分析所述图像，确定所述用户的手部是否正在做出或正在转变成做出多个手势中的手势；以及响应于确定所述用户的手部正在做出或正在转变成做出所述手势：确定相对于所述多个关键点的特定位置，其中基于所述多个关键点和所述手势来确定所述特定位置；将交互点配准到所述特定位置；以及基于所述交互点形成用于与所述虚拟对象交互的多DOF控制器。
[0008]示例2是一种被配置为执行根据示例1所述的方法的系统。
[0009]示例3是一种包括指令的非暂时性机器可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据示例1所述的方法。
[0010]示例4是一种与虚拟对象交互的方法，所述方法包括：从可穿戴系统的一个或多个图像捕获装置接收用户的手部的图像；分析所述图像以检测与所述用户的手部相关联的多个关键点；基于分析所述图像，确定所述用户的手部是否正在做出或正在转变成做出多个手势中的特定手势；响应于确定所述用户的手部正在做出或正在转变成做出所述特定手
势：选择与所述特定手势对应的所述多个关键点的子集；确定相对于所述多个关键点的所述子集的特定位置，其中基于所述多个关键点的所述子集和所述特定手势来确定所述特定位置；将交互点配准到所述特定位置；将邻近点配准到沿着所述用户的身体的位置；投射从所述邻近点通过所述交互点的光线；以及基于所述光线形成用于与所述虚拟对象交互的多DOF控制器。
[0011]示例5是根据示例4所述的方法，其中，所述多个手势包括抓握手势、指向手势或捏合手势中的至少一者。
[0012]示例6是根据示例4所述的方法，其中，从所述多个关键点的多个子集中选择所述多个关键点的所述子集，其中，所述多个关键点的所述多个子集中的每一个子集对应于所述多个手势中的不同手势。
[0013]示例7是根据示例4所述的方法，还包括：显示所述多DOF控制器的图形表示。
[0014]示例8是根据示例4所述的方法，其中，所述邻近点被配准到的所述位置位于所述用户的肩部的估计位置、所述用户的肘部的估计位置、或所述用户的肩部的所述估计位置与所述用户的肘部的所述估计位置之间。
[0015]示例9是根据示例4所述的方法，还包括：由图像捕获装置捕获所述用户的手部的所述图像。
[0016]示例10是根据示例9所述的方法，其中，所述图像捕获装置是可穿戴系统的元件。
[0017]示例11是根据示例9所述的方法，其中，所述图像捕获装置被安装到可穿戴系统的头戴式耳机。
[0018]示例12是根据示例4所述的方法，还包括：基于分析所述图像来确定所述用户的手部是否正在执行动作事件。
[0019]示例13是根据示例12所述的方法，还包括：响应于确定所述用户的手部正在执行所述动作事件，基于所述多DOF控制器和所述动作事件修改所述虚拟对象。
[0020]示例14是根据示例13所述的方法，其中，所述用户的手部被确定为正在基于所述特定手势执行所述动作事件。
[0021]示例15是根据示例4所述的方法，其中，基于所述多个关键点来确定所述用户的手部正在做出或正在转变成做出所述特定手势。
[0022]示例16是根据示例15所述的方法，其中，基于使用所述多个关键点的神经网络推断来确定所述用户的手部正在做出或正在转变成做出所述特定手势。
[0023]示例17是根据示例4所述的方法，其中，基于使用所述图像的神经网络推断来确定所述用户的手部正在做出或正在转变成做出所述特定手势。
[0024]示例18是根据示例4所述的方法，其中，多个关键点位于所述用户的手部上。
[0025]示例19是根据示例4所述的方法，其中，所述多DOF控制器是6DOF控制器。
[0026]示例20是一种被配置为执行根据示例4
‑
19中的任一项所述的方法的系统。
[0027]示例21是一种包括指令的非暂时性机器可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据示例4
‑
19中的任一项所述的方法。
[0028]示例22是一种方法，包括：接收用户的手部的图像序列；分析所述图像序列中的每个图像以检测所述用户的手部上的多个关键点；基于分析所述图像序列中的一个或多个图像，确定所述用户的手部是否正在做出或正在转变成做出多个不同手势中的任一者；响应
于确定所述用户的手部正在做出或正在转变成做出所述多个不同手势中的特定一个手势：从与所述多个不同手势分别对应的相对于所述多个关键点的多个位置中选择与所述特定手势对应的相对于所述多个关键点的特定位置；从与所述多个不同手势分别对应的所述多个关键点的多个不同子集中选择与所述特定手势对应的所述多个关键点的特定子集；当确定所述用户的手部正在做出或正在转变成做出特定手势时：将交互点配准到所述用户的手部上的相对于所述多个关键点的所述特定位置；将邻近点配准到所述用户的肩部的估计位置、所述用户的肘部的估计位置、或所述用户的肩部的所述估计位置与所述用户的肘部的所述估计位置之间的沿着所述用户的上臂本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种与虚拟对象交互的方法，所述方法包括：从可穿戴系统的一个或多个图像捕获装置接收用户的手部的图像；分析所述图像以检测与所述用户的手部相关联的多个关键点；基于分析所述图像，确定所述用户的手部是否正在做出或正在转变成做出多个手势中的特定手势；以及响应于确定所述用户的手部正在做出或正在转变成做出所述特定手势：选择与所述特定手势对应的所述多个关键点的子集；确定相对于所述多个关键点的所述子集的特定位置，其中，基于所述多个关键点的所述子集和所述特定手势来确定所述特定位置；将交互点配准到所述特定位置；将邻近点配准到沿着所述用户的身体的位置；投射从所述邻近点通过所述交互点的光线；以及基于所述光线形成用于与所述虚拟对象交互的多DOF控制器。2.根据权利要求1所述的方法，其中，所述多个手势包括抓握手势、指向手势或捏合手势中的至少一者。3.根据权利要求1所述的方法，其中，从所述多个关键点的多个子集中选择所述多个关键点的所述子集，其中，所述多个关键点的所述多个子集中的每一个子集对应于所述多个手势中的不同手势。4.根据权利要求1所述的方法，还包括：显示所述多DOF控制器的图形表示。5.根据权利要求1所述的方法，其中，所述邻近点被配准到的所述位置位于所述用户的肩部的估计位置、所述用户的肘部的估计位置、或者所述用户的肩部的所述估计位置与所述用户的肘部的所述估计位置之间。6.根据权利要求1所述的方法，还包括：由所述一个或多个图像捕获装置中的图像捕获装置捕获所述用户的手部的所述图像。7.根据权利要求6所述的方法，其中，所述图像捕获装置被安装到可穿戴系统的头戴式耳机。8.一种系统，包括：一个或多个处理器；以及包括指令的机器可读介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：从可穿戴系统的一个或多个图像捕获装置接收用户的手部的图像；分析所述图像以检测与所述用户的手部相关联的多个关键点；基于分析所述图像，确定所述用户的手部是否正在做出或正在转变成做出多个手势中的特定手势；以及响应于确定所述用户的手部正在做出或正在转变成做出所述特定手势：选择与所述特定手势对应的所述多个关键点的子集；确定相对于所述多个关键点的所述子集的特定位置，其中，基于所述多个关键点的所述子集和所述特定手势来确定所述特定位置；
将交互点配准到所述特定位置；将邻近点配准到沿着所述用户的身体的位置；投射从所述邻近点通过所述交互点的光线；以及基于所述光线形成用于与所述虚拟对象交互的多DOF控制器。9.根据权利要求8所述的系统，其中，所述多个手势包括抓握手势、指向手势或捏合手...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：