扩展现实中通过手势的操作方法和头戴式显示器系统技术方案

本发明专利技术涉及一种扩展现实(XR)中通过手势的操作方法和头戴式显示器(HMD)系统。在方法中，在第一图像中识别第一手势。第一手势对应于用户的手。响应于第一手势的识别结果，而呈现虚拟手和位于交互区域上的第一交互对象。虚拟手做出第一手势。在第二图像中识别第二手势。第二手势对应于用户的手且与第一手势不同。第二手势与交互区域中的第一交互对象交互。响应于第二手势的识别结果，而在显示器上呈现虚拟手和第二交互对象。虚拟手做出第二手势。因此，提供直观手势控制。提供直观手势控制。提供直观手势控制。

【技术实现步骤摘要】
扩展现实中通过手势的操作方法和头戴式显示器系统


[0001]本公开大体上涉及虚拟模拟，特定来说，涉及一种通过扩展现实(extended reality；XR)中的手势的操作方法和头戴式显示器系统。

技术介绍

[0002]现今流行用于模拟感觉、感知和/或环境的扩展现实(XR)技术，例如虚拟现实(virtual reality；VR)、增强现实(augmented reality；AR)以及混合现实(mixed reality；MR)。前述技术可应用于多个领域中，例如游戏、军事训练、医疗保健、远程工作等。
[0003]在XR中，当用户佩戴头戴式显示器(head
‑
mounted display；HMD)时，用户可使用他的/她的手做出手势且进一步触发特定功能。所述功能可与硬件或软件控制相关。用户使用他的/她的手来控制头戴式显示器系统是容易的。

技术实现思路

[0004]部分手势可能不够直觉地来触发功能。因此，本公开涉及一种XR中通过手势的操作方法和头戴式显示器系统，以提供直观手势控制。
[0005]在示范性实施例中的一个中，一种XR中通过手势的操作方法包含但不限于以下步骤。在第一图像中识别第一手势。第一手势对应于用户的手。响应于第一手势的识别结果，而呈现虚拟手和位于交互区域上的第一交互对象。虚拟手做出第一手势。在第二图像中识别第二手势。第二手势对应于用户的手且与第一手势不同。第二手势与交互区域中的第一交互对象交互。响应于第一手势和第二手势的识别结果，而在显示器上呈现虚拟手和第二交互对象。虚拟手做出第二手势。虚拟手的数目可以是一个或两个。虚拟手可以是XR中的全身或半身虚拟化身的手。
[0006]在示范性实施例中的一个中，一种头戴式显示器系统包含但不限于图像传感器、显示器以及处理器。图像传感器捕获图像。处理器耦接图像传感器和显示器。处理器配置成进行以下步骤。处理器识别由图像传感器捕获的第一图像中的第一手势。第一手势对应于用户的手。处理器响应于第一手势的识别结果，而在显示器上呈现虚拟手和位于交互区域上的第一交互对象。虚拟手做出第一手势。处理器识别由图像传感器捕获的第二图像中的第二手势。第二手势对应于用户的手且与第一手势不同，且第二手势与交互区域中的第一交互对象交互。处理器响应于第一手势和第二手势的识别结果，而在显示器上呈现虚拟手和第二交互对象。虚拟手做出第二手势。虚拟手的数目可以是一个或两个。虚拟手可以是XR中的全身或半身虚拟化身的手。
[0007]基于上述，依据本专利技术实施例的XR中通过手势的操作方法和头戴式显示器系统，在两张图像中识别连续的两个手势，且手势组合可触发显示器呈现不同交互对象。此外，提供交互对象以进一步与虚拟手互动。藉此，提供方便且有趣的方式控制头戴式显示器系统。
[0008]然而，应理解，这一
技术实现思路
可能不含有本公开的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的专利技术由且将由本领域普通技术人员理解
为涵盖对其所作的明显改进和修改。
附图说明
[0009]包含附图以提供对本公开的进一步理解，且附图并入本说明书中并构成本说明书的一部分。附图示出本公开的实施例，且与描述一起用来解释本公开的原理。
[0010]图1是示出根据本公开的示范性实施例中的一个的头戴式显示器系统的方块图；
[0011]图2是示出根据本公开的示范性实施例中的一个的通过扩展现实(XR)中的手势的操作方法的流程图；
[0012]图3是示出根据本公开的示范性实施例中的一个的手势分类器的预测的示意图；
[0013]图4A和图4B是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图；
[0014]图5A和图5B是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图；
[0015]图6A和图6B是示出根据本公开的示范性实施例中的一个的通过手势触发交互对象的示意图。
[0016]附图标号说明
[0017]100：头戴式显示器系统；
[0018]110：存储器；
[0019]120：显示器；
[0020]130：图像传感器；
[0021]150：处理器；
[0022]io1、io3：虚拟球；
[0023]io2：主菜单；
[0024]io4：快速设定菜单；
[0025]J：所识别的手关节；
[0026]LH：虚拟左手；
[0027]OM：图像；
[0028]RH：虚拟右手；
[0029]S210、S230、S250、S270、S301、S302：步骤。
具体实施方式
[0030]现将详细参考本专利技术的优选实施例，其实例在附图中示出。只要可能，相同附图标号在附图和描述中用以指代相同或相似部分。
[0031]图1是示出根据本公开的示范性实施例中的一个的头戴式显示器系统100的方块图。参考图1，头戴式显示器(HMD)系统100包含但不限于存储器110、显示器120、图像传感器130以及处理器。HMD系统100适于XR或其它现实模拟相关技术。
[0032]存储器110可以是任何类型的固定或可移动随机存取存储器(random
‑
access memory；RAM)、只读存储器(read
‑
only memory；ROM)、快闪存储器、类似装置或以上装置的组合。存储器110记录程序代码、装置配置、缓冲器数据或永久数据(例如图像、手势分类器、
预定义手势或设定)，且稍后将介绍这些数据。
[0033]显示器120可以是LCD、LED显示器或OLED显示器。
[0034]图像传感器130可以是相机(例如单色相机或彩色相机)、深相机、录像机或能够捕获图像的其它图像传感器。
[0035]处理器150耦接存储器110、显示器120以及图像传感器130。处理器150配置成加载存储在存储器110中的程序代码，以进行本公开的示范性实施例的程序。
[0036]在一些实施例中，处理器150可以是中央处理单元(central processing unit；CPU)、微处理器、微控制器、图形处理单元(graphics processing unit；GPU)、数字信号处理(digital signal processing；DSP)芯片、现场可编程门阵列(field
‑
programmable gate array；FPGA)。处理器150的功能也可由独立电子装置或集成电路(integrated circuit；IC)实施，且处理器150的操作也可通过软件来实施。
[0037]在一个实施例中，HMD或数字眼镜包含存储器110、显示器120、图像传感器130以及处理器150。在一些实施例中，处理器150可不与显示器120和/或图像传感器130安置在同一设备中。然而，分别配备有显示器120、图像传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种扩展现实中通过手势的操作方法，包括：识别第一图像中的第一手势，其中所述第一手势对应于用户的手；响应于所述第一手势的识别结果，而呈现虚拟手和位于交互区域上的第一交互对象，其中所述虚拟手做出所述第一手势；识别第二图像中的第二手势，其中所述第二手势对应于所述用户的手且与所述第一手势不同，且所述第二手势与所述交互区域中的所述第一交互对象交互；响应于所述第二手势的识别结果，而呈现所述虚拟手和第二交互对象，其中所述虚拟手做出所述第二手势。2.根据权利要求1所述的扩展现实中通过手势的操作方法，其中识别所述第一手势或所述第二手势的步骤包括：从所述第一图像或所述第二图像识别所述用户的手的关节；以及通过手势分类器基于所述第一图像或所述第二图像以及所识别的所述用户的手的关节来预测所述用户的手的手势，其中通过机器学习算法来训练所述手势分类器。3.根据权利要求2所述的扩展现实中通过手势的操作方法，其中预测所述用户的手的所述手势的步骤包括：仅基于所述第一图像或所述第二图像且在没有所述所识别的所述用户的手的关节的情况下预测所述手势；以及基于所述所识别的所述用户的手的关节来确认所预测的手势。4.根据权利要求1所述的扩展现实中通过手势的操作方法，进一步包括：响应于所述第二手势的所述识别结果，而隐藏所述第一交互对象。5.根据权利要求1所述的扩展现实中通过手势的操作方法，进一步包括：响应于所述第二手势的所述识别结果，而隐藏所述第一交互对象和所述第二交互对象。6.根据权利要求1所述的扩展现实中通过手势的操作方法，其中识别所述第一手势或所述第二手势的步骤包括：识别所述用户的右手和左手中的一个，且呈现所述第二交互对象的步骤包括：响应于识别所述右手，而呈现第一菜单；以及响应于识别所述左手，而呈现第二菜单，其中所述第二菜单与所述第一菜单不同，且所述第二交互对象包括所述第一菜单和所述第二菜单。7.根据权利要求6所述的扩展现实中通过手势的操作方法，其中所述第一菜单对应于快速设定菜单，且所述第二菜单对应于主菜单。8.根据权利要求1所述的扩展现实中通过手势的操作方法，其中所述第一手势是手掌向上手势，且所述第二手势是握拳手势。9.一种头戴式显示器系统，包括：图像传感器，捕获图像；显示...

【专利技术属性】
技术研发人员：郭胜修，
申请(专利权)人：未来市股份有限公司，
类型：发明
国别省市：