交互方法、电子设备与交互系统技术方案

本申请提供一种交互方法、电子设备与交互系统，涉及虚拟现实技术领域，其中，该方法包括：头显设备显示虚拟键盘；手戴设备响应于用户的输入触发操作，根据检测到的目标传感器信号向头显设备发送手部检测数据；头显设备根据手部检测数据确定发生输入触发事件后，根据摄像头采集的手部图像确定目标手指相对于虚拟键盘的初始点击位置；手戴设备向头显设备发送运动传感器采集的手部运动跟踪数据；头显设备响应于用户的输入结束操作，根据初始点击位置和手部运动跟踪数据，确定并显示输入结果。本申请提供的技术方案可以提高虚拟现实场景中手势输入的准确率。手势输入的准确率。手势输入的准确率。

【技术实现步骤摘要】
交互方法、电子设备与交互系统


[0001]本申请涉及虚拟现实
，尤其涉及一种交互方法、电子设备与交互系统。

技术介绍

[0002]随着计算机图形技术和终端技术的发展，虚拟现实(virtual reality，VR)技术、增强现实(augmented reality，AR)技术和混合现实(mixed reality，MR)技术被越来越多的应用到人们的生活中。在VR、AR或MR等场景中，用户可以通过头戴显示器(head
‑
mounteddisplay，HMD)设备(简称头显设备)构建的虚拟融合环境获得可交互的沉浸式体验。
[0003]在虚拟环境中，用户可以通过头显设备提供的虚拟用户界面，与头显设备进行交互。例如，头显设备可以显示渲染虚拟键盘，用户可以在虚拟键盘上进行触控操作，以实现手势输入。在感知触控操作时，目前主流的方案是利用头显设备上的摄像头采集用户的手部图像，基于连续多帧手部图像识别、跟踪用户手部关键点的空间位置，进而基于跟踪的坐标数据确定用户的触控操作。但是，这种基于摄像头感知用户触控操作来实现手势输入的方式，由于手部自遮挡等原因，输入识别结果的准确率较低。

技术实现思路

[0004]有鉴于此，本申请提供一种交互方法、电子设备与交互系统，用于提高虚拟现实场景中手势输入识别结果的准确率。
[0005]为了实现上述目的，第一方面，本申请实施例提供一种交互方法，应用于交互系统，该交互系统包括头显设备和手戴设备，头显设备上具有摄像头，手戴设备上具有运动传感器，手戴设备上还具有振动传感器和/或脉搏波传感器，该方法包括：
[0006]头显设备显示虚拟键盘；
[0007]手戴设备响应于用户的输入触发操作，根据检测到的目标传感器信号向头显设备发送手部检测数据，目标传感器信号包括振动传感器检测到的生物振动波信号和/或脉搏波传感器检测到的脉搏波信号；
[0008]头显设备根据手部检测数据确定发生输入触发事件后，根据摄像头采集的手部图像确定目标手指相对于虚拟键盘的初始点击位置；
[0009]手戴设备向头显设备发送运动传感器采集的手部运动跟踪数据；
[0010]头显设备响应于用户的输入结束操作，根据初始点击位置和手部运动跟踪数据，确定并显示输入结果。
[0011]本申请实施例提供的交互方法，头显设备可以显示虚拟键盘，手戴设备可以在检测到目标传感器信号后，向头显设备发送手部检测数据；头显设备可以基于该手部检测数据确定输入触发事件，实现点击动作的检测。手戴设备还可以将运动传感器采集的目标手指的手部运动跟踪数据传输给头显设备，头显设备可以通过摄像头采集用户的手部图像，基于该手部图像和运动传感器采集的手部运动跟踪数据，进行输入结果的确定和显示。上
述方案中，通过采用振动传感器或脉搏波传感器检测的信号来检测点击动作，并基于运动传感器采集的手部运动跟踪数据确定输入结果，可以避免手部遮挡问题，因而可以提升确定的输入结果的准确性；另外，运动传感器的采样频率通常远高于摄像头的帧率，信号处理算法的复杂度相对也比较低，因而采用运动传感器采集的信号确定输入结果，也可以降低输出时延，提升用户手势输入的实时性体验。
[0012]在第一方面的一种可能的实施方式中，手部图像包括摄像头采集的手部图像跟踪数据，根据初始点击位置和手部运动跟踪数据，确定并显示输入结果，包括：
[0013]对手部图像跟踪数据和手部运动跟踪数据进行数据融合，得到目标手指的运动跟踪数据；
[0014]根据初始点击位置、运动跟踪数据、虚拟键盘的键盘布局和预设的语言模型，确定输入结果；
[0015]显示输入结果。
[0016]上述实施方式中，头显设备通过对摄像头采集的手部图像跟踪数据和IMU采集的手部运动跟踪数据进行数据融合，然后基于融合得到目标手指的运动跟踪数据确定输入结果，可以进一步提高确定的输入结果的准确性。
[0017]在第一方面的一种可能的实施方式中，手部图像跟踪数据包括目标手指上目标部位的图像跟踪数据或手戴设备的图像跟踪数据。这样头显设备可以从手部图像跟踪数据中提取目标部位或手戴设备的图像跟踪数据，进行输入结果的确定，以提高处理效率。
[0018]在第一方面的一种可能的实施方式中，手戴设备上设置有视觉标记，手部图像跟踪数据包括视觉标记的图像跟踪数据。这样头显设备可以从手部图像跟踪数据中提取视觉标记的图像跟踪数据，进行输入结果的确定，以提高处理效率。
[0019]在第一方面的一种可能的实施方式中，头显设备在根据手部检测数据确定目标传感器信号满足预设要求的情况下，确定发生输入触发事件。这样可以提高手势输入触发检测的准确性。
[0020]在第一方面的一种可能的实施方式中，手部检测数据中包括指示信息，根据检测到的目标传感器信号向所述头显设备发送手部检测数据，包括：
[0021]对检测到的目标传感器信号进行特征提取；
[0022]在提取的目标信号特征满足预设要求的情况下，向头显设备发送指示信息；
[0023]对应的，头显设备在接收到指示信息时，确定目标传感器信号满足预设要求。
[0024]上述实施方式中，通过在手戴设备上检测目标传感器信号是否满足预设要求，可以减小手戴设备与头显设备之间的数据传输量，进而可以提高传输效率，同时也可以节省手戴设备的传输能耗。
[0025]在第一方面的一种可能的实施方式中，头显设备在根据摄像头采集的手部图像确定输入触发操作作用于虚拟键盘上的情况下，确定发生输入触发事件。这样可以方便后续输入结果的识别，也可以节省能耗。
[0026]在第一方面的一种可能的实施方式中，头显设备在根据摄像头采集的手部图像确定用户佩戴手戴设备的手部为目标手势的情况下，确定发生输入触发事件。这样可以提高手势输入触发检测的准确性。
[0027]在第一方面的一种可能的实施方式中，虚拟键盘的渲染位置位于物理平面上，输
入触发操作为目标手指点击物理平面上虚拟键盘的操作，输入结束操作为目标手指离开物理平面上虚拟键盘的操作。
[0028]在第一方面的一种可能的实施方式中，输入触发操作为目标手指与拇指的捏合操作，输入结束操作为目标手指与拇指松开的操作。
[0029]在第一方面的一种可能的实施方式中，虚拟键盘的渲染位置位于空中。这样可以提高用户操作的便利性。
[0030]在第一方面的一种可能的实施方式中，手戴设备响应于用户的滑动输入操作，向头显设备发送运动传感器采集的手部运动跟踪数据。这样用户可以通过滑动输入操作输入内容，从而可以提升用户进行输入操作的灵活性。
[0031]在第一方面的一种可能的实施方式中，手戴设备为指戴设备，目标手指为佩戴手戴设备的手指。这样可以方便用户佩戴，并且可以更好的检测目标手指的运动，从而可以提高检测结果的准确性。
[0032]在第一方面的一种可能的实施方式中，振动传感器和运动传感器为同一IMU，头显设备与手戴设备之间通过蓝牙连接通信。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互方法，应用于交互系统，其特征在于，所述交互系统包括头显设备和手戴设备，所述头显设备上具有摄像头，所述手戴设备上具有运动传感器，所述手戴设备上还具有振动传感器和/或脉搏波传感器，所述方法包括：所述头显设备显示虚拟键盘；所述手戴设备响应于用户的输入触发操作，根据检测到的目标传感器信号向所述头显设备发送手部检测数据，所述目标传感器信号包括所述振动传感器检测到的生物振动波信号和/或所述脉搏波传感器检测到的脉搏波信号；所述头显设备根据所述手部检测数据确定发生输入触发事件后，根据所述摄像头采集的手部图像确定目标手指相对于所述虚拟键盘的初始点击位置；所述手戴设备向所述头显设备发送所述运动传感器采集的手部运动跟踪数据；所述头显设备响应于用户的输入结束操作，根据所述初始点击位置和所述手部运动跟踪数据，确定并显示输入结果。2.根据权利要求1所述的方法，其特征在于，所述手部图像包括所述摄像头采集的手部图像跟踪数据，所述根据所述初始点击位置和所述手部运动跟踪数据，确定并显示输入结果，包括：对所述手部图像跟踪数据和所述手部运动跟踪数据进行数据融合，得到所述目标手指的运动跟踪数据；根据所述初始点击位置、所述运动跟踪数据、所述虚拟键盘的键盘布局和预设的语言模型，确定输入结果；显示所述输入结果。3.根据权利要求2所述的方法，其特征在于，所述手部图像跟踪数据包括所述目标手指上目标部位的图像跟踪数据或所述手戴设备的图像跟踪数据。4.根据权利要求3所述的方法，其特征在于，所述手戴设备上设置有视觉标记，所述手部图像跟踪数据包括所述视觉标记的图像跟踪数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述头显设备在根据所述手部检测数据确定所述目标传感器信号满足预设要求的情况下，确定发生输入触发事件。6.根据权利要求5所述的方法，其特征在于，所述手部检测数据中包括指示信息，所述根据检测到的目标传感器信号向所述头显设备发送手部检测数据，包括：对检测到的目标传感器信号进行特征提取；在提取的目标信号特征满足预设要求的情况下，向所述头显设备发送所述指示信息；对应的，所述头显设备在接收到所述指示信息时，确定所述目标传感器信号满足预设要求。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述头显设备在根据所述摄像头采集的手部图像确定所述输入触发操作作用于...

【专利技术属性】
技术研发人员：麦睿楷，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：