在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互制造技术

提供了用于在增强现实(AR)系统生成的AR环境中与物理对象进行交互的计算机化系统、方法、套件和存储用于实现这些方法的代码的计算机可读介质。一个这样的系统包括：能够感测来自用户的多个神经肌肉信号的多个神经肌肉传感器，以及至少一个计算机处理器。神经肌肉传感器布置在用户穿戴的一个或更多个可穿戴设备上，以感测神经肌肉信号。至少一个计算机处理器被编程为：至少部分地基于由神经肌肉传感器感测的神经肌肉信号，确定关于由AR系统生成的AR环境中用户与物理对象的交互的信息；并且指示AR系统至少部分地基于关于用户与物理对象的交互的信息来提供反馈。象的交互的信息来提供反馈。象的交互的信息来提供反馈。

【技术实现步骤摘要】
【国外来华专利技术】在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
[0001]相关申请的交叉引用
[0002]本申请根据35 U.S.C.
§
119(e)要求2018年10月5日提交的题为“USE OF NEUROMUSCULAR SIGNALS TO PROVIDE ENHANCED INTERACTIONS WITH PHYSICAL OBJECTS IN AN AUGMENTED REALITY ENVIRONMENT”的美国临时专利申请序列号62/741,781的权益，其全部内容通过引用结合于此。
专利

[0003]本技术涉及检测和解释神经肌肉信号的系统和方法，用于在增强现实(AR)环境以及诸如虚拟现实(VR)环境、混合现实(MR)环境等的其他类型的扩展现实(XR)环境中执行动作。
[0004]背景
[0005]AR系统通过将计算机生成的感知或虚拟信息叠加在现实世界环境的各个方面上，为用户提供了以虚拟信息为补充的现实世界环境的交互体验。存在各种技术来控制AR系统的操作。典型地，一个或更多个输入设备(诸如控制器、键盘、鼠标、相机、麦克风等)可以用于控制AR系统的操作。现实世界环境中的物理对象可以用由AR系统生成的AR环境中的视觉指示器来注释。视觉指示器可以向AR系统的用户提供关于物理对象的信息。
[0006]概述
[0007]根据本文描述的技术的方面，提供了一种用于在增强现实(AR)系统生成的AR环境中与物理对象进行交互的计算机化系统。该计算机化系统可以包括：多个神经肌肉传感器，其被配置为感测来自用户的多个神经肌肉信号；以及至少一个计算机处理器。多个神经肌肉传感器可以布置在用户穿戴的一个或更多个可穿戴设备上，以感测多个神经肌肉信号。至少一个计算机处理器可以被编程为：至少部分地基于由多个神经肌肉传感器感测的多个神经肌肉信号，确定关于由AR系统生成的AR环境中用户与物理对象的交互的信息；并且指示AR系统至少部分地基于关于用户与物理对象的交互的信息来提供反馈。
[0008]在一个方面，至少一个计算机处理器还可以被编程为指示AR系统在AR环境中的物理对象上显示至少一个视觉指示器。
[0009]在该方面的变型中，至少一个计算机处理器可以至少部分地基于用户与在物理对象上显示的至少一个视觉指示器的交互来确定关于用户与物理对象的交互的信息。
[0010]在一个方面，计算机化系统可以进一步包括至少一个相机，该相机被布置成捕获用户的至少一部分、或者物理对象的至少一部分、或者用户的至少一部分和物理对象的至少一部分的至少一个图像。至少一个计算机处理器可以至少部分地基于至少一个图像来确定关于用户与物理对象的交互的信息。
[0011]在另一方面，至少一个计算机处理器可以指示AR系统向用户提供反馈。
[0012]在该方面的变型中，至少一个计算机处理器可以指示AR系统在AR环境中将所述反馈作为视觉反馈提供给用户。在一个示例中，至少一个处理器可以指示AR系统在AR环境中
将视觉反馈作为由AR系统显示的至少一个视觉指示器的至少一个属性的改变提供给用户。在另一个示例中，至少一个处理器可以指示AR系统在AR环境中将视觉反馈作为与AR环境中的物理对象相关联的至少一个新的视觉指示器的显示提供给用户。
[0013]在该方面的另一个变型中，至少一个处理器可以指示AR系统将反馈作为音频反馈、或电刺激反馈、或音频反馈和电刺激反馈提供给用户。
[0014]在该方面的进一步变化中，提供给用户的反馈可以包括用户施加到物理对象的力的量的指示。力的量可以至少部分地基于多个神经肌肉信号来确定。在一个示例中，计算机化系统可以进一步包括至少一个相机，其被布置成捕获至少一个图像；施加到物理对象上的力的量可以至少部分地基于至少一个图像来确定。
[0015]在一个方面，当在AR环境中使用物理对象的至少一个功能时，至少一个计算机处理器可以指示AR系统将反馈作为至少一个功能的改变来提供。
[0016]在另一方面，至少一个计算机处理器可以指示AR系统向除了与物理对象交互的用户之外的不同用户提供反馈。
[0017]在该方面的变型中，可以在不同用户体验的AR环境中向不同用户提供反馈。
[0018]在一个方面，计算机化系统可以进一步包括被布置为向用户传递触觉信号的触觉电路。触觉电路可以布置在用户穿戴的可穿戴设备上。该至少一个计算机处理器可以被编程为指示AR系统或AR系统外部的控制器将反馈作为经由触觉电路传递的触觉反馈提供给用户。
[0019]在该方面的变型中，触觉电路可以包括振动致动器、皮肤轻击致动器、低压电震刺激电路和力致动器中的任意一个或任意组合。
[0020]在该方面的另一个变型中，其上布置触觉电路的可穿戴设备可以包括可穿戴贴片。
[0021]在该方面的另一个变型中，触觉电路可以布置在一个或更多个可穿戴设备上，多个神经肌肉传感器布置在该可穿戴设备上。
[0022]在另一方面，关于用户与物理对象的交互的信息可以包括用户已经与特定物理对象交互的信息。该至少一个计算机处理器可以指示AR系统将反馈作为对特定物理对象的至少一个交互属性的修改，以及作为对修改的指示来提供给用户。
[0023]在该方面的变型中，对特定物理对象的至少一个交互属性的修改可以包括启用与特定物理对象相关联的至少一个虚拟控件。在进一步的变型中，至少一个计算机处理器可以被编程为响应于从用户接收的输入，禁用与特定物理对象相关联的至少一个虚拟控件。在进一步的变型中，与特定物理对象相关联的至少一个虚拟控件可以由至少一个计算机处理器至少部分地基于多个神经肌肉信号来禁用。
[0024]在该方面的其他变型中，特定物理对象可以包括书写工具。至少一个交互属性的修改可以包括激活书写工具的一组增强特征。在一个示例中，该组增强特征可以包括使用户能够以一种或更多种方式与书写工具交互以改变AR环境中书写工具的一个或更多个书写特性的特征。在另一个示例中，至少一个计算机处理器可以被编程为：至少部分地基于多个神经肌肉信号，确定用户正以一种或更多种方式之一与书写工具交互；以及响应于确定用户正以一种或更多种方式之一与书写工具交互，改变书写工具的相应书写特性。一个或更多个书写特性可以包括以下任意一个或任意组合：书写颜色、线条粗细、画笔形状、绘图
模式和擦除模式。
[0025]在一个方面，AR环境中物理对象的功能可以由一组虚拟控件来控制。至少一个处理器可以被编程为至少部分基于多个神经肌肉信号来指示AR系统执行以下操作中的任意一个或任意组合：激活一组虚拟控件、停用一组虚拟控件以及修改一组虚拟控件。
[0026]在该方面的变型中，多个神经肌肉信号可以包括由用户执行的手势产生的信号。该手势可以包括以下任意一种或任意组合：静态手势、动态手势、隐蔽手势、肌肉激活状态和肌肉下激活状态。
[0027]在另一方面，AR环境可以包括多个物理对象。多个物理对象中的每一个可以与一组控制动作相关联，并且至少一个计本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在增强现实(AR)系统生成的AR环境中与物理对象进行交互的计算机化系统，所述计算机化系统包括：多个神经肌肉传感器，所述多个神经肌肉传感器被配置为感测来自用户的多个神经肌肉信号，其中所述多个神经肌肉传感器被布置在用户穿戴的一个或更多个可穿戴设备上，以感测所述多个神经肌肉信号；以及至少一个计算机处理器，所述至少一个计算机处理器被编程为：至少部分地基于由所述多个神经肌肉传感器感测的所述多个神经肌肉信号，确定关于由所述AR系统生成的所述AR环境中用户与所述物理对象的交互的信息；并且指示所述AR系统至少部分地基于关于用户与所述物理对象的交互的所述信息来提供反馈。2.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为指示所述AR系统在所述AR环境中的所述物理对象上显示至少一个视觉指示器。3.根据权利要求2所述的计算机化系统，其中，所述至少一个计算机处理器至少部分地基于用户与在所述物理对象上显示的所述至少一个视觉指示器的交互来确定关于用户与所述物理对象的交互的所述信息。4.根据权利要求1所述的计算机化系统，还包括：至少一个相机，其被布置为捕获以下项的至少一个图像：用户的至少一部分、或所述物理对象的至少一部分、或用户的至少一部分和所述物理对象的至少一部分，其中所述至少一个计算机处理器至少部分地基于所述至少一个图像来确定关于用户与所述物理对象的交互的信息。5.根据权利要求1所述的计算机化系统，其中所述至少一个计算机处理器指示所述AR系统向用户提供所述反馈。6.根据权利要求5所述的计算机化系统，其中所述至少一个计算机处理器指示所述AR系统在所述AR环境中将所述反馈作为视觉反馈提供给用户。7.根据权利要求6所述的计算机化系统，其中，所述至少一个计算机处理器指示所述AR系统在所述AR环境中将所述视觉反馈作为由所述AR系统显示的至少一个视觉指示器的至少一个属性的改变提供给用户。8.根据权利要求6所述的计算机化系统，其中，所述至少一个计算机处理器指示所述AR系统在所述AR环境中将所述视觉反馈作为与所述AR环境中的所述物理对象相关联的至少一个新的视觉指示器的显示，提供给用户。9.根据权利要求5所述的计算机化系统，其中所述至少一个计算机处理器指示所述AR系统将所述反馈作为音频反馈、或电刺激反馈、或音频反馈和电刺激反馈提供给用户。10.根据权利要求5所述的计算机化系统，其中提供给用户的所述反馈包括用户施加到所述物理对象的力的量的指示，并且其中所述力的量至少部分基于所述多个神经肌肉信号来确定。11.根据权利要求10所述的计算机化系统，还包括：至少一个相机，所述至少一个相机被布置成捕获至少一个图像，其中至少部分基于所述至少一个图像来确定施加到所述物理对象的所述力的量。12.根据权利要求1所述的计算机化系统，其中当所述物理对象的至少一个功能在所述
AR环境中被使用时，所述至少一个计算机处理器指示所述AR系统将所述反馈作为所述至少一个功能的改变来提供。13.根据权利要求1所述的计算机化系统，其中所述至少一个计算机处理器指示所述AR系统向除了与所述物理对象交互的用户之外的不同用户提供所述反馈。14.根据权利要求13所述的计算机化系统，其中所述反馈在由所述不同用户体验的AR环境中被提供给所述不同用户。15.根据权利要求1所述的计算机化系统，还包括触觉电路，所述触觉电路被布置为向用户传递触觉信号，其中所述触觉电路被布置在用户穿戴的可穿戴设备上，并且其中所述至少一个计算机处理器被编程为指示所述AR系统或所述AR系统外部的控制器将反馈作为经由所述触觉电路传递的触觉反馈提供给用户。16.根据权利要求15所述的计算机化系统，其中，所述触觉电路包括以下各项中的任意一项或任意组合：振动致动器，皮肤轻击致动器，低压电震刺激电路，以及力致动器。17.根据权利要求15所述的计算机化系统，其中，其上布置有所述触觉电路的所述可穿戴设备包括可穿戴贴片。18.根据权利要求15所述的计算机化系统，其中所述触觉电路被布置在所述一个或更多个可穿戴设备上，所述多个神经肌肉传感器被布置在所述一个或更多个可穿戴设备上。19.根据权利要求1所述的计算机化系统，其中，关于用户与所述物理对象的交互的信息包括用户已经与特定物理对象交互的信息，并且其中，所述至少一个计算机处理器指示所述AR系统将所述反馈作为所述特定物理对象的至少一个交互属性的修改以及作为所述修改的指示提供给用户。20.根据权利要求19所述的计算机化系统，其中所述特定物理对象的至少一个交互属性的修改包括启用与所述特定物理对象相关联的至少一个虚拟控件。21.根据权利要求20所述的计算机化系统，其中，所述至少一个计算机处理器被编程为响应于接收到来自用户的输入，禁用与所述特定物理对象相关联的所述至少一个虚拟控件。22.根据权利要求21所述的计算机化系统，其中，至少部分地基于所述多个神经肌肉信号，由所述至少一个计算机处理器禁用与所述特定物理对象相关联的所述至少一个虚拟控件。23.根据权利要求19所述的计算机化系统，其中所述特定物理对象包括书写工具，并且其中所述至少一个交互属性的修改包括激活所述书写工具的一组增强特征。24.根据权利要求23所述的计算机化系统，其中所述一组增强特征包括使用户能够以一种或更多种方式与所述书写工具交互以改变所述AR环境中所述书写工具的一个或更多
个书写特性的特征。25.根据权利要求24所述的计算机化系统，其中所述至少一个计算机处理器被编程为：至少部分基于所述多个神经肌肉信号，确定用户正以所述一种或更多种方式之一与所述书写工具交互；和响应于确定用户正以所述一种或更多种方式之一与所述书写工具交互，改变所述书写工具的相应书写特性。26.根据权利要求24所述的计算机化系统，其中所述一个或更多个书写特性包括：书写颜色、线条粗细、画笔形状、绘图模式和擦除模式中的任意一个或任意组合。27.根据权利要求1所述的计算机化系统，其中：所述AR环境中所述物理对象的功能由一组虚拟控件控制，并且所述至少一个计算机处理器被编程为至少部分基于所述多个神经肌肉信号来指示所述AR系统执行以下任意一项或任意组合：所述一组虚拟控件的激活，所述一组虚拟控件的停用，以及所述一组虚拟控件的修改。28.根据权利要求27所述的计算机化系统，其中，所述多个神经肌肉信号包括由用户执行的手势产生的信号，所述手势包括以下各项中的任意一项或任意组合：静态手势，动态手势，隐蔽的手势，肌肉激活状态，以及肌肉下激活状态。29.根据权利要求1所述的计算机化系统，其中所述AR环境包括多个物理对象，其中所述多个物理对象中的每一个与一组控制动作相关联，并且其中所述至少一个计算机处理器被编程为：识别用户在所述AR环境中与之交互的物理对象，以及激活与所识别的物理对象相关联的相应的一组控制动作。30.根据权利要求29所述的计算机化系统，其中，所述反馈包括所述AR环境中的视觉显示，所述视觉显示指示所激活的一组控制动作。31.根据权利要求29所述的计算机化系统，还包括：至少一个相机，所述至少一个相机被布置成捕获至少一个图像，其中所述至少一个计算机处理器至少部分地基于由所述至少一个相机捕获的所述至少一个图像，从所述AR环境中的多个物理对象中识别用户在所述AR环境中正在与之交互的物理对象，并且其中所述至少一个计算机处理器被编程为至少部分基于所述多个神经肌肉信号来识别用户正在与所识别的物理对象进行交互。32.根据权利要求29所述的计算机化系统，其中所述至少一个计算机处理器被编程为至少部分地基于所激活的一组控制动作来确定关于用户与所述物理对象的交互的信息。
33.根据权利要求29所述的计算机化系统，其中，所述至少一个计算机处理器：至少部分地基于推理模型的输出来确定关于用户与所述物理对象的交互的信息，所述多个神经肌肉信号、或从所述多个神经肌肉信号导出的信息、或所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息被作为输入提供给所述推理模型，以及在渲染所述推理模型的输出之前，向所述推理模型提供关于所识别的物理对象的信息、或者与所激活的一组控制动作相关联的信息、或者关于所识别的物理对象的信息和与所激活的一组控制动作相关联的信息。34.根据权利要求1所述的计算机化系统，其中所述AR环境包括多个物理对象，其中所述多个物理对象中的每一个与一组控制动作相关联，并且其中，所述至少一个计算机处理器被编程为指示所述AR系统：至少部分地基于所述多个神经肌肉信号，选择所述多个物理对象中的特定物理对象，以在所述AR环境中进行主动控制；并且激活与所述特定物理对象相关联的一组相应的控制动作。35.根据权利要求34所述的计算机化系统，其中，所述多个神经肌肉信号包括由用户执行的手势产生的信号，所述手势包括以下各项中的任意一项或任意组合：静态手势，动态手势，隐蔽的手势，肌肉激活状态，以及肌肉下激活状态。36.根据权利要求1所述的计算机化系统，其中所述至少一个计算机处理器被编程为至少部分地基于关于用户与所述物理对象的交互的信息来修改所述AR系统的操作。37.根据权利要求36所述的计算机化系统，其中，所述至少一个计算机处理器通过指示所述AR系统进入更高精度模式以检测用户与所述物理对象的更细粒度的交互来修改所述AR系统的操作。38.根据权利要求37所述的计算机化系统，其中，当处于所述更高精度模式时，所述AR系统对所述多个神经肌肉信号使用比用于来自至少一个辅助传感器的辅助信号的权重更大的权重，以确定关于用户与所述物理对象的交互的信息。39.一种由计算机化系统执行的方法，用于使用户能够至少部分基于神经肌肉信号在由增强现实(AR)系统生成的AR环境中与物理对象进行交互，所述方法包括：使用布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器从用户获得多个神经肌肉信号来感测所述多个神经肌肉信号；使用至少一个计算机处理器，至少部分地基于所述多个神经肌肉信号，确定关于由所述AR系统生成的所述AR环境中用户与所述物理对象的交互的信息，所述至少一个计算机处理器耦合到存储由所述至少一个计算机处理器执行的代码的存储器；和使用所述至少一个计算机处理器，指示所述AR系统至少部分地基于关于用户与所述物理对象的交互的信息来提供反馈。40.根据权利要求39所述的方法，还包括：使用所述至少一个计算机处理器，指示所述AR系统在所述AR环境中的所述物理对象上
显示至少一个视觉指示器。41.根据权利要求40所述的方法，其中，确定关于用户与所述物理对象的交互的信息至少部分地基于用户与显示在所述物理对象上的所述至少一个视觉指示器的交互。42.根据权利要求39所述的方法，还包括：使用至少一个相机捕获以下项的至少一个图像：用户的至少一部分、或者所述物理对象的至少一部分、或者用户的至少一部分和所述物理对象的至少一部分，其中，确定关于用户与所述物理对象的交互的信息至少部分基于所述至少一个图像。43.根据权利要求39所述的方法，其中所述指示指示所述AR系统向用户提供所述反馈。44.根据权利要求43所述的方法，其中所述指示指示所述AR系统在所述AR环境中将所述反馈作为视觉反馈提供给用户。45.根据权利要求44所述的方法，其中所述指示指示所述AR系统在所述AR环境中将所述视觉反馈作为由所述AR系统显示的至少一个视觉指示器的至少一个属性的改变提供给用户。46.根据权利要求44所述的方法，其中所述视觉反馈在所述AR环境中作为与所述AR环境中的所述物理对象相关联的至少一个新的视觉指示器的显示被提供给用户。47.根据权利要求43所述的方法，其中所述指示指示所述AR系统将所述反馈作为音频反馈、或电刺激反馈、或音频反馈和电刺激反馈提供给用户。48.根据权利要求43所述的方法，其中提供给用户的反馈包括用户施加到所述物理对象的力的量的指示，并且其中所述力的量至少部分基于所述多个神经肌肉信号来确定。49.根据权利要求48所述的方法，还包括：使用至少一个相机捕获至少一个图像，其中至少部分基于所述至少一个图像来确定施加到所述物理对象的所述力的量。50.根据权利要求39所述的方法，其中所述指示在所述物理对象的至少一个功能在所述AR环境中使用时，指示所述AR系统将所述反馈作为所述至少一个功能的改变来提供。51.根据权利要求39所述的方法，其中所述指示指示所述AR系统向除了与所述物理对象交互的用户之外的不同用户提供所述反馈。52.根据权利要求51所述的方法，其中所述反馈在由所述不同用户体验的AR环境中被提供给所述不同用户。53.根据权利要求39所述的方法，还包括：使用所述至少一个计算机处理器，指示所述AR系统或所述AR系统外部的控制器将反馈作为经由触觉电路传递的触觉反馈提供给用户，所述触觉电路被布置为向用户传递触觉信号，所述触觉电路被布置在用户穿戴的可穿戴设备上。54.根据权利要求53所述的方法，其中，所述触觉电路包括以下各项中的任意一项或任意组合：振动致动器，皮肤轻击致动器，低压电震刺激电路，以及力致动器。
55.根据权利要求53所述的方法，其中，其上布置有所述触觉电路的所述可穿戴设备包括可穿戴贴片。56.根据权利要求53所述的方法，其中所述触觉电路被布置在所述一个或更多个可穿戴设备上，所述多个神经肌肉传感器被布置在所述一个或更多个可穿戴设备上。57.根据权利要求39所述的方法，其中，关于用户与所述物理对象的交互的信息包括用户已经与特定物理对象交互的信息，并且其中所述指示指示所述AR系统将所述反馈作为所述特定物理对象的至少一个交互属性的修改以及作为所述修改的指示提供给用户。58.根据权利要求57所述的方法，其中所述特定物理对象的至少一个交互属性的修改包括启用与所述特定物理对象相关联的至少一个虚拟控件。59.根据权利要求58所述的方法，还包括：响应于来自用户的输入，由所述至少一个计算机处理器禁用与所述特定物理对象相关联的所述至少一个虚拟控件。60.根据权利要求59所述的方法，其中，至少部分地基于所述多个神经肌肉信号，由所述至少一个计算机处理器禁用与所述特定物理对象相关联的所述至少一个虚拟控件。61.根据权利要求57所述的方法，其中所述特定物理对象包括书写工具，并且其中所述至少一个交互属性的修改包括激活所述书写工具的一组增强特征。62.根据权利要求61所述的方法，其...

【专利技术属性】
技术研发人员：克里斯多佛，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：