AR/VR环境中用户注意力的音频指示器制造技术

提供了一种在增强现实/虚拟现实(AR/VR)系统中向用户通知来自另一用户的注意力的方法。该方法包括在第一电子显示器上向AR/VR系统的第一用户显示第一图像，并且一旦检测到第一用户凝视AR/VR系统的第二用户或第一图像中的第二用户的化身，就通过改变从第一用户到第二用户的音频通信信道的参数来向第二用户通知第一用户的凝视，以便使第一用户更易被第二用户听到。

【技术实现步骤摘要】
【国外来华专利技术】AR/VR环境中用户注意力的音频指示器
本公开涉及视觉显示器和显示系统，且尤其涉及可穿戴显示器和用于可穿戴显示器的方法。背景可穿戴显示器可用于向用户呈现虚拟图像，或者用动态信息、数据或虚拟对象来增强真实世界的图像。虚拟现实(VR)或增强现实(AR)场景可以是三维的，以增强体验并使虚拟对象与用户观察到的真实对象相匹配。可以实时跟踪用户在空间中的眼睛定位(position)和凝视方向和/或定向(orientation)，并且可以根据用户的头部定向和凝视方向来动态地调整显示的场景，以提供沉浸在模拟或增强的环境中的更好体验。可穿戴显示器可用于模拟或增强用户之间的社交互动。例如，在虚拟会议应用中，由虚拟会议房间中的化身表示的用户可以通过互相交谈、向一群用户呈现信息等来彼此交互。社交聚会事件的AR/VR模拟的一个缺点是，用户可能会因AR/VR环境而感到孤立或迷失方向，从而使用户之间的社交联系不那么直接。概述本文公开的方法和系统可用于使用户能够吸引AR/VR环境中其他用户的注意力。AR/VR系统可以包括控制器和由不同的用户穿戴的多个可穿戴显示器。这些可穿戴显示器可以各自包括视觉显示模块、眼睛跟踪系统和音频系统，该视觉显示模块用于向用户显示VR图像和/或用AR图像和标志来增强观察到的外部世界，该眼睛跟踪系统用于实时地确定诸如用户的凝视方向、聚散度(vergence)、眼睛扩张(eyedilation)等的参数，该音频系统用于与其他用户的音频通信。控制器可以包括远程或分布式计算系统以及将控制器连接到可穿戴显示器的通信网络，使得可穿戴显示器与控制器通信地耦合。本文使用的术语AR/VR包括AR系统、VR系统及其任意组合，包括混合现实(MR)系统。AR/VR系统的示例将在下面进一步给出。特定用户的可穿戴显示器可以显示表示系统的其他用户的图像。该方法使AR/VR系统的用户能够注意到该系统的另一个用户何时在看着他们。屏幕上表示的用户可以位于很远的地方，并且对于穿戴特定可穿戴显示器的用户不可见，并且可以由化身来表示。在一些AR实施例中，用户可以通过他们的AR头戴式装置(headset)直接查看其他用户。根据本公开，提供了一种增强现实/虚拟现实(AR/VR)系统的可穿戴显示器中的方法。该方法包括使用可穿戴显示器向AR/VR系统的第二用户发出音频，其中该音频源自AR/VR系统的第一用户，并且具有从第一用户到第二用户的音频通信信道的参数，其中该参数从第一值改变为第二值，以便使第一用户更易被第二用户听到。当例如通过执行指令以处理第一用户的眼睛跟踪数据的处理器已经检测到第一用户指向第二用户或者第二用户的化身的凝视时，参数被改变，所述第二用户的化身在显示给第一用户的图像中。当处理器执行指令以确定第一用户的眼睛已经看着第二用户或第二用户的化身达至少预定义的时间间隔时，参数可以从第一值改变为第二值。当已经检测到第一用户在第二用户处的凝视方向时，参数可以从第一值改变为第二值。在这种情况下，当已经检测到第一用户在第二用户处的凝视聚散度或第一用户的瞳孔扩张中的至少一个时，参数可以从第一值改变为第二值。在第一用户的凝视之前，该参数可以具有第一值。当处理器以规则的时间间隔确定了第一用户的凝视方向或凝视聚散度中的至少一个时，参数可以从第一值改变为第二值。当凝视已经被撤回达至少预定义的时间间隔时，参数可以被改变回第一值。根据本公开，提供了一种其上存储有指令的非暂时性存储器，当由一个或更多个处理器执行时，所述指令使所述一个或更多个处理器使用可穿戴显示器向AR/VR系统的第二用户发出音频，其中所述音频源自AR/VR系统的第一用户，并且具有从第一用户到第二用户的音频通信信道的参数，其中所述参数从第一值改变为第二值，以便使第一用户更易被第二用户听到。当例如通过执行指令以处理第一用户的眼睛跟踪数据的处理器已经检测到第一用户指向第二用户或者第二用户的化身的凝视时，参数被改变，所述第二用户的化身在显示给第一用户的图像中。当处理器执行指令以确定第一用户的眼睛已经看着第二用户或第二用户的化身达至少预定义的时间间隔时，参数可以从第一值改变为第二值。当已经检测到第一用户在第二用户处的凝视方向时，参数可以从第一值改变为第二值。在这种情况下，当已经检测到第一用户在第二用户处的凝视聚散度或第一用户的瞳孔扩张中的至少一个时，参数可以从第一值改变为第二值。在第一用户的凝视之前，该参数可以具有第一值。当处理器以规则的时间间隔确定了第一用户的凝视方向或凝视聚散度中的至少一个时，参数可以从第一值改变为第二值。当凝视已经被撤回达至少预定义的时间间隔时，参数可以被改变回第一值。根据本公开，还提供了一种AR/VR系统，包括：第一可穿戴显示器，其包括眼睛跟踪系统、用于向第一用户显示第一图像的第一电子显示器和麦克风；第二可穿戴显示器，其包括用于向第二用户显示第二图像的第二电子显示器和扬声器；以及控制器，其通信地耦合到第一可穿戴显示器和第二可穿戴显示器。控制器被配置为建立从AR/VR系统的第一用户到第二用户的音频通信信道，并向第一可穿戴显示器提供用于显示第一图像的数据。控制器包括注意力监视器，该注意力监视器被配置为从第一可穿戴显示器接收与第一用户的眼睛检测和跟踪相关的数据，并识别第一用户指向第二用户或第一图像中的第二用户的化身的凝视。控制器被配置为一旦检测到凝视，就将音频通信信道的参数从第一值改变为第二值，以便使第一用户更易被第二用户听到。注意力监视器可以被配置为确定第一用户的眼睛看着第二用户或第一图像中的第二用户的化身达至少预定义的时间间隔。注意力监视器可以被配置为确定第一用户的凝视方向。在这种情况下，注意力监视器可以被配置为确定第一用户的凝视聚散度或瞳孔扩张中的至少一个。该参数可以包括峰值音频频率、音频通信信道的频谱宽度或响度中的至少一个。注意力监视器可以被配置为随着时间的推移监视第一用户的凝视，并且当凝视已经被撤回达至少预定义的时间间隔时，将参数改变回第一值。附图简述现在将结合附图描述示例性实施例，其中：图1是根据本公开的AR/VR系统的框图；图2是图1的AR/VR系统中的方法的流程图；图3是示出图1的音频通信信道的频谱响应函数的图；图4是用于图1的AR/VR系统的注意力监视器的示例性方法的流程图；图5A是眼镜形状因子的近眼增强现实(AR)/虚拟现实(VR)可穿戴显示器实施例的等距视图；图5B是图5A的AR/VR可穿戴显示器的侧视横截面图；图6A是本公开的头戴式显示器头戴式装置的等距视图；图6B是包括图6A的头戴式装置的虚拟现实系统的框图；图7是眼睛凝视屏幕的示意图；图8是根据实施例的图1的AR/VR系统的示例网络环境的框图；以及图9是用于实现本公开的方法的计算机系统的框图。详细描述虽然结合各种实施例和示例描述了本教导，但是意图并不是本本文档来自技高网...

【技术保护点】
1.一种在AR/VR系统的可穿戴显示器中的方法，所述方法包括：/n使用所述可穿戴显示器向所述AR/VR系统的第二用户发出音频，其中所述音频源自所述AR/VR系统的第一用户，并且具有从所述第一用户到所述第二用户的音频通信信道的参数，其中所述参数从第一值改变为第二值，以便使所述第一用户更易被所述第二用户听到；/n其中，通过执行指令以处理所述第一用户的眼睛跟踪数据的处理器已经检测到所述第一用户指向所述第二用户或者所述第二用户的化身的凝视，所述第二用户的化身在显示给所述第一用户的图像中。/n

【技术特征摘要】
【国外来华专利技术】20181227 US 62/785,634;20190423 US 16/392,1031.一种在AR/VR系统的可穿戴显示器中的方法，所述方法包括：
使用所述可穿戴显示器向所述AR/VR系统的第二用户发出音频，其中所述音频源自所述AR/VR系统的第一用户，并且具有从所述第一用户到所述第二用户的音频通信信道的参数，其中所述参数从第一值改变为第二值，以便使所述第一用户更易被所述第二用户听到；
其中，通过执行指令以处理所述第一用户的眼睛跟踪数据的处理器已经检测到所述第一用户指向所述第二用户或者所述第二用户的化身的凝视，所述第二用户的化身在显示给所述第一用户的图像中。


2.根据权利要求1所述的方法，其中，当所述处理器执行指令以确定所述第一用户的眼睛已经看着所述第二用户或所述第二用户的化身达至少预定义的时间间隔时，所述参数从所述第一值改变为所述第二值。


3.根据权利要求1所述的方法，其中，当已经检测到所述第一用户在所述第二用户处的凝视方向时，所述参数从所述第一值改变为所述第二值；并且，可选地，
其中，当已经检测到所述第一用户在所述第二用户处的凝视聚散度或所述第一用户的瞳孔扩张中的至少一个时，所述参数从所述第一值改变为所述第二值。


4.根据权利要求1所述的方法，其中，在所述第一用户的所述凝视之前，所述参数具有所述第一值。


5.根据权利要求1所述的方法，其中，当所述处理器以规则的时间间隔确定了所述第一用户的凝视方向或凝视聚散度中的至少一个时，所述参数从所述第一值改变为所述第二值；和/或：
其中，当所述凝视已经被撤回达至少预定义的时间间隔时，所述参数被改变回所述第一值。


6.一种非暂时性存储器，其上存储有指令，所述指令在被一个或更多个处理器执行时，使所述一个或更多个处理器使用可穿戴显示器向AR/VR系统的第二用户发出音频，其中，所述音频源自所述AR/VR系统的第一用户，并且具有从所述第一用户到所述第二用户的音频通信信道的参数，其中，所述参数从第一值改变为第二值，以便使所述第一用户更易被所述第二用户听到，
其中，通过执行指令以处理所述第一用户的眼睛跟踪数据的处理器已经检测到所述第一用户指向所述第二用户或者所述第二用户的化身的凝视，所述第二用户的化身在显示给所述第一用户的图像中。


7.根据权利要求6所述的非暂时性存储器，其中，当所述处理器执行指令以确定所述第一用户的眼睛已经看着所述第二用户或所述第二用户的化身达至少预定义的时间间隔时，所述参数从所述第一...

【专利技术属性】
技术研发人员：塞巴斯蒂安·什图克，哈维尔·圣阿古斯丁洛佩斯，安德斯·博·佩德森，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US