动态呈现增强现实信息以减少峰值认知需求制造技术

描述了用于在时间上分布增强现实(AR)信息的显示以减少用户的认知负荷的系统和方法。在示例性实施例中，每个AR信息项与相应的现实世界对象相关联。每个项及其相关联的现实世界对象的认知需求得分被确定。AR信息项以这样的方式被分布在多个集合中：(i)各个集合中的总认知需求得分基本上相等；以及(ii)集合内的AR信息项不会彼此模糊。然后，每一AR信息项集合被顺序显示，其中不同集合中的项在不同时间被显示。

Dynamic presentation of augmented reality information to reduce peak cognitive needs

【技术实现步骤摘要】
【国外来华专利技术】动态呈现增强现实信息以减少峰值认知需求相关申请的交叉引用本申请要求2017年2月20日提交的美国临时专利申请序列号62/461,034的权益，其公开内容通过引用结合于此。
技术介绍
支持多个应用程序的增强现实(AR)操作系统可能通过过多信息而使用户过载或者可能导致用户遭受注意力过载。AR用户界面确定要向用户显示的AR信息项。在实际AR系统的实施中要解决的一个问题是确定要显示什么AR信息以及何时应该显示该AR信息。如果一次显示太多信息，则用户的负担可能太大。显示过多的信息可能会给用户带来压力和倦怠，并可能导致用户犯错误、关闭应用程序或取消订阅应用程序。如果显示的信息太少，则该过程会变得低效，并且用户可能变得无聊或烦恼，导致用户关闭取消订阅应用程序。
技术实现思路
提供了本文描述的系统和方法，用于以对用户的认知需求(cognitivedemand)进行管理的方式在时间上分发增强现实(AR)信息的显示。在示例性实施例中，AR信息项与相应的现实世界对象相关联。确定每个项及其相关的现实世界对象的认知需求得分。AR信息项以这样的方式分布在多个集合中：(i)各个集合中的总认知需求得分基本上相等；以及(ii)集合内的AR信息项不会彼此模糊。然后，顺序地显示每个关于AR信息项的集合，其中同一集合中的项被同时显示，并且在不同集合中的项在不同时间被显示。在一些实施例中，本文描述的系统和方法计算每一关于现实世界对象标识信息和AR信息项的配对(pair)的认知需求得分，该计算基于所述现实世界对象的视觉特性和所述AR信息的复杂度和大小(例如，字数或字符数)。这里描述的系统和方法将所接收的配对划分成两个或更多个集合，使得得到的配对集合对用户具有近似相等的聚合认知需求(aggregatecognitivedemand)。这些集合被一次一个配对集合地呈现给用户。AR信息以减少用户的峰值聚合认知需求的方式而被呈现给用户。用于内容呈现的信息密度可能很高并且在显示区域上不均匀地分布。先前的系统不会确定在呈现AR内容时可能出现的牵连。这里描述的系统和方法基于内容的认知负荷来管理在显示设备上AR信息呈现，并且处理由于内容被绑定到场景中的物理对象而引起的复杂化以及内容可能使其他内容元素模糊的可能性。在一些实施例中，这里描述的示例性系统和方法是被动的并且即使用户没有采取主动，也可以继续执行。用户可以以随意、直观的方式逐渐熟悉他或她的周围环境。在一些实施例中，系统和方法检测对用户场景的改变并适当地响应。系统和方法可以在现有AR应用程序和显示器之上被实例化，并且可以与其他技术组合，例如从AR应用程序接收优先级信息并考虑用户对可用AR信息的偏好。附图说明可以从以下描述中获得更详细的理解，所述描述是结合附图以示例的方式呈现的。此外，附图中相同的附图标记表示相同的元素，并且其中：图1是本文描述的系统的实施例的框图。图2是将配对(现实世界对象标识信息和相关联的AR信息)指派给集合的示例性方法的流程图。图3是将配对指派给集合的另一示例性方法的流程图。图4是用于将配对指派给集合并用AR信息增强显示的示例性消息序列图。图5是具有现实世界对象和AR信息项的示例性场景的平面示意图。图6是用于示例性AR显示的一系列屏幕截图。图7描绘了可以在本文描述的系统的实施例中使用的示例性无线发射/接收单元(WTRU)。图8描绘了可以在本文描述的系统的实施例中使用的示例性网络实体。在此描述的以及结合各个附图描述的实体、连接和布置等是作为示例而非限制的方式呈现的。因此，关于以下的任何和所有陈述或其他指示(可能是孤立的和脱离上下文被认为是绝对的，因此是限制性的)可能只能在其前面建设性加上诸如“在至少一个实施例中......”之类的条款的情况下被恰当地理解：特定图形“描绘”的内容、特定图形中的特定元素或实体是什么或具有什么、以及任何和所有类似的陈述。为了简洁和清晰的表述，这个隐含的主导条款可能不会在附图的详细描述中被过度重复。具体实施方式用于选择要向用户显示的AR信息的一种技术是显示关于在用户的视野中的现实世界对象的AR信息，这其中包括可能太远而无法被用户辨别的对象。然而，这种技术可能利用AR信息使得用户不堪重负，例如在用户的视野中具有许多现实世界对象的信息可被呈现给用户的环境中尤其如此。这些信息可能变得对于用户而言越来越不相关。用于选择要向用户显示的AR信息的另一种技术是仅显示用户凝视的现实世界对象的AR信息。然而，这种技术不能用于将未预料到的或未知的信息传达给用户，并且它要求用户主动选择对象(通过引导她的注视)以显示关于该对象的信息。而且，这种技术不容易同时显示关于多个不同对象的信息。本文描述的系统和方法给出了一种呈现增强现实(AR)信息的方式，其可减少对用户的聚合认知需求，使得用户不必处理同时呈现的AR信息项。一个实施例将可用项划分为两个或更多个集合以近似平衡对用户的聚合认知需求。可以连续地呈现这些集合，使得一个集合内的所有AR项被呈现，然后呈现另一集合中的所有AR项，以此类推。对用户上的峰值认知需求(对所有这些集合的最大需求)可被最小化。可用的AR项可被划分为两个或更多个集合以近似地平衡对用户的聚合认知需求，从而减少峰值聚合认知需求。认知负荷是用户施加多少心力(mentaleffort)。信息项的认知需求是用户用来处理该信息项的心力量，例如观看、推理(或分析)和采取行动。对于一些实施例，确定每个对象的认知需求(例如，其复杂度)，并且对集合进行划分，使得这些集合在组合认知需求方面被(近似)平衡，并且还使得每个集合避免对象之间的冲突。对于这样的实施例，一次一个集合地显示AR信息。图1是AR系统100的示例性实施例的框图。在系统100中，一个或多个场景传感器101(例如，相机或激光雷达(LIDAR))向AR划分构建器提供场景信息102(例如，作为点云)。一个或多个位置传感器104提供位置信息105，其向AR划分构建器103提供用户的位置。AR划分构建器103从各个传感器接收场景信息102和位置信息105，并将组合的场景和位置信息106发送到一个或多个合适的(例如，所订阅的)AR应用程序(ARApp)107。AR应用程序107使用所接收的信息106来生成一集合，其包含关于所标识的现实世界对象和对应的增强信息(AR数据)的配对108。在所述配对108的集合内的每一配对包括标识现实世界对象的信息(可以使用位置坐标的标识，其包括所述对象的图像和边界坐标)及相关联的AR数据(其提供关于所述现实世界对象的信息且还可以描述如何在AR显示中渲染该信息)。然后，AR应用程序107向AR划分构建器103提供配对108集合。AR划分构建器103将配对108集合发送到认知需求估计器110。认知需求估计器110计算每个配对对于用户的认知需求得分111，其基于所述配对中的现实世界对象的图像的大小和复杂度以及所述配对中的AR信息项内的信息的复杂度。认知需求估计器110将配对108集合内的每一配对的认知需求得分111发送给AR划分构建器103。基于所接收的认知需求得分和场景特性(用于确定遮挡)，AR划分构建器103将配对108集合划分成两个或更多个集合。AR划分构建器103将所述配对集合作为突出显示的对象和AR信息1本文档来自技高网...

【技术保护点】
1.一种方法，该方法包括：接收第一多个增强现实(AR)注释以在用户设备上显示；确定针对每个所接收的AR注释的认知需求得分；将每个所述AR注释指派给第一多个注释显示组中的一组，其中将每个所述AR注释指派给第一多个注释显示组中的一组包括平衡所述第一多个注释显示组之间的聚合认知需求得分；以及以排除指派给所述第一多个注释显示组中的第二组的AR注释的方式，显示指派给所述第一多个注释显示组中的第一组的AR注释。

【技术特征摘要】
【国外来华专利技术】2017.02.20 US 62/461,0341.一种方法，该方法包括：接收第一多个增强现实(AR)注释以在用户设备上显示；确定针对每个所接收的AR注释的认知需求得分；将每个所述AR注释指派给第一多个注释显示组中的一组，其中将每个所述AR注释指派给第一多个注释显示组中的一组包括平衡所述第一多个注释显示组之间的聚合认知需求得分；以及以排除指派给所述第一多个注释显示组中的第二组的AR注释的方式，显示指派给所述第一多个注释显示组中的第一组的AR注释。2.根据权利要求1所述的方法，还包括：在显示指派给所述第一多个注释显示组中的所述第一组的AR注释之后，以排除指派给所述第一多个注释显示组中的所述第一组的AR注释的方式，显示指派给所述第一多个注释显示组中的所述第二组的AR注释。3.根据权利要求1所述的方法，还包括：以排除指派给所述第一多个注释显示组中的不同组的AR注释的方式，循环地显示指派给所述第一多个注释显示组中的每一组的AR注释。4.根据权利要求1所述的方法，还包括：接收场景和位置数据；以及将所接收的场景和位置数据发送到AR节点。5.根据权利要求4所述的方法，其中接收第一多个AR注释包括从所述AR节点接收所述第一多个AR注释。6.根据权利要求1所述的方法，其中确定所述第一多个AR注释中的每一者的认知需求得分包括在所述用户设备上确定所述认知需求得分。7.根据权利要求1所述的方法，其中平衡所述第一多个注释显示组之间的聚合认知需求得分包括：将AR注释指派给每个注释显示组，使得所述第一多个注释显示组中的每一组的认知需求得分的总和近似相等。8.根据权利要求1所述的方法，其中平衡所述第一多个注释显示组之间的聚合认知需求得分包括：将AR注释指派给注释显示组，使得所述AR注释既不遮挡被指派给同一注释显示组的任何其他AR注释，也不被该任何其他AR注释遮挡。9.根据权利要求1所述...

【专利技术属性】
技术研发人员：莫娜·辛格，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：美国,US