基于用户视图中的真实生活对象的持久性而对AR信息进行优先化排序的系统及方法技术方案

根据一些实施例的本文描述的系统和方法可以基于对象在用户的视图内的预测的持久性来显示与对象有关的增强现实(AR)信息。在一些实施例中，如果预测的消失比某个阈值时间更早发生，则基于关于对象多久将从视图中消失的预测来区分AR信息的显示的优先级。根据一些实施例的本文描述的系统和方法可扩展到混合现实(MR)系统，并且提供了显示已经变得被遮蔽或已经从视图消失的对象的图像和/或显示与已经变得被遮蔽或已经从视图消失的对象相关的AR信息。

System and method of prioritizing ar information based on the persistence of real life objects in user view

【技术实现步骤摘要】
【国外来华专利技术】基于用户视图中的真实生活对象的持久性而对AR信息进行优先化排序的系统及方法相关申请的交叉引用本申请是2017年5月23日递交的题为“基于用户视图中的真实生活对象的持久性而对AR信息进行优先化排序的系统及方法(SystemandMethodforPrioritizingARInformationBasedonPersistenceofReal-LifeObjectsintheUser'sView)”的美国临时专利申请序列号62/510,099的正式申请，并且按照35U.S.C.§119(e)要求其权益，该美国临时专利申请通过引用而被整体并入本案。
技术介绍
增强现实(AR)界面向用户呈现与用户的视图内存在的某一真实生活(真实世界)对象有关的信息。混合现实(MR)界面以将虚拟对象与真实世界的视图组合的方式向用户呈现信息。利用MR显示，一些对象是真实的，而一些对象是虚拟的；另外，还可显示关于现实对象和/或虚拟对象的一些AR信息。
技术实现思路
根据一些实施例的本文描述的系统和方法可以基于对象在用户的视图内的预测的持久性来显示与该对象有关的增强现实(AR)信息。在一些实施例中，如果预测的消失比某个阈值时间更早发生，则基于关于对象多久将从视图中消失的预测来优先化排序(prioritize)AR信息的显示。根据一些实施例的本文描述的系统和方法可扩展到混合现实(MR)系统，并且提供了显示已经变得被遮蔽或已经从视图消失的对象的图像和/或显示与已经变得被遮蔽或已经从视图消失的对象相关的AR信息。在一些实施例中，一种基于用户的视图内的对象持久性来对AR信息优先化排序的方法可以包括：接收场景信息；接收多个AR配对(pair)，每个AR配对包括对象的标识和与所标识的对象相关联的AR信息；确定所述多个AR配对中的对象的持久性；基于所述对应对象的所述所确定的持久性值来优先化排序对象的AR信息的显示；以及将利用优先化排序AR信息增强的信息发送到显示器。在一些实施例中，确定持久性值可以包括确定每个对象可以在用户的视图内持续多久，或者确定对象的速度和对象的可见性。确定对象的速度可以包括执行对该对象的运动跟踪。确定持久性值可以包括基于对象的坐标、对象的速度和所接收的场景信息的边界来确定该对象将在用户的视图中持续多久。在一些实施例中，确定持久性值可以使用运动模型的直线，或者使用历史运动来预测未来运动。持久性值可以被确定为达到阈值预测时限，在一些实施例中，该阈值预测时限可以是30秒。在一些实施例中，确定持久性值可以包括预测对象的运动线中的点和/或显示在该对象的所述运动线中的预测点。作为确定持久性值的一部分，可以确定所述对象的所述运动线中的所述预测点的可见性。在一些实施例中，确定持久性值可以包括确定对象的遮挡。在一些实施例中，确定多个AR配对中的对象的持久性可包括将所述多个AR配对发送到持久性确定器；以及接收所确定的所述多个AR配对中的对象的持久性。在一些实施例中，对AR信息的显示进行优先化排序可以包括首先呈现具有比第一阈值短的预测持久性的对象的AR信息。在一些实施例中，对AR信息的显示进行优先化排序可以包括首先呈现具有比第一阈值短但比第二阈值长的预测持久性的对象的AR信息。对AR信息的显示进行优先化排序可以包括确定是否已经显示对象的AR信息；以及响应于确定已经显示所述对象的AR信息，不再次显示所述对象的AR信息。对AR信息的显示进行优先化排序可以包括向AR配对指派优先化排序分数；以及在显示与具有较低优先化排序分数的配对相对应的AR信息之前，显示与具有较高优先化排序分数的配对相对应的AR信息。对AR信息的显示进行优先化排序可以包括突出显示该AR信息的显示，该显示利用与未被优先化排序的AR信息不同的字体大小或颜色。该方法的一些实施例可以进一步包括：响应于接收到所述场景信息，将所述场景信息发送到信息服务，并且其中接收多个AR配对包括从所述信息服务接收所述多个AR配对。接收场景信息可包含利用场景传感器感测场景信息。并且在一些实施例中，场景信息可以包括点云。在一些实施例中，一种基于用户的视图内的对象持久性来对AR信息优先化排序的方法可包含跟踪多个真实世界对象的运动；基于对所述对象的所述跟踪，预测每个对象可能在所述用户的视野中持续多久；以及针对具有较短的预测持久性的那些对象，对AR信息的显示进行优先化排序，其中对该AR信息的显示进行优先化排序包括首先显示。在一些实施例中，一种系统可以包括处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行本文公开的方法。一种系统可进一步包括显示器和场景传感器。附图说明通过以下结合附图以示例性方式给出的以下详细描述，可以得到更详细的理解。此外，附图中相同的附图标记表示相同的元素，并且其中：图1A是示出了其中可以实施一个或多个公开的实施例的示例性通信系统的系统图。图1B是示出了根据一些实施例的可在图1A中所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。图1C是示出了根据一些实施例的可在图1A中所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。图1D是示出了根据一些实施例的可在图1A中所示的通信系统内使用的另一示例性RAN和另一示例性CN的系统图。图1E示出了根据一些实施例的可以执行本文所公开的方法的网络实体。图2是根据一些实施例的基于用户的视图内的对象的持久性来对增强现实(AR)信息进行优先化排序的方法的消息流程图。图3是根据一些实施例的基于用户的视图内的对象的持久性来对AR信息进行优先化排序的方法的消息序列图。图4A-4B是示出可在某些实施例中使用的用于持久性确定的基础的用户视图序列。图5是如可以在一些实施例观察到的具有多个对象的AR信息的用户视图的图示。图6是根据一些实施例的针对MR系统对AR信息进行优先化排序和处理中断的方法的消息流程图。图7是根据一些实施例的针对MR系统用于创建MR呈现(其可以包括AR信息)和处理中断的消息序列图。图8A-8D是如可以在一些实施例观察到的在各种条件下实际和虚拟对象的MR用户视图的图示。图9A-9D是示出示例AR信息文本内的用户注视的示例位置的图示。图10A-10C是如可以在一些实施例观察到的在各种情况下具有移动对象的MR用户视图的图示。图11A-11C是如可以在一些实施例观察到的涉及计算对象的位移或布置的MR用户视图的图示。图12A-12B是如可以在一些实施例观察到的对象被遮蔽的情况的AR/MR用户视图。图13A-13B是如可以在一些实施例中观察到的对象移出视图的情况的AR/MR用户视图。图14A-14E是如可以在一些实施方式观察到的各种情况中的抬头(heads-up)AR显示的图示。在各个附图中描述的以及与各个附图结合的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，任何和所有陈述、或关于特定附图描绘什么、本文档来自技高网...

【技术保护点】
1.一种基于用户的视图内的对象持久性来对增强现实AR信息进行优先化排序的方法，所述方法包括：/n接收场景信息；/n接收对应于多个对象的多个AR配对，每个AR配对包括所述多个对象中的对象的标识和与所标识的对象相关联的AR信息；/n确定所述多个AR配对中的所述多个对象的持久性值；/n基于所述所确定的所述对应对象的持久性值来对所述对象的AR信息的显示进行优先化排序；以及/n将利用用优先化排序的AR信息增强的所述场景信息发送到显示器。/n

【技术特征摘要】
【国外来华专利技术】20170523 US 62/510,0991.一种基于用户的视图内的对象持久性来对增强现实AR信息进行优先化排序的方法，所述方法包括：
接收场景信息；
接收对应于多个对象的多个AR配对，每个AR配对包括所述多个对象中的对象的标识和与所标识的对象相关联的AR信息；
确定所述多个AR配对中的所述多个对象的持久性值；
基于所述所确定的所述对应对象的持久性值来对所述对象的AR信息的显示进行优先化排序；以及
将利用用优先化排序的AR信息增强的所述场景信息发送到显示器。


2.根据权利要求1所述的方法，其中确定持久性值包括确定每一对象在所述用户的视图内可持续多久。


3.根据权利要求2所述的方法，其中确定每个对象可以在所述用户的视图内持续多久包括确定所述对象的速度和所述对象的可见性。


4.根据权利要求3所述的方法，其中确定所述对象的速度包括执行关于所述对象的运动跟踪。


5.根据权利要求1-4中任一项所述的方法，其中确定持久性值包括确定每个对象将在用户的视图中持续多久，该确定基于所述对象的坐标、所述对象的速度和所接收的场景信息的边界。


6.根据权利要求1-5中任一项所述的方法，其中确定持久性值包括使用运动模型的直线。


7.根据权利要求1-6中任一项所述的方法，其中确定持久性值包括使用历史运动来预测每个对象的未来运动。


8.根据权利要求1-7中任一项所述的方法，其中确定持久性值包括预测每个对象的未来运动直到阈值预测时限。


9.根据权利要求8所述的方法，其中所述阈值预测时限是30秒。


10.根据权利要求1-9中任一项所述的方法，其中确定持久性值包括预测每个对象的运动线中的点。


11.根据权利要求10所述的方法，还包括：
显示所述对象的所述运动线中的所述预测点。


12.根据权利要求10-11中任一项所述的方法，其中确定持久性值还包括：
确定所述对象的所述运动线中的所述预测点的可见性。


13.根据权利要求1-12中任一项所述的方法，其中确定持久性值还包括：
确定所述多个对象中的每个对象的遮挡。


14.根据权利要求1到13中任一权利要求所述的方法，其中优先化排序AR信息的显示包括：
首先呈现具有比第一阈值短的持久性值的对象的AR信息。


15.根据权利要求1到14中任一权利要求所述的方法，其中优先化排序AR信息的显示包括：
首先呈现具有比第一阈值短但比第二阈值长的持久性值的对象的AR信息。

<...

【专利技术属性】
技术研发人员：莫娜·辛格，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：美国;US