在车辆乘员之间共享增强现实内容的集成增强现实系统技术方案

本公开提供“在车辆乘员之间共享增强现实内容的集成增强现实系统”。公开了用于向具有增强现实(AR)装置的多个车辆乘员提供集成式AR图像和内容的方法和系统以及生成基于用户的AR表达的方法，所述基于用户的AR表达包括对用户生成的内容的内容控制。用户生成的内容的内容控制。用户生成的内容的内容控制。

【技术实现步骤摘要】
在车辆乘员之间共享增强现实内容的集成增强现实系统


[0001]本公开涉及一种车辆集成增强现实系统，并且更具体地涉及一种用于汽车乘员的实现持久性并允许共享增强现实内容的增强现实系统。

技术介绍

[0002]当移动客户在驾驶或乘坐车辆时使移动客户增强对外部环境的感知和意识具有重要价值。增强现实(AR)可通过将相关信息叠加到用户的视野中来辅助集中用户(例如，车辆驾驶员)的认知努力。在其他方面中，AR可以通过利用交互式游戏、动画以及可以被车辆中的AR系统的多个用户共享的其他体验增强非驾驶用户(例如，车辆中的乘坐者)对外部环境的感知和意识来辅助他们。
[0003]基于车辆的AR系统可以同时使用各种装置配置(诸如抬头显示器(HUD)或中控台或仪表组中的固定显示屏)进行操作，或者它们可以显示在一个或多个便携式装置(例如可穿戴装置或智能电话)上。用于车内交互内容的递送方案(诸如常规的车载AR系统中的中控台或仪表组安装式AR屏幕)是已知的，如手持式或仪表板安装式AR能力装置中。
[0004]尽管已知多个显示装置能够显示由驾驶员或同一车辆内的其他用户看到的所生成的相同AR内容，但是当前，相同的AR内容无法具体化到其用户一起乘坐车辆的各个显示装置。各个装置通常独立地渲染AR内容，而一个用户对AR呈现的改变不可与车内组中的其他用户共享。尽管可以将相同信息投影到多个用户装置，但是用户当前没有方法来修改所投影的AR或与车辆的驾驶员或其他乘员共享经用户修改的AR内容。

技术实现思路

[0005]本文公开的系统和方法描述了一种用于车辆的集成式增强现实(AR)系统，所述集成式AR系统被配置为在乘员驾驶和/或乘坐所述车辆时以及在一些实施例中在用户离开所述车辆时在所述乘员的直视视线前方显示路边信息。所公开的系统可以包括两个或更多个AR装置，例如，AR可穿戴装置，包括AR眼镜、AR护目镜、AR隐形眼镜等；AR移动装置，包括智能电话、平板计算机等；AR屏幕，包括集成导航屏幕；中控台或仪表组等中的固定显示屏；以及AR抬头显示器(HUD)。当用户驾驶和/或乘坐所配置的车辆时，一个或多个AR装置可以向用户的视野显示与一个或多个兴趣点(POI)相关联的路边信息。例如，在AR视野中，所述系统可以将POI标记并显示到外部物理世界中的位置，由此车辆中的AR系统的用户可共享集成且协调的AR体验。
[0006]根据一个实施例，所述系统可以基于车辆全球定位系统(GPS)消息、车辆航向消息或其他信息来确定路边外部对象相对于正移动的车辆的内部的位置。所述系统可以将车辆坐标系与路边对象的虚拟表示同步，并且用同步的车辆坐标系对用户的AR装置进行取向。车辆本身以及更具体地集中式AR系统可以通过集中执行AR呈现来充当枢纽，并且使用计算逻辑来为车辆中的用户确定用户身份，将许可级别与特定用户相关联，并呈现可以由一个或多个用户以某种方式改变的共同AR体验。集中式AR系统可以在独立于各个装置的AR呈现
层处执行车辆上的渲染，确定要与其共享信息的各方面的用户，并向这些各个用户呈现定制的AR呈现，其中一些信息通常在组之间共享，而其他信息根据用户身份和许可被选择性地呈现给特定装置。所述AR系统可以确定AR系统的用户的身份，并且至少部分地基于与AR装置的用户相关联的用户ID来生成与车辆的GPS位置和方向对齐的路边对象的第一虚拟表示。所述系统可以将第一虚拟表示传输到AR装置，其中所述第一虚拟表示呈现在用户的视野中以增强用户对正移动的车辆外部的外部环境的感知和意识。
[0007]多个车辆乘员可以同时观看个性化虚拟图像，所述个性化虚拟图像可以包括可以针对每个用户个体化的持久性AR投影。因为AR呈现层集中在所配置的车辆上，而不是独立于所连接的AR装置中的每一者，所以所有用户还可以与AR投影交互并修改AR投影，从而使车辆的所有经授权乘员都可以实现个性化和/或协调的AR体验。此外，即使在乘员离开车辆之后，具有无线或移动互联网连接的系统用户也可以使用车辆AR系统。在本文中更详细地提供本公开的这些和其他优点。
附图说明
[0008]参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，可以可互换地使用单数和复数术语。
[0009]图1描绘其中可以实施用于提供本文所公开的系统和方法的技术和结构的说明性架构。
[0010]图2是用于根据本公开利用的计算系统的系统框架。
[0011]图3是根据本公开的用于AR内容递送的系统中的示例性数据收集和处理方法的框图。
[0012]图4是根据本公开的用于AR内容递送的系统中的AR呈现层与AR装置层之间的示例性接口的框图。
[0013]图5示出了根据本公开的与AR内容递送相关的示例性方法中的AR内容。
[0014]图6是根据本公开的与AR内容递送相关的示例性方法的流程图。
具体实施方式
[0015]在下文参考附图更全面地描述本公开，在附图中示出本公开的示例性实施例。
[0016]图1示出了用于实践本文描述的方法的示例性计算环境100。根据一个实施例，车辆105可沿着道路或其他路线(图1中未示出)行进，并且接近兴趣点，诸如例如路边对象185。尽管被描绘为路标，但是路边对象185可为车辆105的乘员可观察到的任何对象，诸如例如建筑物、地标、地理特征或具有车辆外部的物理位置的任何其他类型的对象。路边对象185可为任何可观察的外部兴趣点，所述兴趣点可为对象、人、事件(例如，汽车碰撞)、天气状况、动物或车辆乘员感兴趣的任何其他物理表现。换句话说，路边对象185可为兴趣点(POI)，所述兴趣点可以采用不旨在限制的上述示例中的任一者的形式，或者可采用另一物理形式。
[0017]车辆105可为任何类型的乘用车辆，诸如例如轿车、公共汽车、货车、卡车等。在一
些方面，车辆105可充当可手动控制的车辆、其中驾驶功能性完全由车辆105上和/或车辆外部的计算平台执行的自主车辆或其中车辆控制的一些方面是自动的并且其他方面由用户控制的半自主车辆。
[0018]车辆105可以包括发动机130，所述发动机可以为和/或包括内燃发动机、电动马达、混合动力驱动系统和/或另一种致动系统。
[0019]车辆105可以包括汽车计算机110。根据本公开，汽车计算机110可安装在车辆105的发动机舱中(或车辆105中的其他地方)作为车辆增强现实(AR)系统的一部分。汽车计算机110可与和一个或多个服务器150相关联的远程计算平台通信和/或作为其一部分，所述一个或多个服务器可经由一种或多种网络155进行通信。在一些实施例中，汽车计算机110可以包括用于耦合到一种或多种网络155的一个或多个网络适配器(图1中未示出)。
[0020]一种或多种网络155可以包括用于汽车计算机110与任何外部装置之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，其包括：基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；生成与所述车辆对齐的所述特征的虚拟表示；将所述虚拟表示传输到所述车辆中的第一增强现实(AR)装置和第二AR装置；从所述第一AR装置接收对所述虚拟表示的修改；以及将修改后的虚拟表示传输到所述车辆中的所述第二AR装置。2.一种方法，其包括：基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；生成与所述车辆对齐的所述特征的虚拟表示；将所述虚拟表示传输到所述车辆中的所有AR装置；以及在所述车辆中的所述AR装置中的一者中生成新的AR内容；以及选择所述车辆中访问所述新的AR内容的AR装置。3.根据权利要求1所述的方法，其还包括：基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；将车辆坐标系与所述特征的虚拟表示同步；用同步的车辆坐标系对第一AR装置进行取向；用所述同步的车辆坐标系对第二AR装置进行取向；生成与车辆GPS位置和车辆航向对齐的所述特征的第一虚拟表示；以及将相同的虚拟表示传输到所述第一AR装置和所述第二AR装置。4.根据权利要求1所述的方法，其还包括：基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；将车辆坐标系与所述特征的虚拟表示同步；用同步的车辆坐标系对第一AR装置进行取向；用所述同步的车辆坐标系对第二AR装置进行取向；生成与车辆GPS位置和车辆航向对齐的所述特征的第一虚拟表达；生成与车辆GPS位置和车辆航向对齐的所述特征的第二虚拟表达；以及将所述第二虚拟表达传输到所述第一AR装置和所述第二AR装置。5.根据权利要求3所述的方法，其中确定所述外部环境中的所述特征的所述位置包括生成与车辆内部的数字表示相关联的同步的车辆坐标系。6.根据权利要求5所述的方法，其中所述生成所述同步的车辆坐标系包括：将第一坐标系分配给所述车辆内部的所述数字表示；将第二坐标系分配给所述车辆外部的对象的数字表示；以及至少部分地基于与车辆表面相关联的锚点将所述第一坐标系和所述第二坐标系与笛卡尔坐标同步。7.根据权利要求1所述的方法，其还包括：将现实捕获信息与用户信息和存储的数据组合以生成虚拟对象；以及基于所述虚拟对象生成AR表达。8.根据权利要求1所述的方法，其还包括：确定与所述第一AR装置或所述第二AR装置的用户相关联的身份包括：
接收所述第一AR装置或所述第二AR装置的所述用户的图像；生成与所述用户的所述图像相关联的多个梯度向量；从所述多个梯度向量中识别至少一个面部特征点；将所述至少一个面部特征点与和所述车辆的至少一个先前乘员相关联的多个面部特征点进行比较；检索与和所述至少一...

【专利技术属性】
技术研发人员：万建，普拉亚特，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：