【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及通过车辆中的显示设备提供驾驶员辅助的系统和方法。特别地，本专利技术涉及基于预测的有风险场景提供驾驶员辅助，其中，驾驶员辅助包括虚拟车辆的增强现实可视化。
技术介绍
1、许多先进的汽车都配备有智能传感器系统，旨在提供驾驶辅助，特别是在有风险或有挑战性的场景中提供驾驶辅助。为执行各种驾驶功能(例如导航、定速巡航、泊车、车道检测等)提供辅助的车载系统通常称为高级驾驶员辅助系统(advanced driverassistance system，adas)。adas通常使用从车辆传感器收集的数据向驾驶员生成视觉、触觉和/或音频反馈。例如，可以通过在汽车太接近车道标线时在方向盘上产生音频反馈和/或振动(即触觉)反馈来提供车道偏离反馈。adas还可能根据级别提供半自动驾驶或全自动驾驶辅助。
2、通过显示设备(例如抬头显示(head-up display，hud))提供驾驶员辅助越来越引起关注。hud是一种透明或半透明的显示器，支持在汽车的前挡风玻璃上显示数据。这使得驾驶员可以在不必将视线从道路上移开的情况下查看数据。对adas而言，通过显示设备向驾驶员提供有用的反馈将是一种有效的方案，特别是能够在有风险或有挑战性的驾驶场景中为驾驶员提供帮助。
技术实现思路
1、现有adas的一个缺点是，adas反馈对驾驶员而言可能并不直观。很多adas反馈是以箭头、图标或数字的形式呈现的，可能不够直观。例如，如果车辆正在接近立交桥，则现有的adas可能会提供以数字显示净空高度的反馈，驾
2、现有adas的另一个缺点是，提供的驾驶辅助和反馈仅在检测到有风险或有挑战性的驾驶事件时提供。这可能再次导致驾驶员无法及时做出反应以避免风险。
3、此外，现有的adas反馈通常被设计为向驾驶员突出显示环境要素，而不一定显示驾驶员当前动作的后果。例如，现有的adas反馈可能会向驾驶员突出显示迎面而来的汽车，而不一定显示如果不采取规避动作将导致的碰撞。通常，现有的adas不会生成关于车辆在未来时间步中的预期行为或预期环境如何变化的详细预测。因此，除非采取规避动作，否则现有的adas反馈无法向驾驶员提供关于可能的未来风险如何发生的详细信息。其结果是，驾驶员可能无法充分认识到可能的未来风险。
4、在各种示例中，本专利技术描述了通过显示设备(例如hud)提供驾驶员辅助的系统和方法，特别是响应于预测的风险而提供驾驶员辅助的系统和方法。提供的驾驶员辅助包括增强现实(augmented reality，ar)视觉反馈，其中，表示实际车辆的未来状态的虚拟车辆被显示为实际环境视图上的覆盖物。例如，在通过hud提供ar反馈的情况下，可以将虚拟车辆的2d可显示视图投影到挡风玻璃上，以便通过挡风玻璃将虚拟车辆与现实世界环境结合观看。在另一个示例中，在通过车辆的仪表板显示器提供ar反馈的情况下，虚拟车辆可以在现实世界环境的实时前相机视图上显示为虚拟覆盖物。
5、本专利技术的示例提供了以下技术优势：ar反馈包括实时(或接近实时)响应实际车辆如何被控制的虚拟车辆，反映车辆的未来状态将如何受当前车辆控制的影响。这会向驾驶员提供反馈，以明确显示驾驶员当前动作的后果，而现有adas反馈是不可能实现这一点的。
6、本专利技术的示例还提供了风险预测系统的技术优势，所述风险预测系统将来自环境的3d地图、车辆运动动力学和车辆预测轨迹的信息集成到未来时间步的风险预测中。在一些示例中，虚拟环境重建系统可以使用集成信息来生成环境的虚拟重建，所述虚拟重建可以用作对应于一个或多个定义的未来时间步(以及当前时间步)的3d环境地图。然后，风险预测系统可以使用环境和车辆在定义数量的未来时间步上的详细物理模拟来生成风险预测。然后，使用风险预测生成更好地适合特定有风险场景的ar反馈。
7、在一些示例性方面中，本专利技术描述了一种方法，包括：获取车辆在当前时间步的当前车辆状态和表示所述车辆至少在所述当前时间步的环境的环境地图；生成增强现实反馈，所述增强现实反馈包括表示预测的未来车辆状态的虚拟车辆，其中，所述预测的未来车辆状态是基于所述当前车辆状态或所述环境地图中的至少一个，针对给定的未来时间步预测的；输出包括所述虚拟车辆的所述生成的增强现实反馈，由显示设备显示。
8、在所述方法的前述示例性方面的示例中，生成所述增强现实反馈可以包括：基于所述当前车辆状态，针对每个或多个未来时间步生成相应的预测的未来车辆状态；通过将定义的风险检查应用于对应所述给定的未来时间步的所述预测的未来车辆状态，来确定在所述给定的未来时间步的预测风险，所述定义的风险检查包括相对于所述环境地图，对应于所述给定的未来时间步的所述预测的未来车辆状态的风险检查；其中，所述增强现实反馈响应于确定所述预测的风险而生成。
9、在所述方法的前述示例性方面的示例中，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险可以包括：确定对应于所述给定的未来时间步的所述预测的未来车辆状态指示预测的车辆位置在距所述环境中检测到的对象的定义距离阈值内。
10、在所述方法的前述示例性方面的示例中，所述检测到的对象可以是所述环境中的动态对象，其中，可以基于所述动态对象的预测轨迹，确定所述预测的车辆位置在距所述动态对象的定义距离阈值内。
11、在所述方法的前述示例性方面的示例中，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险可以包括：计算所述车辆从所述给定的未来时间步到下一个未来时间步的未来轨迹；确定在所述未来轨迹上行驶的车辆与所述环境中的检测到的对象相交或邻接。
12、在所述方法的前述示例性方面的示例中，所述检测到的对象可以是所述环境中的动态对象，并且其中，可以基于所述动态对象的预测轨迹确定在所述未来轨迹上行驶的所述车辆与所述动态对象相交或邻接。
13、在所述方法的前述示例性方面的示例中，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险可以包括以下中的一项：确定对应于所述给定的未来时间步的所述预测的未来车辆状态的横摆角速度与预测的轨迹转首角速度不同，并且对应于所述给定的未来时间步的所述预测的未来车辆状态的偏航角的梯度与对应于所述给定的未来时间步的所述预测的未来车辆状态的转向角的梯度不同；或，确定对应于所述给定的未来时间步的所述预测的未来车辆状态的线速度大于定义的速度阈值。
14、在所述方法的前述示例性方面的示例中，生成所述增强现实反馈可以包括：生成指示所述预测风险的虚拟对象，所述虚拟对象被生成以相对于所述虚拟车辆显示。
15、在所述方法的前述示例性方面的示例中，生成所述增强现实反馈可以包括：基于检测到所述车辆的安全系统的激活来确定预测的风险；其中本文档来自技高网...
【技术保护点】
1.一种方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，生成所述增强现实反馈包括：
3.根据权利要求2所述的方法，其特征在于，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险包括：
4.根据权利要求3所述的方法，其特征在于，所述检测到的对象是所述环境中的动态对象，其中，基于所述动态对象的预测轨迹，确定所述预测的车辆位置在距所述动态对象的定义距离阈值内，并且其中，生成所述增强现实反馈包括：
5.根据权利要求4所述的方法，其特征在于，所述动态对象是所述环境中的另一车辆，并且，所述虚拟对象是表示所述另一车辆的另一虚拟车辆。
6.根据权利要求2所述的方法，其特征在于，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险包括：
7.根据权利要求6所述的方法，其特征在于，所述检测到的对象是所述环境中的动态对象，并且其中，基于所述动态对象的预测轨迹确定在所述未来轨迹上行驶的所述车辆与所述动态对象相交或邻接，并且其中，生成所述增强现实反馈包括：
8.根据权利
9.根据权利要求2所述的方法，其特征在于，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险包括以下中的至少一项：
10.根据权利要求2所述的方法，其特征在于，生成所述增强现实反馈包括：
11.根据权利要求1所述的方法，其特征在于，生成所述增强现实反馈包括：
12.根据权利要求1所述的方法，其特征在于，所述增强现实反馈响应于确定预测的风险而生成；所述增强现实反馈响应于确定所述预测的风险已经被避免而结束。
13.根据权利要求1所述的方法，其特征在于，所述方法还包括：
14.根据权利要求1所述的方法，其特征在于，所述给定的未来时间步是基于所述当前车辆状态中包括的所述车辆的当前速度选择的。
15.根据权利要求1所述的方法，其特征在于，所述显示设备是所述车辆的抬头显示。
16.一种车辆的车辆控制系统，其特征在于，所述车辆控制系统包括：
17.根据权利要求16所述的车辆控制系统，其特征在于，所述指令还通过以下操作使所述车辆控制系统生成所述增强现实反馈：
18.根据权利要求17所述的车辆控制系统，其特征在于，所述指令还使所述车辆控制系统通过以下操作，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险：
19.根据权利要求18所述的车辆控制系统，其特征在于，所述检测到的对象是所述环境中的动态对象，其中，基于所述动态对象的预测轨迹，确定所述预测的车辆位置在距所述动态对象的定义距离阈值内，并且其中，所述指令还通过以下操作使所述车辆控制系统生成所述增强现实反馈：
20.根据权利要求17所述的车辆控制系统，其特征在于，所述指令还使所述车辆控制系统通过以下操作，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险：
21.根据权利要求20所述的车辆控制系统，其特征在于，所述检测到的对象是所述环境中的动态对象，其中，基于所述动态对象的预测轨迹，确定在所述未来轨迹上行驶的所述车辆与所述动态对象相交或邻接，并且其中，所述指令还通过以下操作使所述车辆控制系统生成所述增强现实反馈：
22.根据权利要求17所述的车辆控制系统，其特征在于，所述指令还使所述车辆控制系统通过以下操作，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险：
23.根据权利要求16所述的车辆控制系统，其特征在于，所述指令还使所述车辆控制系统：
24.一种编码有指令的非瞬时性计算机可读介质，其特征在于，当所述指令由处理系统执行时，所述指令使所述系统：
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，生成所述增强现实反馈包括：
3.根据权利要求2所述的方法，其特征在于，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险包括：
4.根据权利要求3所述的方法，其特征在于，所述检测到的对象是所述环境中的动态对象，其中，基于所述动态对象的预测轨迹，确定所述预测的车辆位置在距所述动态对象的定义距离阈值内，并且其中，生成所述增强现实反馈包括：
5.根据权利要求4所述的方法，其特征在于，所述动态对象是所述环境中的另一车辆，并且，所述虚拟对象是表示所述另一车辆的另一虚拟车辆。
6.根据权利要求2所述的方法，其特征在于，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险包括：
7.根据权利要求6所述的方法，其特征在于，所述检测到的对象是所述环境中的动态对象，并且其中，基于所述动态对象的预测轨迹确定在所述未来轨迹上行驶的所述车辆与所述动态对象相交或邻接，并且其中，生成所述增强现实反馈包括：
8.根据权利要求7所述的方法，其特征在于，所述动态对象是所述环境中的另一车辆，并且，所述虚拟对象是表示所述另一车辆的另一虚拟车辆。
9.根据权利要求2所述的方法，其特征在于，通过应用所述定义的风险检查来确定在所述给定的未来时间步的所述预测风险包括以下中的至少一项：
10.根据权利要求2所述的方法，其特征在于，生成所述增强现实反馈包括：
11.根据权利要求1所述的方法，其特征在于，生成所述增强现实反馈包括：
12.根据权利要求1所述的方法，其特征在于，所述增强现实反馈响应于确定预测的风险而生成；所述增强现实反馈响应于确定所述预测的风险已经被避免而结束。
13.根据权利要求1所述的方法，其特征在于，所述方法还包括：
14.根据权利要求1所述...
【专利技术属性】
技术研发人员：塔斯林·阿雷芬·可汗，范思文，李维，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。