传感器数据的基于多假设的融合制造技术

本文档描述基于多假设的数据融合跟踪器。每一个假设都与不同的伪测量类型一致。融合跟踪器使用与雷达关联的预定义的误差协方差自动确定哪个伪测量类型在当前情况下更有可能是准确的。融合跟踪器可以依赖于两个相组合的雷达和视觉计算中的任一个，或融合跟踪器可以忽略基于视觉的伪测量而相反地仅依赖于雷达伪测量。通过在三个不同的边界框(基于视觉角度的框、基于视觉横向位置的框或者仅基于雷达的框)之间进行选择，即使在拥挤的交通或其他高流量情况下，融合跟踪器也可以在绘制、重新定位或调整边界框大小时平衡准确度和速度。定位或调整边界框大小时平衡准确度和速度。定位或调整边界框大小时平衡准确度和速度。

【技术实现步骤摘要】
传感器数据的基于多假设的融合

技术介绍

[0001]在一些汽车中，传感器融合系统或所谓的“融合跟踪器”组合从多个传感器获得的信息以描绘围绕可阻碍行驶的对象的边界框。相组合的传感器数据可更好地估计各种条件下每个对象在视场(FOV)内的位置。调整这些边界框的大小或者重新定位这些边界框通常涉及使用昂贵的硬件，这些硬件可关联低级跟踪并以足够的速度融合传感器数据，以支持用于自主控制或半自主控制的计算机决策。一些融合跟踪器根据误差协方差对低级跟踪进行加权。误差协方差通常从视觉相机获得，且可能不是在所有驾驶场景中都是可靠的。可使用扩展卡尔曼滤波器(EKF)降低数据融合的复杂性。为了最大化性能，EKF可以关注最线性的传感器数据；EKF可能会错过相关性，或者显得不太准确，放弃大量速度的传感器数据。

技术实现思路

[0002]本文档描述了对传感器数据的基于多假设的融合。在一个示例中，一种方法包括由传感器融合系统根据从第一组传感器获得的第一传感器数据确定多个第一对象跟踪。所述方法进一步包括由传感器融合系统根据从第二组传感器获得的第二传感器数据确定一组第二对象跟踪。在所述方法中还包括从多个伪测量类型中选择伪测量类型，选择的该伪测量类型比来自多个伪测量类型的每个其他伪测量类型更有可能是准确的，所述选择至少部分地基于与所述第一组传感器相关联的预定义的误差协方差。所述方法进一步包括使用伪测量类型来确定由多个第一对象跟踪和一组第二对象跟踪表示的边界框。所述方法接着将边界框的指示输出为：来自多个第一对象跟踪的一个或多个对象跟踪与来自一组第二对象跟踪的至少一个对象跟踪之间的匹配。
[0003]在一个示例中，系统包括配置用于执行本文所述的此方法和其他方法的处理器。在另一示例中，描述了包括用于执行该方法和其他方法的装置的系统。本文档还描述了具有指令的非瞬态计算机可读存储介质，这些指令在被执行时配置处理器以执行上述总结的方法和本文所述的其他方法。
[0004]本
技术实现思路
介绍了对传感器数据的基于多假设的融合的简化概念，下面将在具体实施方式和附图中进一步描述该简化概念。本
技术实现思路
并非旨在标识出要求保护的主题的必要特征，亦非旨在用于确定要求保护的主题的范围。因此，虽然在改进融合跟踪器匹配算法的情境中进行主要描述，然而对传感器数据的基于多假设的融合也可应用于其中期望以高速率来匹配多个低级跟踪的其他应用。
附图说明
[0005]在本文档中参照以下附图描述了对传感器数据的基于多假设的融合的一个或多个方面的细节。贯穿附图通常使用相同的数字来引用相似的特征和部件。图1示出了根据本公开内容的技术的示例环境，在该示例环境中，系统被配置为执行对传感器数据的基于多假设的融合。图2示出了根据本公开内容的技术的被配置为执行对传感器数据的基于多假设的
融合的汽车系统的示例。图3示出了来自图1
‑
1的更详细地进行显示的环境。图4
‑
1和图4
‑
2示出了根据本公开内容的技术的在对传感器数据的基于多假设的融合下定义的示例伪边界框。图5示出了根据本公开内容的技术的用于对传感器数据的基于多假设的融合的示例方法。
具体实施方式
概述
[0006]确定不同传感器跟踪(例如雷达、视觉相机、激光雷达)之间的高级匹配可能是具有挑战性的。单个对象周围的边界框可对应于一个或多个低级对象跟踪，所述一个或多个低级对象跟踪由具有重叠的或几乎相邻的FOV的多个传感器融合而成。在拥挤场景(其中，在组合视场中可识别多个对象)中，融合跟踪器可能难以尝试在多个附近对象周围调整边界框的大小和定位边界框。这些边界框的准确度可能让人怀疑。在依赖这些数据之前，一些融合跟踪器可根据从视觉相机获得的误差协方差来对对象跟踪进行加权。然而，作为一个实际问题，该误差协方差对于融合跟踪而言并非总是可靠的。EKF可有助于性能，但要改善速度，则不使用大量低级跟踪数据，低级跟踪数据对改善边界框准确度没有作用。
[0007]传感器可输出伪测量，以帮助融合跟踪器计算被分配给对象的边界框的位置和尺寸。伪测量可具有不同程度的准确度；从视觉相机输出的伪测量可能不如例如雷达准确。从视觉相机输出的范围或纵向位置可能在前向驾驶情景中无法使用。即便如此，视觉角度或者基于视觉的横向位置可能对于大多数情况是足够的，并且可帮助将边界框定位至正确参考点。另一方面，对于距离和边界框计算，雷达可能比这些基于视觉的伪状态更可靠且准确。因此，当评估来自特定类型传感器的伪测量是否应当用于相对定位估计时，存在有多个假设要考虑。
[0008]根据本公开内容的技术和系统，描述了一种基于多假设的数据融合跟踪器。每一个假设都与不同的伪测量类型一致。融合跟踪器使用与雷达关联的预定义误差协方差自动确定哪个伪测量类型在当前情况下更有可能是准确的。融合跟踪器可依赖于两个相组合的雷达和视觉计算中的一个，或者融合跟踪器可忽略基于视觉的伪测量，而是仅依赖于雷达伪测量。通过在三个不同的边界框(基于视觉角度的框、基于视觉横向位置的框或者仅基于雷达的框)之间进行选择，即使在拥挤的交通或其他高流量情况下，融合跟踪器也可以在绘制、重新定位或调整边界框大小时平衡准确度和速度。示例环境
[0009]图1示出了根据本公开内容的技术的示例环境100，在示例环境100中，系统102被配置为执行对传感器数据的基于多假设的融合。在所描绘的环境100中，系统102是汽车。有时也称为交通工具102，系统102可以表示任何类型的装置或机械，包括可用于各种目的的有人系统和无人系统。交通工具102的一些非详尽和非限制性示例包括摩托车、公共汽车、拖拉机、半挂车、水运工具、飞行器或其他装备或机器。
[0010]对象可位于交通工具102附近，例如，图1描绘了在交通工具102的前方并以与交通工具102相同的方向行驶的另一交通工具110。利用传感器融合系统104，交通工具102具有
仪器FOV 114，仪器FOV 114涵盖另一交通工具110。传感器融合系统104可从交通工具102的任何外表面捕获FOV 114。制造商可定位与传感器融合系统104相接的雷达和视觉相机组件，以使传感器融合系统104具有特定的FOV。例如，以某种方式定位雷达和/或视觉相机可确保传感器融合系统104的FOV包括在交通工具102可能行驶的道路上方(above)、该道路附近或该道路上(on)的区域。制造商可将传感器融合系统104的至少一部分集成到侧视镜、保险杠、车顶或交通工具102的任何其他部分。
[0011]传感器融合系统104包括融合模块108和一个或多个传感器接口106，传感器接口106包括雷达接口106
‑
1和视觉相机接口106
‑
2。尽管未在图1中精确示出，但融合模块108在处理器或其他硬件上执行。在执行期间，融合模块108可基于在雷达接口106
‑
1和视觉相机接口106
‑
2处获得的传感器数据来跟踪对象。雷达接口106
‑
1从交通工具102的至少一个雷达接收雷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：由传感器融合系统根据从第一组传感器获得的第一传感器数据，来确定多个第一对象跟踪；由所述传感器融合系统根据从所述第二组传感器获得的第二传感器数据，来确定一组第二对象跟踪；从多个伪测量类型中选择伪测量类型，选择的所述伪测量类型比来自所述多个伪测量类型的每个其他伪测量类型具有更大可能性是准确的，所述选择至少部分地基于与所述第一组传感器相关联的预定义的误差协方差；使用所述伪测量类型来确定由所述多个第一对象跟踪和所述一组第二对象跟踪表示的边界框；以及将所述边界框的指示输出为：来自所述多个第一对象跟踪的一个或多个对象跟踪与来自所述一组第二对象跟踪的至少一个对象跟踪之间的匹配。2.如权利要求1所述的方法，其特征在于，所述第一组传感器与所述第二组传感器不同。3.如权利要求1所述的方法，其特征在于，所述第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，并且所述第二组传感器包括一个或多个视觉传感器，所述一个或多个视觉传感器包括光学相机或红外相机。4.如权利要求1所述的方法，其特征在于，从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：选择第一伪测量，所述第一伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达范围导出，并且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉角度导出。5.如权利要求4所述的方法，其特征在于，到所述边界框的参考点(x,y)在x方向上表示为所述雷达范围与所述视觉角度的余弦之间的乘积，并且在y方向上表示为所述雷达范围与所述视觉角度的正弦之间的乘积。6.如权利要求1所述的方法，其特征在于，从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：选择第二伪测量，所述第二伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达范围导出，并且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉横向位置导出。7.如权利要求6所述的方法，其特征在于，到所述边界框的参考点(x,y)在x方向上表示为所述雷达范围的平方和所述视觉横向位置的平方之间的差的平方根，并且在y方向上表示为所述视觉横向位置的乘积。8.如权利要求1所述的方法，其特征在于，从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：选择第三伪测量，所述第三伪测量从包括由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达范围的雷达信息导出，并且不从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉角度或者视觉横向位置导出。9.如权利要求8所述的方法，其特征在于，到所述边界框的参考点(x,y)在y方向上表示为所述雷达距离。
10.如权利要求1所述的方法，其特征在于，从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：确定第一伪测量的第一概率，所述第一伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪所指示的雷达范围导出，并且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉角度导出；确定第二伪测量的第二概率，所述第二伪测量从所述雷达范围导出，并且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉横向位置导出；确定第三伪测量的第三概率，所述第三伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达信息导出，所述雷达信息包括所述雷达距离，所述第三伪测量不进一步从所述视觉角度...

【专利技术属性】
技术研发人员：曹年霞，王校辉，
申请(专利权)人：安波福技术有限公司，
类型：发明
国别省市：