一种双目相机数据与雷达数据融合方法及系统技术方案

本发明专利技术公开一种双目相机数据与雷达数据融合方法及系统，涉及路口智能车辆管理领域，包括：在数据关联前，将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波，并考虑雷达传感器和双目相机在角度向和距离向的误差大小，在在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合，同时关联算法针对不同传感器设置了不同权重，从而提升了相机与雷达传感器的数据融合效果，同时在设备方位向具有较高的分辨能力。高的分辨能力。高的分辨能力。

【技术实现步骤摘要】
一种双目相机数据与雷达数据融合方法及系统


[0001]本专利技术涉及路口智能车辆管理领域，特别涉及一种双目相机数据与雷达数据融合方法及系统。

技术介绍

[0002]随着城市汽车数量的不断增加，路况也越发复杂，尤其是在各种路口区域，车辆、非机动车、行人等汇聚在一起，因此通常通过雷达结合相机的方式对多个路口的车辆目标进行跟踪与检测。为了能够更好地将雷达采集的目标点的数据与相机采集到的目标点的数据相结合。
[0003]目前在进行多传感器数据融合时，在动态交通中的融合方案中，通常采用激光雷达与视频数据进行融合，但是激光雷达造价昂贵，无法应用于对成本要求较高的全息路口场景中；在静态交通中传统全息路口传感器融合方案有多相机纯视觉方案、单目相机与毫米波雷达融合方案等，然而多相机纯视觉方案受光照影响强烈，不具备全天时全天候的特点；而单目相机与毫米波雷达融合过程中，单目相机需要对图片进行透视变换获得物体的位置深度信息，此过程误差较大，此外，毫米波雷达的角分辨能力较差，从而导致单目相机和与毫米波雷达数据融合效果不佳。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种双目相机数据与雷达数据融合方法及系统，可以解决现有获取的雷达安装角的误差较大的问题。
[0005]为实现上述目的，一方面，本专利技术提供一种双目相机数据与雷达数据融合方法，所述方法包括：
[0006]对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据；
[0007]从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域；
[0008]将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波；
[0009]在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
[0010]进一步地，所述从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域的步骤包括：
[0011]根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷达数据对应的感兴趣区域。
[0012]进一步地，所述在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波的步骤包括：
[0013]根据双目相机和雷达监控的目标在极坐标系中上一帧的距离、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波。
[0014]进一步地，所述根在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波的步骤包括：
[0015]根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波。
[0016]进一步地，所述在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合的步骤包括：
[0017]根据雷达的测量误差级别、相机的测量误差级别、以及双目相机与雷达在极坐标系下的距离差值和角度差值，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
[0018]另一方面，本专利技术提供一种双目相机数据与雷达数据融合系统，所述系统包括：
[0019]标定单元，用于对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据；
[0020]选择单元，用于从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域；
[0021]滤波单元，用于将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波；
[0022]融合单元，用于在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
[0023]进一步地，所述选择单元，具体用于根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷达数据对应的感兴趣区域。
[0024]进一步地，所述滤波单元，具体用于根据双目相机和雷达监控的目标在极坐标系中上一帧的距离、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波。
[0025]进一步地，所述滤波单元，具体还用于根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波。
[0026]进一步地，所述融合单元，具体用于根据雷达的测量误差级别、相机的测量误差级别、以及双目相机与雷达在极坐标系下的距离差值和角度差值，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。
[0027]本专利技术提供的一种双目相机数据与雷达数据融合方法及系统，在数据关联前，将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波，并考虑雷达传感器和双目相机在角度向和距离向的误差大小，在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合，同时关联算法针对不同传感器设
置了不同权重，从而提升了相机与雷达传感器的数据融合效果，同时在设备方位向具有较高的分辨能力。
附图说明
[0028]图1是本专利技术提供的一种双目相机数据与雷达数据融合方法的流程图；
[0029]图2是本专利技术提供的一种双目相机数据与雷达数据融合系统的结构示意图；
[0030]图3为本专利技术提供的路口数据雷视数据采集示意图；
[0031]图4为本专利技术提供的毫米波雷达和双目相机数据关联示意图。
具体实施方式
[0032]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
[0033]如图1所示，本专利技术实施例提供的一种双目相机数据与雷达数据融合方法，包括如下步骤：
[0034]101、对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据。
[0035]其中，本专利技术实施例的数据采集示意图可以如图3所示，雷视机可以安装在路口两侧高度约5米的灯杆处，雷视机可以由毫米波雷达和双目相机组成。具体地，获取毫米波雷达和双目相机的数据后，首先对其数据进行标定，标定的过程包含传感器的单独标定和联合标定。对于雷达，其具有安装误差包括(E
x
,E
y
,E
θ
)。依据初步的检测结果，选取某直线运动的车辆，将雷达检测结果投影到含有车道线信息的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目相机数据与雷达数据融合方法，其特征在于，所述方法包括：对双目相机数据与雷达数据进行联合标定，得到相同时空坐标系下的双目相机数据与雷达数据；从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域；将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下，并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波；在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合。2.根据权利要求1所述的一种双目相机数据与雷达数据融合方法，其特征在于，所述从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域的步骤包括：根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷达数据对应的感兴趣区域。3.根据权利要求1所述的一种双目相机数据与雷达数据融合方法，其特征在于，所述在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波的步骤包括：根据双目相机和雷达监控的目标在极坐标系中上一帧的距离、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波。4.根据权利要求1所述的一种双目相机数据与雷达数据融合方法，其特征在于，所述根在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波的步骤包括：根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、运动参数信息、相邻帧的时间差、以及高斯噪声的标准差，在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波。5.根据权利要求1所述的一种双目相机数据与雷达数据融合方法，其特征在于，所述在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联融合的步骤包括：根据雷达的测量误差级别、相机的测量误差级别、以及双目相机与雷达在极坐标系下的距离差值和...

【专利技术属性】
技术研发人员：闫军，李孟迪，王伟，
申请(专利权)人：智慧互通科技股份有限公司，
类型：发明
国别省市：