一种视觉和成像毫米波雷达点云融合方法、系统和设备技术方案

本申请公开了一种视觉和成像毫米波雷达点云融合方法、系统和设备，对目标检测跟踪，包括：S1、获取4D毫米波雷达点云、摄像头图像数据和车身信息数据；S2、图像检测节点处理图像数据得到目标2D检测框数据；S3、点云处理节点聚类点云，计算每团点云的2D框和图像检测框的大小，计算交并比得到与检测框关联的点云和无关联的点云；S4、UKF节点计算每个量测点概率得到加权结果，使用检测框关联目标，使用无迹卡尔曼滤波进行预测滤波；对有框无点和有点无框的目标设置波门，将航迹与波门内点关联，更新目标信息。本申请将图像传感器与4D毫米波雷达数据在决策层前融合，更多地利用传感器的数据信息，得到更好的跟踪效果。得到更好的跟踪效果。得到更好的跟踪效果。

【技术实现步骤摘要】
一种视觉和成像毫米波雷达点云融合方法、系统和设备


[0001]本申请涉及一种对目标检测跟踪的视觉和成像毫米波雷达点云融合方法、系统和设备，属于无人驾驶事件检测


技术介绍

[0002]在无人驾驶领域的事件检测算法中，为了避免复杂路况、极端天气等因素对视频事件检测技术的不利影响，综合4D毫米波雷达和视频监控在事件检测
的优势，将4D毫米波雷达探测技术与视频检测技术相融合，即雷视融合感知技术。
[0003]随着毫米波芯片技术的发展，应用于车载的毫米波雷达系统得到了大规模应用，4D毫米波雷达技术突破了传统车载雷达的局限性，可以以很高的分辨率同时探测目标的距离、速度、水平方位和俯仰方位，使得：一、最远探测距离大幅可达300多米，比激光雷达和视觉传感器都要远。
[0004]二、4D毫米波雷达系统水平角度分辨率较高，通常可以达到1 的角度分辨率，可以区分 300m 处的两辆近车。
[0005]三、4D毫米波雷达系统可以测量俯仰角度，可达到优于2
°
的角度分辨率，可在 150m 处区分地物和立交桥。
[0006]四、当有横穿车辆和行人，多普勒为零或很低时通过高精度的水平角和高精度的俯仰角可以有效识别目标。
[0007]五、目标点云更密集，信息更丰富，更适合与深度学习框架结合。
[0008]4D毫米波雷达另外还能够提供真实的路径规划，可以在300米以上的范围内创建道路的详细图像，捕捉和识别汽车周围物体的大小、位置和速度数据。
[0009]目前，在路端有基于雷视融合的交通流量采集、事件检测专业设备雷视一体机，但是相对于路端，车端进行雷视融合难度要明显增加，车端雷视融合要考虑自身车辆状态、复杂多变的道路、车辆遮挡等问题。现有的雷视融合大多使用深度学习确定识别目标、提取特征属性并跟踪运动轨迹，通过大量的数据对雷达和视频的AI模型进行融合训练，但无法取得很好的效果。也有在决策层进行雷视融合，但是融合过程没有充分利用到多个传感器的数据信息。
[0010]需要说明的是，上述信息仅用于加强对本申请的
技术介绍
的理解，上述信息可以包括不属于本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0011]本申请要解决的技术问题是现有的雷视融合大多使用深度学习确定识别目标、提取特征属性并跟踪运动轨迹，通过大量的数据对雷达和视频的AI模型进行融合训练，但无法取得很好的效果。
[0012]为了解决上述技术问题，本申请的技术方案是提供了一种视觉和成像毫米波雷达点云融合方法，对目标检测跟踪，包括以下步骤：
S1、获取4D毫米波雷达点云、图像数据和车身信息数据；S2、建立图像检测节点，图像检测节点获取图像数据，处理后得到目标2D检测框坐标、id、置信度、类别和检测框变化速度数据；S3、建立点云处理节点，点云处理节点获得图像数据、4D毫米波雷达点云、图像检测节点的数据和车身信息数据，选出在检测框内的点云并聚类点云，计算每团点云的2D框大小和图像检测框的大小，计算交并比，得到与检测框有关联的点云和没有关联的点云；S4、建立UKF节点，UKF节点获得点云处理节点的数据，计算每个量测点概率得到加权结果，使用检测框关联目标，使用无迹卡尔曼滤波进行预测滤波；对有框无点和有点无框的目标设置波门，将航迹与波门内点关联，更新目标信息。
[0013]优选的，步骤S2中，图像检测节点获取图像数据，以YOLOX
‑
X模型为权重检测并跟踪目标，得到目标2D检测框坐标值（t,l,w,h），检测框变化速度(vt,vl,va,vh)，目标类别label，目标置信度score，和目标跟踪id；其中，像素坐标系是图像左上角为坐标原点建立的坐标系，t是检测框的横坐标，l是纵坐标，w是宽，h是高，vt是横坐标变化速度，vl是纵坐标变化速度，va是宽/高比变化速度，vh是高度变化速度。
[0014]优选的，步骤S3中，点云处理节点获取图像数据、4D毫米波雷达点云、图像检测节点的数据和车身信息数据；通过车身信息数据提供的车身速度、俯仰角、翻滚角、相对速度算得目标对地速度，利用相邻帧时间差和检测框变化速度对检测框大小进行补偿，得到实时的检测框坐标，然后选出所有投影到2D平面后在检测框内的点云；对得到的点云以DBSCAN方式聚类，聚类过程如下：S31、确定两个参数：epsilon：在一个点周围邻近区域的半径；minPts：邻近区域内至少包含点的个数；S32、任意选择一个点，计算它的密度空间判断是否为核点；如果是，在该点周围建立一个类，否则，设定为外围点；S33、遍历其他点，直到建立一个类；把直接密度可达的点加入到类中，接着把密度可达的点也加进来；如果标记为外围的点被加进来，修改状态为边缘点；S34、重复步骤S32和S33，直到所有的点满足在类中或者为外围点；S35、利用轮廓函数对算法进行评估，得出最优参数；然后计算每一团点云投影到2D平面后的矩形框，再获得每个检测框的边界，计算点云矩形框与检测框的交并比；对于每团点云，选择具有最大交并比的检测框，将检测框信息与这团点云关联，输出坐标、速度、id、label、score信息；对于交并比为0的点云，只输出坐标和速度信息。
[0015]优选的，步骤S4中，UKF节点获取点云处理节点的数据，处理过程如下：S41、初始化目标，将有id且id相同的一团点云初始化为一个目标，量测值为init_x，init_y，init_v，分别表示点云中最近点的横坐标、纵坐标和相对速度；S42、对于无迹变换，就是在原状态分布中，按照规则选取一定的采样点；将这些采样点带入非线性函数中，得到非线性函数值点集，通过这些点集求取变换后的均值和协方差；这里选取2L+1（）个点和对应权重，计算方法如下：）个点和对应权重，计算方法如下：i=1,
…
,L
i=L+1,
…
,2L,2L,2Li=1,
…
,2LX_sig表示6行2L+1列的矩阵，X_sig的第i列为：]其中表示求期望时第1个点的权值，表示求方差时第1个点的权值，表示求期望时第i个点的权值，表示求方差时第i个点的权值，是状态向量，是状态协方差矩阵，是一个尺度参数，取很小正值，k一般取0，对于高斯分布取2最优，中i表示取矩阵的第i行， p_x，，，p_y,,分别表示横坐标、沿x方向速度，沿x方向加速度、纵坐标、沿y方向速度，沿y方向加速度；S43、UKF的预测采用CA模型，包括p_x，，，p_y,,六个状态值，为相邻帧时间差，状态转移函数如下：差，状态转移函数如下：差，状态转移函数如下：差，状态转移函数如下：差，状态转移函数如下：差，状态转移函数如下：其中，xp、yp、、、、分别表示预测后的横坐标、纵坐标、沿x方向速度、沿y方向速度、沿x方向加速度、沿y方向加速度；S44、量测方程为：S44、量测方程为：S44、量测方程为：若；其中z_xp、z_yp、z_vp分别表示预测的量测值的横坐标、纵坐标、速度；S45、对于有id的点云都与相同id的航迹关联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉和成像毫米波雷达点云融合方法，对目标检测跟踪，其特征在于，包括以下步骤：S1、获取4D毫米波雷达点云、图像数据和车身信息数据；S2、建立图像检测节点，图像检测节点获取图像数据，处理后得到目标2D检测框坐标、id、置信度、类别和检测框变化速度数据；S3、建立点云处理节点，点云处理节点获得图像数据、4D毫米波雷达点云、图像检测节点的数据和车身信息数据，选出在检测框内的点云并聚类点云，计算每团点云的2D框大小和图像检测框的大小，计算交并比，得到与检测框有关联的点云和没有关联的点云；S4、建立UKF节点，UKF节点获得点云处理节点的数据，计算每个量测点概率得到加权结果，使用检测框关联目标，使用无迹卡尔曼滤波进行预测滤波；对有框无点和有点无框的目标设置波门，将航迹与波门内点关联，更新目标信息。2.如权利要求1所述的一种视觉和成像毫米波雷达点云融合方法，其特征在于，步骤S2中，图像检测节点获取图像数据，以YOLOX
‑
X模型为权重检测并跟踪目标，得到目标2D检测框坐标值（t,l,w,h），检测框变化速度(vt,vl,va,vh)，目标类别label，目标置信度score，和目标跟踪id；其中，像素坐标系是图像左上角为坐标原点建立的坐标系，t是检测框的横坐标，l是纵坐标，w是宽，h是高，vt是横坐标变化速度，vl是纵坐标变化速度，va是宽/高比变化速度，vh是高度变化速度。3.如权利要求2所述的一种视觉和成像毫米波雷达点云融合方法，其特征在于，步骤S3中，点云处理节点获取图像数据、4D毫米波雷达点云、图像检测节点的数据和车身信息数据；通过车身信息数据提供的车身速度、俯仰角、翻滚角、相对速度算得目标对地速度，利用相邻帧时间差和检测框变化速度对检测框大小进行补偿，得到实时的检测框坐标，然后选出所有投影到2D平面后在检测框内的点云；对得到的点云以DBSCAN方式聚类，聚类过程如下：S31、确定两个参数：epsilon：在一个点周围邻近区域的半径；minPts：邻近区域内至少包含点的个数；S32、任意选择一个点，计算它的密度空间判断是否为核点；如果是，在该点周围建立一个类，否则，设定为外围点；S33、遍历其他点，直到建立一个类；把直接密度可达的点加入到类中，接着把密度可达的点也加进来；如果标记为外围的点被加进来，修改状态为边缘点；S34、重复步骤S32和S33，直到所有的点满足在类中或者为外围点；S35、利用轮廓函数对算法进行评估，得出最优参数；然后计算每一团点云投影到2D平面后的矩形框，再获得每个检测框的边界，计算点云矩形框与检测框的交并比；对于每团点云，选择具有最大交并比的检测框，将检测框信息与这团点云关联，输出坐标、速度、id、label、score信息；对于交并比为0的点云，只输出坐标和速度信息。4.如权利要求3所述的一种视觉和成像毫米波雷达点云融合方法，其特征在于，步骤S4中，UKF节点获取点云处理节点的数据，处理过程如下：S41、初始化目标，将有id且id相同的一团点云初始化为一个目标，量测值为init_x，init_y，init_v，分别表示点云中最近点的横坐标、纵坐标和相对速度；S42、对于无迹变换，就是在原状态分布中，按照规则选取一定的采样点；将这些采样点
带入非线性函数中，得到非线性函数值点集，通过这些点集求取变换后的均值和协方差；这里选取2L+1（）个点和对应权重，计算方法如下：）个点和对应权重，计算方法如下：
ꢀꢀꢀ
i=1,
…
,L
ꢀꢀ
i=L+1,
…
,2L,...

【专利技术属性】
技术研发人员：赵丁甲，陆新飞，李家松，薛旦，史颂华，刘畅，
申请(专利权)人：上海几何伙伴智能驾驶有限公司，
类型：发明
国别省市：