本发明专利技术公开了一种基于毫米波雷达和视频融合的车辆检测方法。本发明专利技术是通过毫米波雷达检测目标车辆的速度、距离、角度信息，摄像头检测目标车辆的位置和类型，然后在时间和空间上将毫米波雷达和摄像头完成对准，得到最终的检测结果。此方法可广泛应用于智能交通系统、车路协同系统等领域，以改善无信号交叉口的交通状况，为交叉口的协同优化控制提供重要的技术方法支撑。方法支撑。方法支撑。
【技术实现步骤摘要】
一种基于毫米波雷达和视频融合的车辆检测方法
[0001]本专利技术涉及智能交通系统、车路协同系统
，尤其涉及一种基于毫米波雷达和视频融合的车辆检测方法。
技术介绍
[0002]近年来，随着智能交通系统的发展，路侧服务越来越广泛的应用于城市道路交通系统。目前，城市中许多无信号交叉口缺乏信号控制，交通流混乱，易发生交通事故，亟需交通管理与控制手段。而现阶段基于视频或毫米波雷达的车辆检测都存在一定的问题，从硬件上看，雷达对目标的识别能力有限，检测的过程中会出现虚警和漏检的现象，摄像头的检测距离有限，而且易受天气影响，而能够规避一定硬件影响的目标检测算法通常复杂度较高，运算速度较慢。传统的行车轨迹预测要依托大量数据，虽然精确度高，但是较为复杂、实时性差，而在硬件设备不足的情况下，难以提供大量数据做支持。因此，为了得到更加精确的车辆轨迹数据，亟需提出一种基于毫米波雷达和视频融合的车辆检测方法，获得精确的目标车辆通过无信号交叉口的位置信息，进而进行冲突的判定，以改善无信号交叉口的交通状况，为交叉口的协同优化控制提供重要的技术方法支撑。
技术实现思路
[0003]本专利技术目的就是为了弥补已有技术的缺陷，提供一种基于毫米波雷达和视频融合的车辆检测方法，以解决现有技术无法在交叉口精确获得车辆轨迹数据的问题。
[0004]本专利技术是通过以下技术方案实现的：
[0005]一种基于毫米波雷达和视频融合的车辆检测方法，具体包括以下步骤：
[0006](1)空间坐标对准：引入视频数据和毫米波雷达数据，将视频和雷达坐标统一，将雷达坐标定位到图像数据上；
[0007](2)时间坐标对准；采取多线程的方式完成时间坐标的对准；
[0008](3)数据融合方法；使用基于检测框重叠比的数据融合算法，对毫米波雷达数据和视频数据进行分析，根据二者重合部分，选取更加准确的数据，形成新的检测框。
[0009]步骤(1)所述的空间坐标对准，具体步骤如下：
[0010]首先，引入摄像头的内部参数矩阵M
in
和外部参数矩阵M
out
；
[0011]f
x
、f
y
分别称为u轴和v轴上的归一化焦距，u0和v0为图像中心；
[0012]外部参数矩阵M
out
包括俯仰、偏航和滚转三参数a＝pitch*π/180，b＝yaw*π/180，c＝roll*π/180；pitch、yaw、roll分别代表摄像头的俯仰角、偏航角和滚转角；
[0013][0014]并将二者相乘：
[0015]M
multi
＝M
in
*M
out
，M
multi
表示内部参数矩阵与外部参数矩阵乘积；
[0016]其次，引入毫米波雷达的四个矫正系数X
r
，Y
r
，Z
r
，Z
c
，以及毫米波雷达的俯仰角pitch
r
和毫米波雷达的安装高度h
r
，其表达式如下：
[0017]X
r
＝DistLat；
[0018][0019]Z
r
＝DistLong；
[0020]Z
c
＝
‑
cosa*sinb*cosc*sina*sinc*X
r
+cosa*sinb*sine*sina*cosc*Y
t
+cosa*cosb*Z
r
+0.12
[0021]；DistLat和DistLong分别代表横向距离和纵向距离；
[0022]并用一个矩阵存储：D＝(X
r
，Y
r
，Z
r
，1)；
[0023]最后，将视频和雷达坐标统一，将雷达坐标定位到图像数据上
[0024]u
r
＝M
multi
*D(0，0)/Z
c
[0025]v
r
＝M
multi
*D(1，0)/Z
c
。u
r
和v
r
分别代表雷达框中心横坐标和纵坐标。
[0026]步骤(2)所述的采取多线程的方式完成时间坐标的对准，具体步骤如下：
[0027](a)由于视频帧快于毫米波雷达帧，应让视频帧等待毫米波雷达数据，因此当视频数据线程处理数据后，将视频数据存入队列；
[0028](b)当毫米波雷达获取信息，经过毫米波雷达线程处理并向融合线程传输时，同时向视频线程发送一条命令，也向融合线程传递最新存储的视频信息；
[0029](c)融合线程将最新收集的视频数据和毫米波雷达数据融合，完成时间上的对准。
[0030]完成坐标的对准之后，对两者的数据进行融合。毫米波雷达会获得目标的中心点以及长宽，但由于校准的不精确和实际的误差，毫米波雷达获得的中心点与目标真正的中心位置有所差别，而再与目标长宽结合，会造成检测框有较大的偏移。视频数据会获得相对精确的检测框，根据两者的交并获得最终的检测结果。
[0031]本专利技术的优点是：本专利技术用于解决在无信号交叉口下可以精确的获取目标车辆的位置信息；本专利技术是通过毫米波雷达检测目标车辆的速度、距离、角度信息，摄像头检测目标车辆的位置和类型，然后在时间和空间上将毫米波雷达和摄像头完成对准，得到最终的检测结果，可广泛应用于智能交通系统、车路协同系统等领域，为交叉口的协同优化控制提供重要的技术方法支撑。
附图说明
[0032]图1是本专利技术流程图；
[0033]图2是本专利技术实施例中融合后结果示意图。
具体实施方式
[0034]如图1所示，本实施例所述的一种基于毫米波雷达和视频融合的车辆检测方法，包括以下步骤：
[0035](1)空间坐标对准；首先，引入摄像头的内部参数矩阵Min和外部参数矩阵M
out
。
[0036][0037]外部参数矩阵包括俯仰、偏航和滚转三参数a＝pitch*π/180，b＝yaw*π/180，c＝roll*π/180。
[0038][0039]并将二者相乘：
[0040]M
multi
＝M
in
*M
out
[0041]其次，引入毫米波雷达的四个矫正系数X
r
，Y
r
，Z
r
，Z
c
，以及毫米波雷达的俯仰角pitch
r
、毫米波雷达的安装高度h
r
，其表达式如下：
[0042]X
r
＝DistLat；
[0043][0044]Z
r
＝DistLong；
[0045]Z
c<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于毫米波雷达和视频融合的车辆检测方法，其特征在于：具体包括以下步骤：(1)空间坐标对准：引入视频数据和毫米波雷达数据，将视频和雷达坐标统一，将雷达坐标定位到图像数据上；(2)时间坐标对准：采取多线程的方式完成时间坐标的对准；(3)数据融合方法；使用基于检测框重叠比的数据融合算法，对毫米波雷达数据和视频数据进行分析，根据二者重合部分，选取更加准确的数据，形成新的检测框。2.根据权利要求1所述的一种基于毫米波雷达和视频融合的车辆检测方法，其特征在于：步骤(1)所述的空间坐标对准，具体步骤如下：首先，引入摄像头的内部参数矩阵M
in
和外部参数矩阵M
out
；其中，f
x
、f
y
分别称为u轴和v轴上的归一化焦距，u0和v0为图像中心；外部参数矩阵M
out
包括俯仰、偏航和滚转三参数a＝pitch*π/180，b＝yaw*π/180，c＝roll*π/180；pitch、yaw、roll分别代表摄像头的俯仰角、偏航角和滚转角；并将二者相乘：M
multi
＝M
in
*M
out
，M
multi
表示内部参数矩阵与外部参数矩阵乘积；其次，引入毫米波雷达的四个矫正系数X
r
，Y
r
，Z
r
，Z
c
，以及毫米波雷达的俯仰角pitch
r
和毫米波雷达的安装高度h
r
，其表达式如下...
【专利技术属性】
技术研发人员：张俊杰，杨灿，常屹卓，于海洋，任毅龙，
申请(专利权)人：北京航空航天大学合肥创新研究院北京航空航天大学合肥研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。