一种基于激光雷达和视频技术互补的车辆轨迹提取方法技术

本发明专利技术提供了一种基于激光雷达和视频技术互补的车辆轨迹提取方法，包括：构建雷达一体化设备；根据高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；基于激光雷达采集设备将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；融合对象及行为数据库和基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；对标定的对象进行识别与跟踪，从而输出轨迹数据库。本发明专利技术能够为道路交通运行及风险识别提供数据基础，为交通管理部门评价和管理驾道路交通提供科学的依据。部门评价和管理驾道路交通提供科学的依据。部门评价和管理驾道路交通提供科学的依据。

【技术实现步骤摘要】
一种基于激光雷达和视频技术互补的车辆轨迹提取方法


[0001]本专利技术涉及道路交通检测领域，特别是涉及一种基于激光雷达和视频技术互补的车辆轨迹提取方法。

技术介绍

[0002]道路交通数据的采集一直是研究道路交通运营以及安全的数据基础，以往的数据多采用模拟数据或者自然驾驶数据等方法对道路交通数据进行采集，由于采集范围受限，数据真实性不高等原因，导致无法获得高精度、多维度及时空状态连续的全时全要素数据。随着雷达技术、图像分析技术以及传感技术的更新迭代，为获取更好精度，实时全要素的道路交通数据提供了可能，但现阶段雷达和视频对于数据采集各有侧重点，通过融合雷达及视频数据，为雷达提供对象编码，为视频提供精确的距离与位置数据，能有效提升道路交通数据采集的精确性以及连续性，构建实时连续的全时全要素道路交通研究数据库，为研究道路交通运营及安全提供良好的数据基础与技术支撑。
[0003]目前我国在采用雷达或者数据对道路交通数据进行采集仍存在不少问题，主要表现为：数据预处理常通过云端计算器进行，无法实现道路交通状态的实时判断以及决策，延误了处置时间；单纯用雷达进行道路交通状态识别容易造成识别对象不清晰，且无法获取关键的车牌等异质性参数；单纯使用视频对道路交通数据进行采集受到天气等状态的影响，无法实现对象的精准捕捉与识别；雷达与视频数据的融合并没有固定且先进的算法支撑，难以构建完整的虚拟对象与实际对象的映射比例，导致识别效果不佳。近年随着我国经济实力不断增强，特别是信息技术的飞速发展，带动了大量的行业变革，机器学习和人工智能技术迅猛突破，以激光雷达以及高清摄像头为代表的数据采集手段不断更新，且针对于雷达与视频的融合技术也在不断积淀，边缘计算技术不断优化，已经基本可以实现激光雷达与视频的映射与数据融合，因此有必要针对道路交通运行状态，基于激光雷达和视频数据实现车辆轨迹提取，服务于道路交通状态识别与处置，以提升事故的防范和处置能力。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术的目的是提供一种基于激光雷达和视频数据的车辆轨迹提取方法，解决因为雷达与视频各自的技术短板导致的识别效果不佳的现状，提升道路交通数据采集效果，提出实现实时连续的全时全要素道路交通轨迹数据库构建的方法。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于激光雷达和视频技术互补的车辆轨迹提取方法，包括：
[0007]构建雷达一体化设备；所述雷达一体化设备包括高清视频设备和激光雷达采集设备；
[0008]根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；
[0009]基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；
[0010]融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；
[0011]对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。
[0012]优选地，所述雷达一体化设备采用边缘计算设备，所述雷达一体化设备用于实时获取雷达点云数据以及视频数据，并计算出当前环境、天气以及道路信息，实现车辆实时位置、车速、加速度等信息采集，监测车辆行驶路线、行驶状态，对车辆停留点、场外行驶点、超速行驶、急加速、急减速判定。
[0013]优选地，根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库，包括：
[0014]设定关键帧，并定义读取速率为24Hz，采用OpenCV算法中的VideoCapture函数，进行视频关键帧提取；
[0015]将读取的关键帧以图像方式保存在后台数据库，基于cvtColor函数，将RGB的图像转换成灰度图；
[0016]采用卡尔曼滤波函数对图像噪声进行过滤；
[0017]采用OpenCV中Canny边缘检测函数，过滤得到图像中的边缘；
[0018]采用fillConvexPoly函数生成梯形梯形掩模区域，然后与原图进行bitwise_and操作，得到感兴趣区域内的边缘检测图，以标记车道线信息以及车辆环境要素信息；
[0019]基于车道线信息，使用OpenCV中HoughLines函数，通过像素点找到图中的直线；
[0020]根据图中的直线识别边界，并对图像内各要素进行标记，通过DBSCEAN聚类算法实现车辆、道路环境信息聚类，以构建基础图像信息数据库。
[0021]优选地，基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库，包括：
[0022]获取所述关键雷达数据信息；
[0023]根据所述关键雷达数据信息标记关键帧，基于当前时间点关键帧匹配激光雷达时间戳，在各时间点生成激光雷达检测自带的PCD格式的点云数据；
[0024]根据点云数据通过fit函数拟合生成数据观测平面；所述观测平面包括各帧对象反馈距离以及位置信息；
[0025]采用3D点云目标检测模型PointNet，提取当前帧点云数据对象的关键轮廓点，通过高斯混合聚类模型对各点云进行聚类，并根据聚类结果划分对象；
[0026]根据聚类结果对危险驾驶行为进行识别及定义，最终通过点云聚类获取目标对象包括道路环境、车道、车辆及视野范围特征，以实现所述识别目标的对象及行为数据库的构建。
[0027]优选地，融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定，包括：
[0028]据点云获取的特征，结合视频数据确定各要素所在具体点位，并通过为视频对象
赋予位置以及距离参量，获取点云数据和视频数据获取的目标比例关系，抽取视频中目标物体关键点坐标；
[0029]根据目标物体的关键点坐标与点云坐标真实距离进行多项式关系式的拟合，以实现视频目标物体的坐标生成真实距离的映射坐标；
[0030]根据所述映射坐标的映射关系对各关键帧的道路路面长度距离、车辆及路面宽度进行计算，获取各类对象在实际场景中的实际参数；
[0031]根据点云特征，结合雷达和视频对象数据，进行车辆位置识别与标定，最终形成具备比例关系，且实时计算的道路交通要素数据库。
[0032]优选地，对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库，包括：
[0033]基于YOLOv5目标检测算法分析每一个输入帧，并识别属本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，包括：构建雷达一体化设备；所述雷达一体化设备包括高清视频设备和激光雷达采集设备；根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库；基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库；融合所述对象及行为数据库和所述基础图像信息数据库，并构建驾驶行为检测数据集，实现道路要素标定，车辆要素标定以及行为参数标定；对标定的对象进行识别与跟踪，通过比例测算，实现虚拟对象与实际对象的等比关系映射，测算目标对象坐标变化与速度类指标，实现车辆基础数据采集，并通过数据筛选与融合，刻画驾驶行为轨迹，输出轨迹数据库。2.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，所述雷达一体化设备采用边缘计算设备，所述雷达一体化设备用于实时获取雷达点云数据以及视频数据，并计算出当前环境、天气以及道路信息，实现车辆实时位置、车速、加速度等信息采集，监测车辆行驶路线、行驶状态，对车辆停留点、场外行驶点、超速行驶、急加速、急减速判定。3.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，根据所述高清视频设备采集的视频采集数据标识关键目标，通过图像优化以及数据筛选，构建基础图像信息数据库，包括：设定关键帧，并定义读取速率为24Hz，采用OpenCV算法中的VideoCapture函数，进行视频关键帧提取；将读取的关键帧以图像方式保存在后台数据库，基于cvtColor函数，将RGB的图像转换成灰度图；采用卡尔曼滤波函数对图像噪声进行过滤；采用OpenCV中Canny边缘检测函数，过滤得到图像中的边缘；采用fillConvexPoly函数生成梯形梯形掩模区域，然后与原图进行bitwise_and操作，得到感兴趣区域内的边缘检测图，以标记车道线信息以及车辆环境要素信息；基于车道线信息，使用OpenCV中HoughLines函数，通过像素点找到图中的直线；根据图中的直线识别边界，并对图像内各要素进行标记，通过DBSCEAN聚类算法实现车辆、道路环境信息聚类，以构建基础图像信息数据库。4.根据权利要求1所述的基于激光雷达和视频技术互补的车辆轨迹提取方法，其特征在于，基于所述激光雷达采集设备，规定数据采集频率，抽取关键雷达数据信息，将雷达数据转化为可读的道路及车辆信息，构建识别目标的对象及行为数据库，包括：获取所述关键雷达数据信息；根据所述关键雷达数据信息标记关键帧，基于当前时间点关键帧匹配激光雷达时间戳，在各时间点生成激光雷达检测自带的PCD格式的点云数据；...

【专利技术属性】
技术研发人员：傅挺，王俊骅，邵依然，徐文翔，谢舒珂，
申请(专利权)人：同济大学，
类型：发明
国别省市：