一种光视融合一体化系统技术方案

本申请提供一种光视融合一体化系统，所述系统包括：激光雷达、摄像机和数据处理单元，激光雷达和摄像机与数据处理单元连接，激光雷达和摄像机的数据分别通过点云处理算法模块和图像处理算法模块进行初步数据解析；再通过PTP校时服务装置进行激光雷达和摄像机传感器与核心处理器的校时，实现三者的帧率同步标定；然后通过空间标定算法模块进行空间标定，实现激光雷达和摄像机传感器所检测的数据的底层融合；事件分析逻辑模块将交通参与者信息与预设交通事件逻辑信息进行比对，信息不一致则会自动上报停车实践；数据配置与转发模块用于将传感器的原始数据和感知后的事件信息上传至终端用户平台。传至终端用户平台。传至终端用户平台。

【技术实现步骤摘要】
一种光视融合一体化系统


[0001]本专利技术涉及智能交通
，更具体地，涉及一种光视融合一体化系统。

技术介绍

[0002]随着网络通信技术的不断发展，整个智能交通领域也在由智能交通系统向智能协作系统演变。即由现在的单车智能向车路协同发展，在整个过程中除需提高单车智能化程度以外，整个道路交通体现也要向着智慧高速、智能交通转变。智慧公路首先需要解决的是完善公路感知网络，发展车路协同和自动驾驶。目前单车智能已经可以满足有条件地自动驾驶，但由于受车速及单车探测路况的有效距离等因素。目前自动驾驶车辆难以实现自动驾驶功能，结合以上条件智慧公路在建设过程中需满足以下两点条件：1.路侧感知系统需支持对路况信息全天候、全要素、高精准、高可靠的采集；2.对采集到的信息需要实现高性能处理以及低延时传输。
[0003]目前已通车或在建设的智慧高速整体技术方案，仍是采用传统监控视频加毫米波雷达部分路段增设激光雷达的形式。在整个实施过程中包括以下几步：1.首先将激光雷达、摄像机等传感器的数据在设备内部或外置处理器内进行初步的数据解析，按照预设规则将输出整个探测区域内所有交通参与者类型、ID、航向角、位移等信息至前端融合服务器；2.前端融合服务器内置数据融合算法，结合各种传感器上传的交通参与者实时航向角及位置信息，进行参与者的信息绑定；3.融合服务器将采集到的交通参与者信息与预设交通事件逻辑信息进行比对，实时输出当前监控区域的交通事件信息；4.若传感器之间上报的信息不一致时，融合处理软件结合各传感器上报事件的可信度进行处理上报。以上多传感器融合技术是目前智慧高速及智能交通建设过程中常用的后融合事件检测方法，该方法在实际应用中主要存在以下几点问题：1.不能充分实现各传感器之间的深度融合，传感器之间不能充分实现优势互补；2.事件检测精度相对较低且数据输出时延较长，难以满足后续车路协同的相关要求；3.需要部署大量的采集设备及数据处理器，整体工程建设量大、后续维护量大，难以实现大面积推广
[0004]有鉴于此，本专利技术提供一种光视融合一体化系统，各传感器之间数据能够进行深度融合，极低延时传输，并且设备部署量少。

技术实现思路

[0005]本专利技术的目的在于，提供一种光视融合一体化系统，各传感器之间能够进行深度融合，低延时传输，并且设备部署量少。
[0006]本申请的光视融合一体化系统，将激光雷达、摄像机和数据处理单元设置在同一个设备中，数据处理单元为算法集成群的运行载体，每台设备的数据经过处理后再上传终端用户平台。第一方面，传感器初步处理后的数据不需要远程传输，直接用设备内置的数据处理单元进行处理，数据传输延时极低，几乎没有数据传输延时的问题。第二方面，现有技术将所有传感器的数据都上传到前端融合服务器进行运算分析，数据运算量极大，不能实
现传感器之间的深度融合，而本申请将每台设备的激光雷达和摄像机传感器数据进行运算分析，传感器量少，通过本申请数据处理单元的设计能够实现深度融合和优势互补。第三方面，本申请一台设备融合了多个传感器采集设备和数据处理器，设备量少。第四方面，本申请的数据处理单元的算法集成化程度高，可实现算法的跨层次处理，即在处理雷达点云算法时可结合相机图像处理的数据做为辅助，提高数据分析的质量；松耦合设计可根据现场实际应用需求，选择处理器配置。本申请人在此基础上完成了本申请。
[0007]一种光视融合一体化系统，所述系统包括：激光雷达、摄像机和数据处理单元，所述激光雷达、摄像机和数据处理单元设置在同一个设备中，激光雷达和摄像机与数据处理单元连接，数据处理单元包括：点云处理算法模块、图像处理算法模块、PTP校时服务装置、空间标定算法模块、事件分析逻辑模块和数据配置与转发模块；激光雷达和摄像机的数据分别通过点云处理算法模块和图像处理算法模块进行初步数据解析；再通过PTP校时服务装置进行激光雷达和摄像机传感器与核心处理器的校时，实现三者的帧率同步标定；然后通过空间标定算法模块进行空间标定，实现激光雷达和摄像机传感器所检测的数据的底层融合；事件分析逻辑模块将交通参与者信息与预设交通事件逻辑信息进行比对，信息不一致则会自动上报相关交通事件；数据配置与转发模块用于将传感器的原始数据和感知后的事件信息上传至终端用户平台。
[0008]在一些实施方式中，所述激光雷达根据光的时间飞行原理来对车辆设备与被检测物体之间的航向角、距离以及被检测物体的速度进行检测。
[0009]在一些实施方式中，所述摄像机用于拍摄照片或视频，完成对整个探测区域内物体的成像与视频监控。
[0010]在一些实施方式中，所述点云处理算法模块采用点云处理算法对激光雷达传感器输出的原始数据进行初步数据解析，所述原始数据包括：三维空间坐标X、Y、Z，点返回的时间戳T，点的反射强度P，所述初步数据解析为滤除原始数据内的静态点云，并将动态点云根据聚类段进行切割分类。
[0011]在一些实施方式中，所述图像处理算法模块采用图像处理算法对摄像机输出的原始数据进行初步数据解析，所述原始数据为监控视频，所述初步数据解析为将原始数据进行彩色图像转灰度图像(RGB转GRAY)，将彩色图像做灰度处理，并根据灰度值完成动态与静态数据的切割以及对动态数据进行跟踪。
[0012]在一些实施方式中，所述PTP校时服务装置将各传感器与核心处理器之间进行高精度校时，实现激光雷达和摄像机传感器与数据处理单元的帧率同步标定。
[0013]在一些实施方式中，所述空间标定算法模块根据激光雷达的点云数据与摄像机的视频数据在采集同一固定角度物体时，该物体返回的参数，所述参数包括：交通参与者类型、ID、航向角、位移，在保证物理角度不变的前提下，通过多个参考点在雷达与视频公共区域内的位置，结合参考点的实际位置分别输出参考点在相机图像内的平面坐标与在雷达点云内的三维坐标，通过两个坐标之间的线性关系对激光雷达和摄像机进行空间标定，从而实现两个传感器所检测数据的底层融合。
[0014]进一步的，雷达点云数据与相机图像处理的数据结合，提高数据分析的质量。
[0015]在一些实施方式中，所述事件分析逻辑模块根据应用场景下正常不会发生的车辆及相关交通参与者轨迹进行判断，即当监控区域内突然出现静止物体时，事件分析逻辑模
块的事件分析算法可结合处理器分析多种传感器采集到的监控区域内物体的运行状态，自动判断监控区域内出现的异常事件。
[0016]进一步的，事件分析算法包含行人、停车、逆行等常见交通事件的实际训练模型，事件上报内容主要包括：事件类型、相关参与者信息、事件发生的时间、事件发生的具体地址。松耦合设计可根据现场实际应用需求，选择处理器配置。
[0017]在一些实施方式中，所述数据配置与转发模块是系统运行过程中的支撑软件，其中数据转发包括传感器输出的原始数据转发与感知后的事件信息转发两种形式；数据配置为系统参数配置，是通过客户端或web访问界面对整套系统的参数设置，以满足系统在不同场景下配置不同参数的需求。
[0018]在一些实施方式中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光视融合一体化系统，其特征在于，所述系统包括：激光雷达、摄像机和数据处理单元，所述激光雷达、摄像机和数据处理单元设置在同一个设备中，激光雷达和摄像机与数据处理单元连接，数据处理单元包括：点云处理算法模块、图像处理算法模块、PTP校时服务装置、空间标定算法模块、事件分析逻辑模块和数据配置与转发模块；激光雷达和摄像机的数据分别通过点云处理算法模块和图像处理算法模块进行初步数据解析；再通过PTP校时服务装置进行激光雷达和摄像机传感器与核心处理器的校时，实现三者的帧率同步标定；然后通过空间标定算法模块进行空间标定，实现激光雷达和摄像机传感器所检测的数据的底层融合；事件分析逻辑模块将交通参与者信息与预设交通事件逻辑信息进行比对，信息不一致则会自动上报停车实践；数据配置与转发模块用于将传感器的原始数据和感知后的事件信息上传至终端用户平台。2.如权利要求1所述的光视融合一体化系统，其特征在于，所述激光雷达根据光的时间飞行原理来对车辆设备与被检测物体之间的航向角、距离以及被检测物体的速度进行检测。3.如权利要求1所述的光视融合一体化系统，其特征在于，所述摄像机用于拍摄照片或视频，完成对整个探测区域内物体的成像与视频监控。4.如权利要求1所述的光视融合一体化系统，其特征在于，所述点云处理算法模块采用点云处理算法对激光雷达传感器输出的原始数据进行初步数据解析，所述原始数据包括：三维空间坐标X、Y、Z，点返回的时间戳T，点的反射强度P，所述初步数据解析为滤除原始数据内的静态点云，并将动态点云根据聚类段进行切割分类。5.如权利要求1所述的光视融合一体化系统，其特征在于，所述图像处理算法模块采用图像处理算法对摄像机输出的原始数据进行初步数据解析，所述原始数据为监控视频，所述初步数据解析为将原始数据进行彩色图像转灰度图...

【专利技术属性】
技术研发人员：徐锦锦，张小磊，姚洪伟，
申请(专利权)人：苏州思卡信息系统有限公司，
类型：发明
国别省市：