The utility model discloses a vehicle recognition system based on multi sensor, including a full range of visual module, IMU module, GPS module, radar module and data fusion module, a full range of visual environment module is used for acquiring 3D information around the vehicle within the scope of 360 degrees, the IMU module is used for acceleration and angular velocity information acquisition vehicle. Combined with GPS module and IMU module, access to the vehicle's position and attitude information, radar target position information acquisition module is used for the front of the vehicle, and has the characteristics of all-weather, all day long time, data fusion module integration for each sensor module to obtain environmental information, realize the recognition of environment is more accurate on the vehicle. The utility model discloses an omnidirectional vision module, obtaining full scene image observation environment through binocular camera of each stepper motor control corresponding to the pitching movement; the scene image processing module real-time acquisition and processing of each binocular camera to obtain.
【技术实现步骤摘要】
一种基于多传感器的车载环境识别系统及全方位视觉模块
本技术涉及一种多摄像头拼接的全方位视觉装置以及基于多传感器的车载环境识别系统,属于传感器
技术介绍
单目视觉可以进行简单的目标跟踪、目标识别,但是并不能提供环境的深度信息。双目视觉在单目视觉的基础上实现了对深度信息的获取,但是不能实时地进行全方位的信息获取。相对于传统视觉传感器在视场受限方面的不足,全方位视觉装置可以实时获取全方位的环境信息,在军事应用、公共安全、视频会议以及位置环境的探测等方面发挥着积极的作用。多部成像装置多角度同时拍摄是最容易想到的全方位图像获取的技术,相对于普通摄像机加旋转云台的方法存在延时、鱼眼技术和折反射技术存在高畸变,多摄像头拼接的全方位视觉装置更加简单可靠。目前多摄像头拼接的全方位视觉装置在多摄像头的精确安装、多幅图像的无缝拼接等方面均存在不足,此外该装置在垂直方向的视角受限也对全方位环境信息的获取存在一定的影响。随着工作环境与任务的日益复杂,人们对智能系统的性能提出了更高的要求。单个传感器在某一采样时刻只能获取一组数据,经过处理得到的信息只能用来描述环境的局部特征,因此单靠一个传感器往往无法满足某些系统对鲁棒性的要求。采用多传感器融合可以对环境进行更加全面准确的描述,但是信息的冗余在提高系统鲁棒性的同时伴随着大量数据的产生,大量的数据计算处理无疑严重影响着系统的实时性,此外系统的功耗、资源占用率等都是需要考虑的问题。
技术实现思路
本技术提供了一种全方位视觉模块,其为多摄像头拼接的全方位视觉装置,解决了传统视觉传感器不能实时获取全方位环境信息的问题。以上目的是通过以下 ...
【技术保护点】
一种全方位视觉模块,其特征在于,包括:基座,图像处理模块,多组双目摄像头,与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架;多组双目摄像头在水平方向均匀布置,每组双目摄像头通过一个摄像头支架固定在基座外周上,每个步进电机通过对应的俯仰电机支架固定在基座上,每个摄像头支架与对应的步进电机输出轴固定连接,通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像;图像处理模块固定安装在基座上,实时采集并处理各组双目摄像头获取的场景图像。
【技术特征摘要】
1.一种全方位视觉模块,其特征在于,包括:基座,图像处理模块,多组双目摄像头,与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架;多组双目摄像头在水平方向均匀布置,每组双目摄像头通过一个摄像头支架固定在基座外周上,每个步进电机通过对应的俯仰电机支架固定在基座上,每个摄像头支架与对应的步进电机输出轴固定连接,通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像;图像处理模块固定安装在基座上,实时采集并处理各组双目摄像头获取的场景图像。2.如权利要求1所述的一种全方位视觉模块,其特征在于,所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元;图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元;图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像;双目匹配单元计算双目摄像头每帧获取的两幅图像的视差,结合双目视觉中的三角测量原理得到对应的深度图像;目标识别单元通过训练样本对分类器进行训练,再利用训练好的分类器检测所观测场景中的样本目标。3.如权利要求2所述的一种全方位视觉模块,其特征在于,所述图像拼接单元的工作过程包括:摄像头标定:预先校准由于安装设计产生的物理差异及摄相头之间的物理差异,得到一致性好的图像;图像畸变校正:对导致图像内直线变弯曲的径向畸变进行校正操作;图像投影变换:将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接;匹配点选取:在图像序列中寻找具有缩放不变性的SIFT特征点;图像拼接:包括配准与融合,将各个方向的场景图像按一定规则拼接为一幅展开的全景图;后处理:进行图像对亮度与颜色的均衡处理,以保证全景图在整体上达到亮度与颜色的一致性。4.如权利要求2所述的一种全方位视觉模块,其特征在于,所述双目匹配单元的工作过程包括:摄像头标定:通过摄像头标定获取摄像头的内部参数与外部参数;代价计算以及图像分割:通过互信息计算初始匹配代价,...
【专利技术属性】
技术研发人员:王建华,陈建华,孙维毅,赵洁,张庆,王政军,鲍磊,王书博,周志超,
申请(专利权)人:吉林大学,
类型:新型
国别省市:吉林,22
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。