基于非制冷红外与微光融合的夜间驾驶系统技术方案

本发明专利技术公开了一种基于非制冷红外与微光融合的夜间驾驶系统，该系统是一种可以满足车辆驾驶人员对周围环境动态观察的智能视频监控系统，可对周围环境进行探测、跟踪以及对象分析；该系统由五部分组成：视频采集模块、视频预处理模块、视频控制模块、视频融合模块和视频显示模块。本发明专利技术采用了图像处理技术，提升了图像质量；采用了基于YCbCr彩色空间的自适应伪彩色融合算法，加入了融合模式切换功能，融合后的图像色彩真实，有利于人眼的目标识别；采用随动伺服控制系统使得车辆驾驶人员能快速对周围环境进行不同角度的观察，提高对环境目标的识别能力和观察效果，为车辆的安全性能提供了有力的保障。

【技术实现步骤摘要】

本专利技术属于驾驶辅助系统，特别是一种基于非制冷红外与微光融合的夜间驾驶辅助系统。
技术介绍
随着现代信息技术的发展，人们对车辆驾驶的安全性提出了更高的要求。在夜间和复杂气象条件下，仅仅依靠驾驶人员直接目视往往无法有效的获取车辆周围情况，车辆行驶的安全性受到很大威胁。另一方面，随着光电技术的发展，通过现代夜视成像和信息处理技术，可以清晰获取车辆前方道路的画面，并将其传递给驾驶人员，有效的提高夜间驾驶的安全性。目前的夜视图像主要有红外图像和微光图像。红外成像系统探测距离远，但对比度较低，动态范围大，物体外观不自然，不符合人眼视觉习惯。微光图像对比度很低，直方图表现灰度范围集中，尤其强光输入时会导致局部出现光晕，严重影响驾驶员视野。因此使用任一种单一图像作为辅助驾驶系统均无法达到理想效果，鉴于红外与微光图像的良好互补性，将红外和微光图像进行融合显示已成为夜间驾驶员视觉增强的一种有效手段，能够为驾驶人员提供更全面的目标背景信息，增强观察效果。针对这一问题，设计了一种有利于视觉增强的基于非制冷红外与微光融合的夜间驾驶辅助系统。在夜间驾驶视觉增强技术和图像融合技术这方面，国内外很多学者、科研机构做出了很多努力。其中有：四川大学，电子信息学院的宋敏，张蓉竹，孙年春发表的《基于红外与微光融合图像的夜视仪设计》。此文在FPGA系统上设计了帧同步、图像分割、动目标检测、图像融合子模块，实现了恒虚警检测、目标染色、图像融合等功能，虽然算法简单易于在硬件实现但融合效果不好，存在较大的噪声。华中科技大学模式识别与人工智能研究所的龚俊斌、马佳义、田金文发表的《一种车载的红外与微光图像融合系统设计》。此文使用红外热像仪与微光相机平行光路设计，信息处理分为图像采集、图像融合、颜色迁移与图像显示五个模块，在DSP中实现了小波彩色图像融合算法。此算法颇为复杂，虽然融合图像有更好的质量，但在硬件上实现无法保证处理的实时性，还需要后续的算法优化及硬件的进一步设计。以上所提到的技术存在以下缺点：算法简单但融合效果不理想、算法复杂却不具备实时性，而且这些系统功能单一，人机交互能力不强。这些缺点都不利于驾驶人员对车辆周围目标背景的观察，影响判断和操作，降低了安全性。
技术实现思路
本专利技术的目的在于提供一种基于非制冷红外与微光融合的夜间驾驶系统。该系统能够很好的将周围背景的红外与微观融合图像实时地提供给驾驶人员，能够为驾驶人员提供更全面的目标背景信息，增强观察效果并提高车辆安全性能。实现本专利技术目的的技术解决方案为：一种基于非制冷红外与微光融合的夜间驾驶系统，包括视频采集模块、视频预处理模块、视频控制模块、视频融合模块、视频显示模块；其中：视频采集模块与视频预处理模块相连用以获取视频信号，将采集到的微弱的自然光图像和热对比度图像转换为模拟视频信号，并将视频信号传输至视频预处理模块；视频预处理模块与视频控制模块相连，视频预处理模块主要将采集到的视频信号进行增强，方便后续的图像处理计算，采用时域滤波与空域滤波相结合、分区域处理的方法对微光视频信号降噪，对红外图像采取对比度拉伸增强的方法，并将预处理后的视频数据传输至视频控制模块；视频控制模块模块与视频融合模块相连，显示模式切换功能用于对图像进行实时显示控制，可实时切换图像融合模式、控制显示屏显示时间和GPS定位信息等；随动伺服控制模块用于控制前端摄像机与后端OLED眼镜保持同步转动；视频融合模块与视频显示模块相连，用于对两路视频信号采用基于YCbCr彩色空间的自适应伪彩色融合算法进行伪彩色融合，并将融合后的视频信号传输到视频显示模块；视频显示模块与视频融合模块相连，OLED眼镜可以接收视频融合模块无线传输的视频信号来实时显示，显示器可直接显示有线传输的视频信号。本专利技术与现有技术相比，其显著优点：（1）在DSPTMS320C6678上实现了YCbCr彩色空间的直方图规定化色彩自适应传递算法，实现对融合图像的自动色彩传递，图像色彩较真实，纹理清晰，将有利于人眼的目标识别。（2）通过设计实时控制模块，可实时控制DSP切换图像融合模式，显示实时时间和GPS定位信息等。（3）设计了基于TMS320C6678的随动伺服控制系统，使得红外与微光镜头能够与观测人员的头部实现同步转动，提高对周围环境目标的识别能力和观察效果，为车辆的安全性能提供了有力的保障。附图说明图1是本专利技术基于非制冷红外与微光图像融合的夜间驾驶系统原理图。图2是FPGA实时降噪增强的原理图。图3是图像显示控制系统原理图。图4是随动伺服系统原理图。具体实施方式本专利技术基于非制冷红外与微光融合的夜间驾驶系统由五部分组成，包括视频采集模块、视频预处理模块、视频控制模块、视频融合模块、视频显示模块。所述视频采集模块包括微光夜视仪、红外热像仪以及传输线路。主要用于将采集到的微弱的自然光图像和热对比度图像转换为模拟视频信号，微光夜视仪的分辨率为720×576，红外热像仪的分辨率为320×240，帧频均为25帧/秒。所述视频预处理模块采用了微光降噪与红外图像增强技术。通过FPGA处理电路，采用时域滤波与空域滤波相结合、分区域处理的方法，可对微光图像进行时空滤波和图像降噪增强、对红外图像进行对比度拉伸变换并通过基于简单的阈值分割技术等分离出运动目标。所述视频控制模块包括显示模式切换模块、随动伺服控制模块。显示模式切换模块用于实时切换图像融合模式、控制显示屏显示时间和GPS定位信息，随动伺服控制模块用于控制前端摄像机镜头与后端OLED眼镜保持同步转动。所述视频融合模块包括图像融合模块和信号传输模块。基于DSPTMS320C6678上的视频融合模块对两路视频信号采用基于YCbCr彩色空间的自适应伪彩色融合算法进行伪彩色融合，具体算法实现步骤如下：（1）环境数据的提取：对所有参考图像用转换公式（1）得到亮度信号Y及Cb、Cr的两个色差信号特征值，对YCbCr彩色空间的图像的三个通道亮度Y、色差信号Cb、Cr计算它们的灰度直方图和累计灰度直方图，分别建立数据表保存。（2）选取YCbCr彩色空间的图像亮度信号Y的起始值k2，结束值k3，然后计算出k1=丨k3-k2丨，对应参考图像数据的存储地址(Z1，Z2)，Z1和Z2分别是灰度直方图数据和累计灰度直方图数据，建立如下格式的特征数据值表，以备查询使用。M1(Z1，Z2)——M1(k1，k2)………………Mn(Z1，Z2)——Mn(k1，k2)（3）（2）上式中，YIR与YLL分别是红外图像和微光图像在YCbCr色彩空间下的Y分量，按照此式同步处理上一帧图像的灰度直方图、累计灰度直方图，在模型中的Y通道灰度直方图数据中，查找主要灰度范围值，找出最接近的M1(k1，k2),确定M1(Z1，Z2)对应的特征数据表。（4）采用灰度直方图规定化算法由表中查出相应的Y、Cb、Cr值，对模型中的三个数值进行替换。伪彩色融合完毕后将融合后的视频信号传输到视频传输模块，视频传输模块将融合后的视频信号通过无线传输和有线传输方式传送给视频显示模块。所述视频显示模块包括OLED眼镜显示模块和显示器显示模块。其中：OLED眼镜显示模块与视频传输模块相连，可显示融合后的视频图像信号，显示器显示模块与视频传输模块相连，可与OLED眼镜同步显示融合后本文档来自技高网...

【技术保护点】
一种基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：包括视频采集模块、视频预处理模块、视频控制模块、视频融合模块和视频显示模块；其中：视频采集模块与视频预处理模块相连，用以获取视频信号，将采集到的微弱的自然光图像和热对比度图像转换为模拟视频信号，并将视频信号传输至视频预处理模块；视频预处理模块与视频控制模块相连，将采集到的视频信号进行增强，采用时域滤波与空域滤波相结合、分区域处理的方法对微光视频信号降噪，对红外图像采取对比度拉伸增强的方法，并将预处理后的视频数据传输至视频控制模块；视频控制模块与视频融合模块相连，显示模式切换用于对图像进行实时显示控制，可实时切换图像融合模式、控制显示屏显示时间和GPS定位信息；随动伺服控制用于控制前端摄像机与后端OLED眼镜保持同步转动；视频融合模块与视频显示模块相连，对两路视频信号采用基于YCbCr彩色空间的自适应伪彩色融合算法进行伪彩色融合，并将融合后的视频信号传输到视频显示模块；视频显示模块与视频融合模块相连，OLED眼镜接收视频融合模块无线传输的视频信号来实时显示，显示器可直接显示有线传输的视频信号。

【技术特征摘要】
1.一种基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：包括视频采集模块、视频预处理模块、视频控制模块、视频融合模块和视频显示模块；其中：视频采集模块与视频预处理模块相连，用以获取视频信号，将采集到的微弱的自然光图像和热对比度图像转换为模拟视频信号，并将视频信号传输至视频预处理模块；视频预处理模块与视频控制模块相连，将采集到的视频信号进行增强，采用时域滤波与空域滤波相结合、分区域处理的方法对微光视频信号降噪，对红外图像采取对比度拉伸增强的方法，并将预处理后的视频数据传输至视频控制模块；视频控制模块与视频融合模块相连，显示模式切换用于对图像进行实时显示控制，可实时切换图像融合模式、控制显示屏显示时间和GPS定位信息；随动伺服控制用于控制前端摄像机与后端OLED眼镜保持同步转动；视频融合模块与视频显示模块相连，对两路视频信号采用基于YCbCr彩色空间的自适应伪彩色融合算法进行伪彩色融合，并将融合后的视频信号传输到视频显示模块；视频显示模块与视频融合模块相连，OLED眼镜接收视频融合模块无线传输的视频信号来实时显示，显示器可直接显示有线传输的视频信号。2.根据权利要求1所述的基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：所述视频采集模块包括微光夜视仪、红外热像仪以及传输线路；其中：前端微光夜视仪与视频预处理模块相连，用于采集微光模拟视频信号，通过传输线路再传输到视频预处理模块，红外热像仪与视频预处理模块相连，用于采集热对比度模拟视频信号，通过传输线路再传输到视频预处理模块。3.根据权利要求1所述的基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：所述视频预处理模块包括存储器、微光降噪模块与红外图像增...

【专利技术属性】
技术研发人员：容国，罗浩，王贵圆，韦一方，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32