一种ADAS红外夜视方法和夜视系统技术方案

本发明专利技术提供了一种ADAS红外夜视方法和夜视系统，在夜视相关算法及硬件功耗性能的基础上，实现了辅助驾驶和无人驾驶的红外夜视目标检测功能，可行性高，性能强大。本发明专利技术采用Retinex红外图像增强算法加卷积神经网络的算法实现了在夜视环境中对目标高精度的检测与分类，基于CPU+FPGA的异构可扩展平台实现了ADAS红外夜视目标识别检测与分类功能，实现了高精度、超视距、低功耗、高速度的检测效果；依靠其高集成度、低空间占用以及低功耗的特点，在系统中实现了图像采集、处理和显示，并通过图像处理结果进行高速预测推断的功能。图像处理结果进行高速预测推断的功能。图像处理结果进行高速预测推断的功能。

【技术实现步骤摘要】
一种ADAS红外夜视方法和夜视系统


[0001]本专利技术属于视觉神经网络
，具体涉及一种ADAS红外夜视方法和夜视系统。

技术介绍

[0002]交通安全是当今社会一个重大焦点问题，受到各国政府和社会的关注。夜间驾驶也是智能交通和无人驾驶系统要致力解决的重大问题。每年世界上都因交通事故而带来的巨大损失，其中由于驾驶员视线原因操作失误引起的占70％以上，因此开展智能交通系统的道路交通安全保障技术研究变得尤为迫切。研究表明，如果车辆前端安装有车距警报、雷达测速之类的报警系统，发生交通事故的概率可减少30％。如果遇到雨雾天气或者是夜间行驶，交通安全事故的发生概率还会大大提高。
[0003]目标跟踪识别算法的复杂度不断增加，进行高精度多目标跟踪识别算法所需要的数据量越来越大，为了满足在边缘计算中海量数据快速处理的要求，CPU从最开始的单核扩展到了多核，计算方式也从原先的串行计算发展到了多核并行计算的方式。而FPGA具备优秀的并行计算的能力正好可以弥补CPU的不足，相比之下在FPGA上进行并行计算效率更高。与CPU和GPU异构计算不同，在FPGA上开发的OpenCL程序通过综合成专用的深度流水线硬件电路实现内核功能，具有非常强大的并行处理能力，通过流水线复制等优化手段可进一步提高并行处理能力，因此可以综合出专用硬件电路没有多余的逻辑功能。所以与多核CPU和GPU相比，FPGA处理时实的目标检测与跟踪具有更低的功耗、更高的效率。

技术实现思路

[0004]本专利技术要解决的技术问题是：提供一种ADAS红外夜视方法和夜视系统，用于实现红外夜视目标检测功能。
[0005]本专利技术为解决上述技术问题所采取的技术方案为：一种ADAS红外夜视方法，包括以下步骤：
[0006]S1：采集视频数据并转化为图片训练集；
[0007]S2：将视频数据处理为图像帧；
[0008]S3：增强Retinex红外图像以取得图像的动态范围压缩、边缘增强和颜色恒常三方面的平衡；
[0009]S4：使用深度神经网络YOLO4算法训练网络模型对图片训练集进行目标检测；
[0010]S5：采用OpenVINO模型优化器优化网络模型；
[0011]S6：用训练好的网络模型检测目标，并保存相关参数。
[0012]按上述方案，所述的步骤S1中，将部分视频数据作为训练集，部分视频数据作为检测集。
[0013]进一步的，所述的步骤S2中，具体步骤为：
[0014]S21：设capture为摄像头检测的帧图像；记录待检测视频保存在电脑上的路径，设
路径下的视频帧图像为capture1；
[0015]S22：通过opencv的VideoCapture函数读取视频；
[0016]S23：将视频读取为帧图像，并存放于capture变量中。
[0017]进一步的，所述的步骤S3中，具体步骤为：
[0018]设物体所成的图像为S，反射分量为R，亮度分量为L，将图像S分解为反射分量和入射分量的乘积：
[0019]S(x,y)＝R(x,y)*L(x,y)；
[0020]将上式两边取以10为底的对数得到：
[0021]log(R(x,y))＝log(S(x,y))-log(L(x,y))；
[0022]设G为高斯卷积函数，则
[0023]∫∫G(x,y)dxdy＝1，
[0024]设σ是高斯尺度参数，k为归一化因子，高斯卷积函数为
[0025][0026]设*表示卷积操作，则通过高斯卷积函数从图像S中估计得出亮度分量L为：
[0027]L(x,y)＝S(x,y)*G(x,y)；
[0028]当σ值较小时增强图像暗区域的细节，动态压缩性好，颜色失真大；σ值较大时，色感一致性好。
[0029]进一步的，所述的步骤S4中，具体步骤为：
[0030]S41：采用开源数据集KAIST数据集、OTCBVS数据集、FLIR数据集训练深度神经网络，对图像分块；
[0031]S42：通过CNN网络模型预测不同目标的类别；
[0032]S43：将训练好的权值文件作为检测算法的核心，用于调节目标检测算法的各项参数。
[0033]进一步的，所述的步骤S42中，采用的模型包括Ef ficientnet lite、MixNet、GhostNe、mobilenet3；选取的网络结构包括：Backbone，包括CSPDarknet53；Neck，包括SPP、PANet；HEAD，包括采用anchor based算法的YOLOv3；在ImageNet的分类数据集上优先选择CSPResNext50；在MS-COCO目标检测数据集上优先选择CSPDarknet53；使检测结果在网络输入分辨率、卷积层数、参数量、层输出通道数量之间取得平衡。
[0034]进一步的，所述的步骤S5中，具体步骤为：
[0035]S51：通过OpenVINO优化CNN模型，完成FP量化、模型压缩、模型分析的功能；
[0036]S52：将优化后模型的网络文件保存在.xml文件中，权重文件保存在.bin文件中。
[0037]进一步的，所述的步骤S6中，具体步骤为：
[0038]S61：用训练好的网络模型检测目标；
[0039]S62：用检测出的目标框在检测图像上标识出相应位置，并标注预测相应的分类。
[0040]进一步的，所述的步骤S62中，检测图像包括person、car、bicycle的3个分类。
[0041]一种ADAS红外夜视系统，包括采用Intel i5-7260u的CPU、采用Arria10 GX系列1150型的FPGA的异构硬件平台；在异构硬件平台上联合部署有Openvino加速工具包。
[0042]本专利技术的有益效果为：
[0043]1.本专利技术的一种ADAS红外夜视方法和夜视系统在夜视相关算法及硬件功耗性能的基础上，实现了辅助驾驶和无人驾驶的红外夜视目标检测功能，可行性高，性能强大。
[0044]2.本专利技术采用红外图像增强算法与深度卷积神经网络相结合做目标检测，首先模仿人类视觉系统的成像过程，采用Retinex算法增强目标图像，在图像的动态范围压缩、边缘增强和颜色恒常三个方面取得了很好的平衡性；然后使用深度神经网络YOLO4(You Only Look Once)算法来进行目标检测的识别，通过将算法结合起来的方法，达到了高速率、高精度检测的目的；本专利技术采用Retinex红外图像增强算法加卷积神经网络的算法实现了在夜视环境中对目标高精度的检测与分类，检测夜视目标的视距达到了500米左右，检测算法AP值达到了0.657。
[0045]3.本专利技术采用开源数据集KAIST数据集、OTCBVS数据集、FLIR数据集训练深度神经网络，采用NVIDIA1060显卡进行相关的模型训练；将训练好的权值文件作为检测算法的核心用于调节目标检测算法各项参数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ADAS红外夜视方法，其特征在于：包括以下步骤：S1：采集视频数据并转化为图片训练集；S2：将视频数据处理为图像帧；S3：增强Retinex红外图像以取得图像的动态范围压缩、边缘增强和颜色恒常三方面的平衡；S4：使用深度神经网络YOLO4算法训练网络模型对图片训练集进行目标检测；S5：采用OpenVINO模型优化器优化网络模型；S6：用训练好的网络模型检测目标，并保存相关参数。2.根据权利要求1所述的一种ADAS红外夜视方法，其特征在于：所述的步骤S1中，将部分视频数据作为训练集，部分视频数据作为检测集。3.根据权利要求2所述的一种ADAS红外夜视方法，其特征在于：所述的步骤S2中，具体步骤为：S21：设capture为摄像头检测的帧图像；记录待检测视频保存在电脑上的路径，设路径下的视频帧图像为capture1；S22：通过opencv的VideoCapture函数读取视频；S23：将视频读取为帧图像，并存放于capture变量中。4.根据权利要求3所述的一种ADAS红外夜视方法，其特征在于：所述的步骤S3中，具体步骤为：设物体所成的图像为S，反射分量为R，亮度分量为L，将图像S分解为反射分量和入射分量的乘积：S(x,y)＝R(x,y)*L(x,y)；将上式两边取以10为底的对数得到：log(R(x,y))＝log(S(x,y))-log(L(x,y))；设G为高斯卷积函数，则∫∫G(x,y)dxdy＝1，设σ是高斯尺度参数，k为归一化因子，高斯卷积函数为设*表示卷积操作，则通过高斯卷积函数从图像S中估计得出亮度分量L为：L(x,y)＝S(x,y)*G(x,y)；当σ值较小时增强图像暗区域的细节，动态压缩性好，颜色失真大；σ值较大时，色感一致性好。5.根据权利要求4所述的一种ADAS红外夜视方法，其特征在于：所述的步骤S4中，具体步骤为：S41：采用开源数据集KAIST数据集、OTCBVS...

【专利技术属性】
技术研发人员：袁家凯，杨志芳，颜磊，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：