一种融合可见光图像与对应夜视红外图像的检测方法技术

本发明专利技术公开了一种融合可见光图像与对应夜视红外图像的检测方法，属于机器视觉领域，本发明专利技术的具体步骤为：对可见光图像，运用深度学习网络和增量编码长度的方法，得到可见光图像的显著性图像；对夜视红外图像，运用GBVS模型和基于超复数频域的谱尺度空间的方法，得到夜视红外图像的显著性图像；将两者融合，得到最终的显著性图像。本发明专利技术融合时域与频域，考虑到能量辐射差异也是影响显著性的因素，因此对夜视红外图像进行了处理，利用增量编码长度的方法，提取可见光图像的显著性区域，本发明专利技术不仅限于提取低层次的特征，还通过深度学习网络，提取高层次的语意特征；因此本发明专利技术所得的显著性区域的提取效果更为全面，更为准确。

【技术实现步骤摘要】

本专利技术属于机器视觉领域，具体涉及一种融合可见光图像与对应夜视红外图像的检测方法。
技术介绍
机器视觉显著性机制可以用来提取道路场景中的显著性的最为重要的区域，从而为后期的处理减少计算量，在人类视觉系统中也有一个视觉注意力机制，它可以帮助人类在短时间内将注意力集中在某个最为显著性的重要的区域，从而做出最为快速的反映，受此启发，研究者们也希望机器视觉也可以像人类的视觉注意力机制那样，将复杂的自然图像内容进行一个简数据的筛选和简化，所以提出了机器视觉的视觉显著性模型。视觉注意力系统是人类视觉系统的重要的前期处理系统，可以对原始的图像数据进行高效的筛选，将大部分的处理单元分配在最为重要的显著性的区域上，从而提高视觉系统的处理能力。显著性机制是一个神经生理学和心理学的概念，各国的神经生理学家提出了很多模拟人类视觉系统注意力的模型，由此启发，各国的研究者们纷纷开始研究机器视觉中的视觉显著性模型。深度学习的概念来源于人工神经网络的研究，深度学习可以模拟模拟人脑进行分析学习，通过组合低层次特征形成更加抽象的高层次特征，深度学习网络具有多个层次，在每一层中不断训练，并将训练结果作为下一层的输入，并用自顶而下的监督算法去调整所有层，深度学习的网络可以准确的提取出高层次的语义特征，特别是在面对复杂环境时具有强大的优势，因此引起了各国研究者们强烈的研究兴趣。中国专利(CN104574366AN)公开了一种基于单目深度图视觉显著性区域的提取方法，此方法运用超像素和高斯-马尔科夫随机场模型，建立概率模型，计算超像素的显著性值，并通过增益系数来修正其显著性值，但此方法仅仅是在没有任何先验知识的前提下，提取低层次的显著性区域，没有考虑到可以通过深度学习的方法来提取高层次的显著性区域。中国专利(CN104463917A)公开了一种基于除法归一化的视觉显著性检测方法，该方法通过针对不同颜色通道，运用除法归一化和融合的方法，计算输入图像的显著性图像，但此方法没有考虑到可以运用增量编码长度的方法来更加全面的提取颜色显著性，忽略了辐射能量差异即也是红外图像也是影响显著性的一个因素，上述方法在显著性区域提取的过程中，都有上述各自的不足，特别是在处理夜晚道路复杂环境图像时，显著性区域提取的准确性和鲁棒性都受到了影响。本专利技术的目的主要是解决现有的视觉注意力模型在夜晚复杂的道路场景中的目标检测中无法提取高层次的语义特征，并且提取的显著性区域的精度不够，以及忽略了动态视觉搜索的因素，忽视了在夜晚道路场景中的显著性目标与背景向外辐射能量的差异也是一种显著性的体现的问题，本专利技术可以在一定程度上解决上述问题，用来提高视觉注意力模型在夜晚道路复杂环境中目标检测中的准确性。
技术实现思路
针对现有的视觉注意力模型在夜晚复杂的道路场景中的目标检测中面临的问题，本专利技术提出了一种融合可见光图像与对应夜视红外图像的检测方法。本专利技术是通过以下技术手段实现上述技术目的的。一种融合可见光图像与对应夜视红外图像的检测方法，包括如下步骤：S1，通过红外夜视仪对夜晚道路目标的可见光图像进行处理，得到其对应的夜视红外图像；S2，运用深度学习网络对可见光图像进行特征提取；S3，基于增量编码长度衡量显著性值的方法，对可见光图像的特征提取图像进行显著性区域的提取，得到可见光图像的显著性图像；S4，对可见光图像对应的夜视红外图像，运用GBVS模型(基于图论的图像显著性分析算法)进行显著性区域的粗提取，得到夜视红外图像的显著性图像CC；S5，运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取；S6，将可见光图像的显著性图像和夜视红外图像的显著性图像ZZ融合，得到夜晚道路目标的显著性图像。进一步，所述S2中运用深度学习网络对可见光图像进行特征提取的具体步骤为：S2.1，任意选取可见光图像一小块区域；S2.2，运用图像空间金字塔法对S2.1的一小块区域进行多尺度的划分，得到可见光图像的多尺度图像；S2.3，利用栈式自编码得到可见光图像的多尺度图像的稀疏响应图；S2.4，对可见光图像的多尺度图像的稀疏响应图运用卷积进行特征提取，得到多尺度图像的稀疏响应特征图；S2.5，按照稀疏响应值最大的原则，从多尺度图像的稀疏响应特征图中的某个尺度图像上选取一个LxL区域，并针对所选取的区域进行不同尺度上的空间池化，以整合不同尺度图像上的稀疏响应特征；S2.6，在S2.5中某个尺度图像上一个LxL区域的竖直方向的相同位置选取若干个区域，并对若干个区域进行多尺度的区域融合，得到一个融合区域图像；S2.7，采用S2.2-S2.5处理可见光图像的步骤对融合区域图像进行处理，得到融合区域图像的稀疏响应特征；S2.8，运用解码器对融合区域图像的稀疏响应特征进行解码，得到可见光图像的多尺度特征图，再对可见光图像的多尺度特征图进行多尺度的融合，得到一幅特征图；S2.9，利用SVM分类器(支持向量机算法)对S2.8得到特征图的进行特征分类，最终获取可见光图像的特征提取图像。进一步，所述S5中运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取的具体步骤为：S5.1，通过对显著性图像CC的红绿蓝三个分量组合计算，得到显著性图像CC的三个特征图U,RG,BY；S5.2，对特征图U,RG,BY进行整合，计算得到显著性图像CC的超复数矩阵f(x,y)；S5.3，先对超复数矩阵f(x,y)进行超复数傅立叶变换，然后计算显著性图像CC的幅值谱A，相位谱p，特征轴谱kk；S5.4，对幅值谱A进行卷积，从而得到显著性图像CC的谱尺度空间{AAk本文档来自技高网...

【技术保护点】
一种融合可见光图像与对应夜视红外图像的检测方法，其特征在于，包括如下步骤：S1，通过红外夜视仪对夜晚道路目标的可见光图像进行处理，得到其对应的夜视红外图像；S2，运用深度学习网络对可见光图像进行特征提取；S3，基于增量编码长度衡量显著性值的方法，对可见光图像的特征提取图像进行显著性区域的提取，得到可见光图像的显著性图像；S4，对可见光图像对应的夜视红外图像，运用GBVS模型(基于图论的图像显著性分析算法)进行显著性区域的粗提取，得到夜视红外图像的显著性图像CC；S5，运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取，得到夜视红外图像的显著性图像ZZ；S6，将可见光图像的显著性图像和夜视红外图像的显著性图像ZZ融合，得到夜晚道路目标的显著性图像。

【技术特征摘要】
1.一种融合可见光图像与对应夜视红外图像的检测方法，其特征在于，包括如下步骤：S1，通过红外夜视仪对夜晚道路目标的可见光图像进行处理，得到其对应的夜视红外图像；S2，运用深度学习网络对可见光图像进行特征提取；S3，基于增量编码长度衡量显著性值的方法，对可见光图像的特征提取图像进行显著性区域的提取，得到可见光图像的显著性图像；S4，对可见光图像对应的夜视红外图像，运用GBVS模型(基于图论的图像显著性分析算法)进行显著性区域的粗提取，得到夜视红外图像的显著性图像CC；S5，运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取，得到夜视红外图像的显著性图像ZZ；S6，将可见光图像的显著性图像和夜视红外图像的显著性图像ZZ融合，得到夜晚道路目标的显著性图像。2.根据权利要求1所述的一种融合可见光图像与对应夜视红外图像的检测方法，其特征在于，所述S2中运用深度学习网络对可见光图像进行特征提取的具体步骤为：S2.1，任意选取可见光图像一小块区域；S2.2，运用图像空间金字塔法对S2.1的一小块区域进行多尺度的划分，得到可见光图像的多尺度图像；S2.3，利用栈式自编码得到可见光图像的多尺度图像的稀疏响应图；S2.4，对可见光图像的多尺度图像的稀疏响应图运用卷积进行特征提取，得到多尺度图像的稀疏响应特征图；S2.5，按照稀疏响应值最大的原则，从多尺度图像的稀疏响应特征图...

【专利技术属性】
技术研发人员：蔡英凤，戴磊，王爽，王海，孙晓强，陈龙，江浩斌，陈小波，徐兴，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32