一种基于显著目标的红外与可见光图像融合方法技术

本发明专利技术提供一种基于显著目标的红外与可见光图像融合方法，包括以下步骤：对给定同一场景包含若干目标的红外图像和可见光图像，分别建立红外和可见光图像的非线性尺度空间表示；在图像非线性尺度空间表示基础上，利用视觉注意计算模型计算红外和可见光图像的视觉注意显著图；在红外和可见光图像视觉注意显著图基础上，利用返回抑制机制分别选择出红外和可见光图像中的显著目标区域，并计算整个场景中的所有显著目标区域；对红外图像和可见光图像进行配准操作，对显著目标区域采用像素级融合算法进行融合处理，对非显著目标区域，采用特征级融合算法进行融合处理；综合结果，生成全场景的红外图像和可见光图像融合图像。

【技术实现步骤摘要】
一种基于显著目标的红外与可见光图像融合方法
本专利技术涉及一种多源图像融合
，特别是一种基于显著目标的红外与可见光图像多层次融合方法。
技术介绍
图像融合(ImageFusion)是指将多分辨率或多介质图像数据通过空间配准和图像信息互补产生新的图像的综合分析技术。与单一传感器图像相比，融合图像能最大限度的利用各源图像的信息，提高分辨率和清晰度，增加图像目标感知的灵敏度、感知距离和精度、抗干扰能力等，从而减少目标感知的不完全性和不确定性，提高对目标四部的准确率和场景解释能力。图像融合通用的流程如图所示。首先，对多幅源图像进行一些预处理操作，如滤除噪声等；其次，对图像进行时空配准，即将它们映射到同一个时空坐标系中，以确保它们时空位置的一致性；再次，对配准后的图像采用相应的方法进行处理；最后，根据一定的融合规则进行融合处理得到融合图像。光电和红外探测传感器是预警机和无人机等战术侦察平台最为常见的两种载荷。可见光成像在波段0.4～1.0μm，其特点是分辨率高，隐蔽性好，可获得丰富的对比度、颜色和形状信息，但受环境照度影响，不能夜间工作，无伪装识别能力。红外成像在波段8～14μm(长红外波段)和3～5μm(中红外波段)，其特点是具有一定穿透烟、雾、雪等的能力，隐蔽性好，成像分辨率较高，探测距离一般在几千米到十几千米之间，但受气候影响，作用距离较远时图像不够稳定。当目标本身各部位温度变化较大或者背景热辐射特性较弱时，红外图像包含的目标或背景的细节信息较少，而可见光图像则可包含丰富的细节信息；然而，在光线较暗或有烟、云、雾坏境中，可见光图像质量较差，红外图像中的目标却依然清晰可辨。将可见光图像与红外图像进行融合处理，可以克服环境噪声对目标探测的影响，全面掌握目标的形状和细节特征，而且不受环境光照影响，能够全天候使用，对提高侦察平台探测和图像情报分析研判系统性能具有重要意义。美国防部在不同时期制定的关键战术计划中，有相当一部分的任务涉及到多源图像融合方面。在海湾战争中发挥良好作战性能的“LANTIAN”吊舱就是一种可将前视红外、激光测距、可见光摄像机等多种传感器信息叠加显示的图像融合系统。美国TI公司于1995年从美国夜视和电子传感器管理局(NVESD)获得了将红外与三代微光图像融合设计集成到先进直升机(AHP)传感器系统的合同，信号处理功能由TMS32OC30DSP完成。2003年，美国国防部提出“军事转型中的横向融合(TransformationalaboutHorizontalFusion)”白皮书，注重横向融合尤其是数据融合，目的是加强系统的横向互通能力特别是数据融合能力。2006年，美国防部办公厅(OSD)发布了要在未来几年内进行验证的年度技术项目列表，以推动这些领域的快速发展。国内在多源图像融合的工作集中于算法研究，包括利用DT-CWT变换、小波多尺度采样、区域分割等方法研究多源图像融合。已有的系统技术大多局限于对同一场景的不同时相或其不同颜色通道的图像像素的简单叠加或取舍运算。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对现有红外图像与可见光图像融合方法中存在的不足，提供一种基于显著目标的红外与可见光图像融合方法。为了解决上述技术问题，本专利技术公开了一种基于显著目标的红外与可见光图像融合方法，包括以下步骤：步骤1，对给定同一场景包含若干(一个以上)目标的红外图像和可见光图像，分别建立红外和可见光图像的多尺度空间表示；步骤2，在图像非线性尺度空间表示基础上，利用视觉注意计算模型计算红外和可见光图像的视觉注意显著图。步骤3，在红外和可见光图像视觉注意显著图基础上，利用返回抑制机制分别选择出红外和可见光图像中的显著目标区域，并计算整个场景中的所有显著目标区域。步骤4，对红外图像和可见光图像进行配准操作，对显著目标区域采用像素级融合算法进行融合处理，对非显著目标区域，采用特征级融合算法进行融合处理。步骤5，综合显著目标区域融合结果和非显著区域融合结果，生成全场景的红外图像和可见光图像融合图像。本专利技术步骤1包括利用非线性尺度空间的方法建立红外和可见光图像的多尺度空间表示；红外图像和可见光图像的多尺度空间表示分别为：L:I(x1,y1)×t1→I(x1,y1；t1)，其中，其中L为尺度空间变换，x1表示红外图像I中的横坐标，y1表示红外图像I中的纵坐标，t1表示红外图像多尺度空间的尺度因子。L:V(x2,y2)×t2→V(x2,y2；t2)，其中，其中L为尺度空间变换，x2表示可见光图像V中的横坐标，y2表示可见光图像V中的纵坐标，t2表示可见光图像多尺度空间的尺度因子。对于红外图像：I(x1,y1；t1)＝I(x1,y1；0)*g(x1,y1；t1)，红外图像尺度函数对于可见光图像：V(x2,y2；t2)＝V(x2,y2；0)*g(x2,y2；t2)，可见光图像尺度函数本专利技术步骤2中，建立红外图像和可见光图像的视觉注意计算模型，计算红外图像和可见光图像的视觉注意显著图，包括：计算红外图像和可见光图像的亮度、颜色和方向低层视觉特征图，以及对应的各特征显著图。对于红外图像：亮度显著图计算公式：c表示高尺度因子，s表示低尺度因子，I(c)表示高尺度空间的红外图像，I(s)表示低尺度空间的红外图像。颜色显著图计算公式：红外图像的红绿/绿红双对立图像其中IR(c)为红外图像的高尺度红色通道图像，IR(s)为红外图像的低尺度红色通道图像，IG(c)为红外图像的高尺度绿色通道图像，IG(s)为红外图像的低尺度绿色通道图像；红外图像的蓝黄/黄蓝双对立图像其中，IB(c)为红外图像的高尺度蓝色通道图像，IB(s)为红外图像的低尺度蓝色通道图像，IY(c)为红外图像的高尺度黄色通道图像，IY(s)为红外图像的低尺度黄色通道图像。方向显著图计算公式：红外图像的方向显著图其中，IO(c,θ)为红外图像的高尺度方向特征图，IO(s,θ)为红外图像的低尺度方向特征图，θ取值为用归一化算子N(·)计算整个红外图像的视觉注意显著图：IS＝N(I)+N(IRG)+N(IBY)+N(IO)。对于可见光图像：亮度显著图计算公式：c表示高尺度因子，s表示低尺度因子，V(c)表示高尺度空间的可见光图像，V(s)表示低尺度空间的可见光图像。颜色显著图计算公式：可见光图像的红绿/绿红双对立图像其中VR(c)为可见光图像的高尺度红色通道图像，VR(s)为可见光图像的低尺度红色通道图像，VG(c)为可见光图像的高尺度绿色通道图像，VG(s)为可见光图像的低尺度绿色通道图像；可见光图像的蓝黄/黄蓝双对立图像其中，VB(c)为可见光图像的高尺度蓝色通道图像，VB(s)为可见光图像的低尺度蓝色通道图像，VY(c)为可见光图像的高尺度黄色通道图像，VY(s)为可见光图像的低尺度黄色通道图像。方向显著图计算公式：可见光图像的方向显著图其中，VO(c,θ)为可见光图像的高尺度方向特征图，VO(s,θ)为可见光图像的低尺度方向特征图，θ取值为用归一化算子N(·)计算整个可见光图像的视觉注意显著图：VS＝N(V)+N(VRG)+N(VBY)+N(VO)。本专利技术步骤3中，在红外和可见光图像视觉注意显著图基础上，选取视觉显著图中灰度值最大的点为首次注视点，选择出本文档来自技高网...

【技术保护点】
一种基于显著目标的红外与可见光图像融合方法，其特征在于，包括以下步骤：步骤1，对给定同一场景包含若干目标的红外图像和可见光图像，分别建立红外图像和可见光图像的多尺度空间表示；步骤2，在图像非线性尺度空间表示基础上，建立红外图像和可见光图像的视觉注意计算模型，计算红外图像和可见光图像的视觉注意显著图；步骤3，在红外图像和可见光图像视觉注意显著图基础上，利用返回抑制机制分别选择出红外图像和可见光图像中的显著目标区域，并计算整个场景中的所有显著目标区域；步骤4，对红外图像和可见光图像进行配准操作，对显著目标区域采用像素级融合算法进行融合处理，对非显著目标区域，采用特征级融合算法进行融合处理；步骤5，综合显著目标区域融合结果和非显著区域融合结果，生成全场景的红外图像和可见光图像融合图像。

【技术特征摘要】
1.一种基于显著目标的红外与可见光图像融合方法，其特征在于，包括以下步骤：步骤1，利用非线性多尺度空间方法建立红外图像和可见光图像的非线性多尺度空间表示：设有一个场景的红外图像为I(x1,y1)，x1表示红外图像I中的横坐标，y1表示红外图像I中的纵坐标；可见光图像为V(x2,y2)，x2表示可见光图像V中的横坐标，y2表示可见光图像V中的纵坐标，尺度因子记为t∈R+，红外图像和可见光图像的非线性多尺度空间表示分别为I(x1,y1)×t1→I(x1,y1；t1)，t1表示红外图像非线性多尺度空间的尺度因子，V(x2,y2)×t2→V(x2,y2；t2)，t2表示可见光图像非线性多尺度空间的尺度因子：I(x1,y1；0)＝I(x1,y1)V(x2,y2；0)＝V(x2,y2)其中I(x1,y1；0)为原始尺度的红外图像，V(x2,y2；0)为原始尺度的可见光图像，尺度t的初始值为原始图像中的尺度；以高斯核函数表示的线性尺度空间是不产生新结构的高斯卷积平滑过程；对于红外图像，得到：I(x1,y1；t1)＝I(x1,y1；0)*g(x1,y1；t1)红外图像尺度函数对于可见光图像，得到：V(x2,y2；t2)＝V(x2,y2；0)*g(x2,y2；t2)可见光图像尺度函数扩散方程自适应的处理图像的局部区域，从而保持不希望被模糊的信息，即扩散方法是非线性；用非线性各向同性扩散方程建立图像的非线性多尺度空间表示，确保各个尺度图像中的区域轮廓被增强，并有利于不同尺度间的对应性计算，其扩散方程如下式所示：或其中，表示为图像的梯度，表示图像的梯度的模值，表示的扩散系数，λ＞0表示边缘阈值；步骤2，在图像非线性多尺度空间表示基础上，利用视觉注意计算模型计算红外和可见光图像的视觉注意显著图；在步骤1对红外图像和可见光图像尺度空间表示基础上，分别提取颜色、亮度和方向作为引导视觉注意的低层特征，通过感受野的中央-周边差计算各类特征显著图，最后通过归一化算子得到视觉注意显著图；(1)低层视觉特征图：对于红外图像：亮度特征图：记Ir(t1)、Ig(t1)和Ib(t1)分别为原始红外图像中的红色、绿色和蓝色通道，其中t1表示尺度因子，亮度特征图为：I(t1)＝(Ir(t1)+Ig(t1)+Ib(t1))/3颜色特征图：对I(t1)的r(t1)、g(t1)和b(t1)通道进行归一化，得到广义上的红IR(t1)、绿IG(t1)、蓝IB(t1)和黄IY(t1)四个通道值，如下列式所示：IR(t1)＝Ir(t1)-(Ig(t1)+Ib(t1))/2IG(t1)＝Ig(t1)-(Ir(t1)+Ib(t1))/2IB(t1)＝Ib(t1)-(Ir(t1)+Ig(t1))/2IY(t1)＝Ir(t1)+Ig(t1)-2*(|Ir(t1)-Ig(t1)|+Ib(t1))其中，如果通道值结果为负值则设为0；方向特征图：利用Gabor滤波器计算红外图像的方向特征图，如下式所示：其中(x1,y1)是红外图像的像素坐标，(x0,y0)是空域中感受野中心坐标，x0为横坐标，y0为纵坐标；(ξ0,υ0)是滤波器在频域上的最优空间频率，ξ0为实部，υ0为虚部，i1表示不同的方向；σ和β分别是x和y轴方向上高斯函数的标准差；取四个方向的Gabor滤波器输出作为方向特征图：四个方向分别为对于可见光图像：亮度特征图：记Vr(t2)、Vg(t2)和Vb(t2)分别为原始可见光图像中的红色、绿色和蓝色通道，其中t2表示尺度因子，则亮度特征图为：V(t2)＝(Vr(t2)+Vg(t2)+Vb(t2))/3颜色特征图：对V(t2)的Vr(t2)、Vg(t2)和Vb(t2)通道进行归一化，得到广义上的红、绿、蓝和黄四个通道值VR(t2)，VR(t2)，VB(t2)，VY(t2)，如下列式所示：VR(t2)＝Vr(t2)-(Vg(t2)+Vb(t2))/2VG(t2)＝Vg(t2)-(Vr(t2)+Vb(t2))/2VB(t2)＝Vb(t2)-(Vr(t2)+Vg(t2))/2VY(t2)＝Vr(t2)+Vg(t2)-2*(|Vr(t2)-Vg(t2)|+Vb(t2))其中，如果通道值结果为负值则设为0；方向特征图：利用Gabor滤波器计算可见光图像的方向特征图，如下式所示：其中(x2,y2)是可见光图像的像素坐标；(x0,y0)是空域中感受野中心坐标，x0为横坐标，y0为纵坐标；(ξ0,υ0)是滤波器在频域上的最优空间频率，ξ0为实部，υ0为虚部，i1表示不同的方向；σ和β分别是x和y轴方向上高斯函数的标准差；取四个方向的Gabor滤波器输出作为方向特征图：四个方向分别为(2)特征显著图对于红外图像：将亮度I，四个颜色分量IR、IG、IB、IY和四个方向特征图用尺度空间的方法进行表示，中央图像对应于高分辨率下的尺度，外周图像对应于低分辨率下的尺度，实现感受野和整合野的中央－外周差的计算策略，得到各特征显著图；亮度显著图：亮度显著图由亮度对比度产生，用I(c,s)表示亮度显著图：其中，c为红外图像尺度空间表示中高分辨率的尺度因子，s为低分辨率尺度因子，为中央－外周差计算子，通过高分辨率图像中的像素减去低分辨率图像中的对应像素实现；颜色显著图：红外图像的红绿/绿红双对立图像：其中IR(c)为红外图像的高尺度红色通道图像，IR(s)为红外图像的低尺度红色通道图像，IG(c)为红外图像的高尺度绿色通道图像，IG(s)为红外图像的低尺度绿色通道图像；红外图像的蓝黄/黄蓝双对立图像：其中，IB(c)为红外图像的...

【专利技术属性】
技术研发人员：邵静，秦晅，卢旻昊，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏;32