一种基于多尺度分析的可见光图像与远红外图像融合方法技术

本发明专利技术公开了一种基于多尺度分析的可见光图像与远红外图像融合方法。在图像多尺度分解的过程中，考虑到远红外图像条纹噪声对最终融合结果的影响，针对远红外图像条纹噪声特点，使用混合全变分多尺度分析处理可见光图像与远红外图像，在获得子带图像的同时对远红外噪声进行了抑制；然后根据人类视觉显著性分布特性，对子带图像的融合规则进行调整，将可见光图像与远红外细节图像进行融合；最后根据实际应用对融合结果的需求，调整重建参数，获得融合结果。本发明专利技术方法能在图像多尺度分解过程中对远红外图像中的条纹噪声进行有效抑制，并根据人类视觉显著性特点结合可见光图像与远红外图像各自特点，提供了有效信息更丰富、图像质量更好的融合结果。

【技术实现步骤摘要】
一种基于多尺度分析的可见光图像与远红外图像融合方法
本专利技术属于图像处理领域，尤其涉及一种基于多尺度分析的可见光图像与远红外图像融合方法。
技术介绍
随着传感器技术的不断进步，图像源呈现出多元化的趋势。可见光，近红外，远红外，雷达等不同传感器采集的图像具有不同的成像原理，提供真实目标的不同方面的特征信息。这些来自不同传感器的数据具有不同的时间、空间、光谱分辨率和不同的极化方式。由于单一传感器提供的数据量有限，难以满足应用需求，在此种背景下，多传感器数据融合与分析技术应运而生。在地球科学、军事侦察、医学图像、计算机视觉等领域有着广泛的应用。图像融合是这一领域的重要分支，通过图像融合，可以将同一场景的多个不同传感器获取的图像融合成新的图像，融合的新图像具有更好的可理解性，较少的模糊以及更高的可信度，更适合人眼视觉，计算机检测、分类、识别、理解等处理。在多传感器图像采集的过程中，尤其是远红外图像的获取过程中，由于成像原理，硬件水平以及实验环境限制，红外热像仪的噪声可以极大地降低图像的质量和限制对低对比度目标的探测能力。因此，如何在图像融合的同时对远红外图像噪声进行抑制，是一个很有实际应用意义的课题。
技术实现思路
本专利技术的目的是在可见光图像同远红外图像融合的过程中，针对远红外图像噪声特点，在多尺度分解过程中对噪声进行抑制，并通过视觉显著性分析提取可见光图像与远红外图像各自的目标特征，最终提升融合结果的图像质量以及融合结果所含信息的准确性和有效性。本专利技术的目的是通过以下技术方案来实现的：一种基于多尺度分析的可见光图像与远红外图像融合方法，该方法包括以下步骤：(1)将可见光图像与远红外图像分别进行融合前处理，分别得到可见光图像的三个细节层和远红外图像的三个细节层，具体是：(1.1)计算图像的梯度图，并对梯度图进行高斯模糊；(1.2)根据1.1处理后的梯度图中的每一个像素点的灰度值以及阈值th，获得权重矩阵W；(1.3)根据原始图像以及2.2中计算的权重矩阵W，利用三个不同的迭代次数分别对原始图像进行混合单向全变分平滑处理，得到三个子带图像；其中，可见光图像三个子带图像分别为Vn1,Vn2,Vn3，远红外图像的三个子带图像分别为Im1,Im2,Im3，n1,n2,n3分别为可见光图像的三个迭代次数，m1,m2,m3分别为红外图像的三个迭代次数，且n1＜n2＜n3,m1＜m2＜m3；(1.4)将原始图像(迭代次数为0)以及三个子带图像按照迭代次数进行排序，相邻的图像相减获取一个细节层，可见光图像的三个细节层分别为V1,V2,V3，其中，V1为可见光原始图像与Vn1相减后得到的细节层，V2为Vn1与Vn2相减后得到的细节层，V3为Vn2与Vn3相减后得到的细节层，同理，远红外图像的三个细节层分别为I1,I2,I3，其中，I1为可见光原始图像与In1相减后得到的细节层，I2为In1与In2相减后得到的细节层，I3为In2与In3相减后得到的细节层。(2)对步骤1得到的六个细节层以及Vn3与Im3分别进行行和列的延拓，然后运用视觉显著性计算公式计算每一个点的视觉显著性值，分别得到一个显著性矩阵，即V1′,V2′,V3′,Vn3′以及I1′,I2′,I3′,Im3′；(3)将V1′和I1′矩阵中，相互对应的两个点进行归一化处理，分别得到归一化权重矩阵Wv1,WI1，按照同样方法对V2′和I2′、V3′和I3′、Vn3′和Im3′进行处理，分别得到Wv2,WI2，Wv3,WI3,Wvn3,WIn3,；(4)计算各细节层图像以及迭代次数最大的两个子带图像的灰度融合结果，具体如下：P0＝Vn3*Wvn3+Im3*WIm3P1＝V1*Wv1+I1*WI1P2＝V2*Wv2+I2*WI2P3＝V3*Wv3+I3*WI3(5)将每一层的融合结果进行再融合，所述权重分别为0.75、0.60、0.31、0.32，得到最终融合结果：FR＝0.75P0+0.60P1+0.31P2+0.32P3进一步地，步骤1.1中，高斯模糊核大小为3×7,σ＝1。进一步地，步骤1.2中，th＝0.5。进一步地，步骤1.3中，所述不同迭代次数分别为1、2、3。进一步地，步骤5中，所述权重分别为0.75、0.60、0.31、0.32。本专利技术的有益效果：在基于多尺度分析的可见光图像与远红外图像融合过程中，首先，采用混合单向全变分平滑方法对可见光图像与远红外图像分别进行平滑处理，此种平滑方法，可以有效抑制远红外图像中轻条纹噪声以及重条纹噪声，为最终融合图像质量的提升打下基础；然后，采用基于人类视觉显著性分析的细节子带融合权重计算方法，可以有效地提取可见光图像以及远红外图像中各自的突出目标，提升融合结果的特征显著性以及有效性；最后，灵活的多尺度重建过程，可以为获取不同特点的融合结果提供简便有效的调节手段，有利于进一步研究与效果比对。附图说明图1为本专利技术方法示意图。图2为被条纹噪声污染图像。图3为本专利技术所用去条纹方法效果同其他方法效果比较，(a)wavelet-FFT、(b)SLD、(c)UTV、(d)l1-UTV、(e)HUTV、(f)HUTV随迭代次数变化的目标函数值。图4为a)可见光图像、(b)红外图像、(c)可见光图像的人类视觉权重分布图、(d)红外图像的人类视觉权重分布图。图5为构建多尺度细节子带过程。图6为用来检验本专利技术方法的测试图像组Uncamp图像、Trees图像、Flow-er图像、City图像。图7Uncamp图像组的融合结果。图8Trees图像组的融合结果。图9City图像组的融合结果。图10lower图像组的融合结果。具体实施方式以下结合附图对本专利技术作进一步说明。本专利技术提供的一种基于多尺度分析的可见光图像与远红外图像融合方法，主要包括多尺度分解的权重矩阵计算、多尺度子带图像的计算、细节层融合权重矩阵计算、融合图像重建等几个步骤，如图1所示。步骤1.将可见光图像与远红外图像分别进行融合前处理，分别得到可见光图像的三个细节层和远红外图像的三个细节层1-1计算图像的梯度图，并对梯度图进行高斯模糊；1-2根据1.1处理后的梯度图中的每一个像素点的灰度值以及阈值th，获得权重矩阵W；1-3根据原始图像以及2.2中计算的权重矩阵W，利用三个不同的迭代次数分别对原始图像进行混合单向全变分平滑处理，得到三个子带图像；其中，可见光图像三个子带图像分别为Vn1,Vn2,Vn3，远红外图像的三个子带图像分别为Im1,Im2,Im3，n1,n2,n3分别为可见光图像的三个迭代次数，m1,m2,m3分别为红外图像的三个迭代次数，且n1＜n2＜n3,m1＜m2＜m3；1-4将原始图像(迭代次数为0)以及三个子带图像按照迭代次数进行排序，相邻的图像相减获取一个细节层，可见光图像的三个细节层分别为V1,V2,V3，其中，V1为可见光原始图像与Vn1相减后得到的细节层，V2为Vn1与Vn2相减后得到的细节层，V3为Vn2与Vn3相减后得到的细节层，同理，远红外图像的三个细节层分别为I1,I2,I3，其中，I1为可见光原始图像与In1相减后得到的细节层，I2为In1与In2相减后得到的细节层，I3为In2与In3相减后得到的细节层。权重矩阵W具有非常高的重要性，必须根据图像本文档来自技高网...

【技术保护点】
一种基于多尺度分析的可见光图像与远红外图像融合方法，其特征在于，该方法包括以下步骤：(1)将可见光图像与远红外图像分别进行融合前处理，分别得到可见光图像的三个细节层和远红外图像的三个细节层，具体是：(1.1)计算图像的梯度图，并对梯度图进行高斯模糊；(1.2)根据1.1处理后的梯度图中的每一个像素点的灰度值以及阈值th，获得权重矩阵W；(1.3)根据原始图像以及2.2中计算的权重矩阵W，利用三个不同的迭代次数分别对原始图像进行混合单向全变分平滑处理，得到三个子带图像；其中，可见光图像三个子带图像分别为V

【技术特征摘要】
1.一种基于多尺度分析的可见光图像与远红外图像融合方法，其特征在于，该方法包括以下步骤：(1)将可见光图像与远红外图像分别进行融合前处理，分别得到可见光图像的三个细节层和远红外图像的三个细节层，具体是：(1.1)计算图像的梯度图，并对梯度图进行高斯模糊；(1.2)根据1.1处理后的梯度图中的每一个像素点的灰度值以及阈值th，获得权重矩阵W；(1.3)根据原始图像以及2.2中计算的权重矩阵W，利用三个不同的迭代次数分别对原始图像进行混合单向全变分平滑处理，得到三个子带图像；其中，可见光图像三个子带图像分别为Vn1,Vn2,Vn3，远红外图像的三个子带图像分别为Im1,Im2,Im3，n1,n2,n3分别为可见光图像的三个迭代次数，m1,m2,m3分别为红外图像的三个迭代次数，且n1＜n2＜n3,m1＜m2＜m3；(1.4)将原始图像(迭代次数为0)以及三个子带图像按照迭代次数进行排序，相邻的图像相减获取一个细节层，可见光图像的三个细节层分别为V1,V2,V3，其中，V1为可见光原始图像与Vn1相减后得到的细节层，V2为Vn1与Vn2相减后得到的细节层，V3为Vn2与Vn3相减后得到的细节层，同理，远红外图像的三个细节层分别为I1,I2,I3，其中，I1为可见光原始图像与In1相减后得到的细节层，I2为In1与In2相减后得到的细节层，I3为In2与In3相减后得到...

【专利技术属性】
技术研发人员：陈跃庭，王义，徐之海，李奇，冯华君，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33