一种基于特征转移的红外与可见光图像融合方法技术

本发明专利技术涉及一种基于特征转移的红外与可见光图像融合方法，包括步骤：1)基于模糊区域规则和FPDE，对原始红外图像特征和可见光图像特征进行特征提升处理；2)根据提升后的特征层图建立特征转移模型，基于特征转移融合法对目标特征进行特征转移融合。与现有技术相比，本发明专利技术使融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，具有更高的总体对比度和信噪比，融合后可获得更为自然的融合图像。

【技术实现步骤摘要】
一种基于特征转移的红外与可见光图像融合方法
本专利技术涉及图像处理
，尤其是涉及一种基于特征转移的红外与可见光图像融合方法。
技术介绍
可见光相机通常能够感应波长在380nm～780nm之间的可见光波段，因而可见光图像具有较高的对比度、空间分辨率和丰富的细节信息，也更加符合人眼成像系统的感知，但是，另一方面，可见光成像十分依赖良好的成像环境，光照差、烟雾和其他一些障碍均能轻易地对可见光成像造成显著的影响。对此有学者注意到，波长范围在0.75μm～1000μm之间的红外传感器既不受天气影响，可全天候工作，又具有较强的抗扰能力，而其成像模糊和较低的空间分辨率的缺点则恰恰可以通过可见光成像进行补足，因此将红外图像与可见光图像进行融合所得到的融合图像实现了二者的优势互补，从而获得了可见光图像的边缘纹理等清晰的细节信息，以及红外图像中表示热力场的局部均匀、稳定的像素信息，更加有利于增强人类视觉感知和图像的后续处理。利用红外与可见光图像融合技术，即使在微光条件下，人们也可以通过两种传感器得到显著的热源目标和丰富的背景细节信息，这种优异的性能广泛地应用在了军事侦察、安防监控、辅助医学诊断以及电力巡检等工业领域，且各领域的研究人员提出了各种融合算法，致力于得到一幅符合如下准则的融合图像：(1)源图像中的有用信息在融合图像中实现最大程度的保留并且对重复、冗余信息进行有选择的融合或去除；(2)融合图像中不能造成噪声、伪影等人为产生的图块；(3)融合算法要具备一定的可靠性和鲁棒性；目前为止，融合算法根据其采用的理论的不同，通常可以分为七类，即多尺度变换，稀疏表示，神经网络，子空间，基于显著性度量，混合模型和其他方法。实际上，众多的融合算法大体可归结为三种类型的融合层级：像素级图像融合、特征级图像融合和决策级图像融合，其中，像素级图像融合算法作为最底层的融合方法，在融合的准确性和鲁棒性以及对细节的处理上均具有其他两种方法不可比拟的优势，也是目前研究最多的一个层级。由于传统图像融合方法在多尺度分解并采取不同的融合策略上是可取的，然而其融合策略往往是在一定的尺度图像中不加以区分地采用全局统一的融合手段(包括统一的变换方式或描述机制等)，这导致了融合算法很难顾及到尺度信息与图像特征之间的关系，体现在实际中，呈现出图像局部融合质量高，而其他区域的融合效果不甚理想，即区域特征融合效果并不令人满意。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于特征转移的红外与可见光图像融合方法，该方法可针对性地利用红外热目标所在区域的热辐射特征和可见光图像背景所在区域的细节特征通过模糊提升的方式去除冗余，然后将提升后的图像特征进行转移融合，使得融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，具有更高的总体对比度和信噪比。本专利技术的目的可以通过以下技术方案来实现：一种基于特征转移的红外与可见光图像融合方法，该方法的具体步骤如下：S1：基于模糊区域规则和FPDE，对原始红外图像特征和可见光图像特征进行特征提升处理；具体地：11)基于模糊区域规则，采用K均值聚类法分别将原始红外图像、可见光图像分割为若干基本区域；基本区域的基本特征为：依据聚类算法形成的区域，其内部像素具有最小的强度水平差异，而区域之间整体的像素强度差异较大。12)将所有基本区域按区域属性分为目标区域、过渡区域和背景区域；所述目标区域包括占比最多的热目标区域，所述背景区域包括可见光图像中的边缘、线条细节信息，所述过渡区域为不含有实质性内容信息的区域。13)建立隶属度函数，将三种不同属性的区域进行模糊化，确定基本区域的属性隶属值。14)将三种不同属性的区域通过FPDE进行分解，获得源图像的基础层。15)从源图像中减去FPDE求解的基础层，获取保留更多边缘和纹理细节的细节层。16)以原始红外图像、可见光图像的区域像素索引为基准，对两幅源图像经过模糊空间下的模糊区域规则和尺度空间下的FPDE分别进行区域划分和层图分解的交叉操作，获取目标区域、背景区域和过渡区域的基础层图和细节层图。17)筛选各区域层图中的主要特征信息、次要特征信息，并去除冗余特征信息，进而保留用以进行转移融合的特征信息。进一步地，步骤13)的具体内容为：假设采用K均值聚类法将红外图像分割为三个基本区域R1、R2、R3，对论域U{R1,R2,R3}进行模糊映射：γi,j(·):U→[0,1]，γi,j为隶属度函数，其表达式为：式中：λO＝Lmin，λT＝(Lmax-Lmin)/2，λB＝Lmax分别代表三种区域属性：目标区域、过渡区域和背景区域，βmin、αmax和θi分别为基本区域Ri中的像素强度最小值、最大值和均值，γi,j为区域Ri对区域属性ji＝λi(i＝1,2,3)的隶属值。区域模糊空间和尺度空间交叉下的区域层图中，将红外目标区域的基础层图，记为将可见光背景区域的细节层图作为主要特征信息，将可见光目标区域的基础层图和红外背景区域的细节层图中作为次要特征信息，用以补充主要特征信息，对过渡区域不做特殊处理，其余的区域层图视为冗余特征信息进行去除处理，进而保留用以进行转移融合的特征信息。S2：根据提升后的特征层图建立特征转移模型，基于特征转移融合法对目标特征进行特征转移融合。具体步骤包括：21)将特征提升后的图像作为待融合图像，并进行向量化；22)从特征提升后的图像推导出转移模型，其中，转移模型中要求融合图像最大程度接近红外提升图像的像素分布，而其梯度特征与可见光提升图像类似；融合后图像由内部参数aj、bj在有条件约束下的优化取值以及正则化参数ξ的共同作用下获取，其中，内部参数aj、bj控制融合图像与源图像的特征相似性，正则化参数ξ负责平衡两者取值，通过滑动窗口的方式进行滚动计算，将特征提升后的图像中的主要特征信息转移至融合图像。23)通过滑动窗口的方式计算模型参数，根据在每一个窗口下计算的模型参数实现局部的图像转移融合，最终生成整幅融合图像。将提升图像的主要特征信息和次要特征信息进行特征转移融合，对过渡区域层图的特征采用平均策略法进行融合，最终的融合图像S由与的转移融合和平均融合获取。最终图像S的表达式为：式中，FTF为特征转移融合，AVR为平均策略法。本专利技术提供的基于特征转移的红外与可见光图像融合方法，相较于现有技术至少包括如下有益效果：一、本专利技术在视觉上明显提高了融合图像可视性，通过将图像在模糊规则阶段中判定为目标区域，利用该判别，使得特征转移阶段保留该区域中更多的红外特征，因而该方法使得融合图像中热辐射目标更加均匀、光亮，背景细节更加清晰，总体对比度得到提高；二、在本专利技术中，模糊区域规则与FPDE的交叉获得的区域层图中，目标区域的细节层图红外信息易被显著化，降低红外目标区域的像素稳定性，且该区域中细节信息并不丰富，这两方面使得该区域层图对获得高质量的融合图像并无有效帮助，因而有针本文档来自技高网...

【技术保护点】
1.一种基于特征转移的红外与可见光图像融合方法，其特征在于，包括下列步骤：/n1)基于模糊区域规则和FPDE，对原始红外图像特征和可见光图像特征进行特征提升处理；/n2)根据提升后的特征层图建立特征转移模型，基于特征转移融合法对目标特征进行特征转移融合。/n

【技术特征摘要】
1.一种基于特征转移的红外与可见光图像融合方法，其特征在于，包括下列步骤：
1)基于模糊区域规则和FPDE，对原始红外图像特征和可见光图像特征进行特征提升处理；
2)根据提升后的特征层图建立特征转移模型，基于特征转移融合法对目标特征进行特征转移融合。


2.根据权利要求1所述的基于特征转移的红外与可见光图像融合方法，其特征在于，步骤1)的具体内容为：
11)基于模糊区域规则，分别将原始红外图像、可见光图像分割为若干基本区域；
12)将所有基本区域按区域属性分为目标区域、过渡区域和背景区域；
13)建立隶属度函数，将三种不同属性的区域进行模糊化，确定基本区域的属性隶属值；
14)将三种不同属性的区域通过FPDE进行分解，获得源图像的基础层；
15)从源图像中减去FPDE求解的基础层，获取保留更多边缘和纹理细节的细节层；
16)以原始红外图像、可见光图像的区域像素索引为基准，对两幅源图像经过模糊空间下的模糊区域规则和尺度空间下的FPDE分别进行区域划分和层图分解的交叉操作，获取目标区域、背景区域和过渡区域的基础层图和细节层图；
17)筛选各区域层图中的主要特征信息、次要特征信息，并去除冗余特征信息，进而保留用以进行转移融合的特征信息。


3.根据权利要求2所述的基于特征转移的红外与可见光图像融合方法，其特征在于，采用K均值聚类法分别将原始红外图像、可见光图像分割为若干基本区域。


4.根据权利要求3所述的基于特征转移的红外与可见光图像融合方法，其特征在于，步骤13)的具体内容为：
假设采用K均值聚类法将红外图像分割为三个基本区域R1、R2、R3，对论域U{R1,R2,R3}进行模糊映射：γi,j(·):U→[0,1]，γi,j为隶属度函数，其表达式为：



式中：λO＝Lmin，λT＝(Lmax-Lmin)/2，λB＝Lmax分别代表三种区域属性：目标区域、过渡区域和背景区域；βmin、αmax和θi分别为基本区域Ri中的像素强度最小值、最大值和均值，γi,j为区域Ri对区域属性ji＝λi(i＝1,2,3)的隶属值。


5.根据权利要求2所述的基于特征转移的红外与可见光图像融合方法，...

【专利技术属性】
技术研发人员：刘刚，代立杨，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：上海;31