基于多尺度低秩矩阵分解的红外与可见光图像融合方法技术

本发明专利技术公开了一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其基于多尺度低秩矩阵分解将预处理后的红外图像和预处理后的可见光图像分解为多层次局部低秩图和全局低秩图两类，并根据各分解图像特点，针对性设计最优融合规则，得到的最终融合图像在不引入人工伪影和斑块的同时，能够保留原图的细节信息、增强热辐射显著目标，具有较好的对比度，有利于后续目标识别、检测等应用的开展。

【技术实现步骤摘要】
基于多尺度低秩矩阵分解的红外与可见光图像融合方法
本专利技术涉及一种图像融合技术，尤其是涉及一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法。
技术介绍
红外图像与可见光图像在军事、工程、科研以及日常生活等各方面都有着广泛地应用。其中，红外传感器成像基于物体的热辐射特性，具有较强的云雾穿透能力，可在复杂环境下对具有较强热辐射特性的目标进行有效成像，但红外传感器成像对物体的细节表现能力差，往往表现为图像空间分辨率低、细节纹理少、图像模糊等特点。可见光传感器成像基于物体对光的反射率特性，具有图像空间分辨率高、细节纹理丰富、图像相对清晰等特点，但可见光传感器成像受光照条件影响较大，且极易受天气、云雾遮挡等的影响。红外/可见光图像融合可集成两者优势，弥补单一传感器成像的不足，实现对成像场景全面精确地表达。目前，红外/可见光图像融合方法主要有：基于多尺度分解的融合方法、基于稀疏表示的融合方法、基于神经网络的融合方法等。基于多尺度分解的融合方法应用较为广泛，为红外/可见光图像融合中的研究热点，其基本思想为：首先，利用金字塔、小波变换等对红外图像和可见光图像分别进行低频和高频信息的分解，得到红外图像和可见光图像各自的低频和高频分量；其次，设计合理融合规则对红外图像的低频分量和可见光图像的低频分量进行融合、对红外图像的高频分量和可见光图像的高频分量进行融合；最后，利用融合后的低频分量和融合后的高频分量重建得到最终的融合图像。基于多尺度分解的融合方法主要包括基于金字塔分解的融合方法、基于小波变换的融合方法、基于曲波变换的融合方法、基于轮廓波变换的融合方法、基于引导滤波变换的融合方法等。此外，Bavirisetti等人提出了一种基于二尺度分解和显著性检测的融合方法，其利用均值滤波和中值滤波提取基础层和细节层，并利用视觉显著性获得权重图。此外，低秩分解于近几年引入红外/可见光图像融合领域，如Li等人提出的基于低秩分解的红外/可见光图像融合方法。现阶段使用的低秩分解模型大多基于Liu提出的低秩表示LRR(low-rankrepresentation)理论，但是这种表示方法不能很好地提取区域结构信息。因此，2011年Liu又提出潜在低秩表示LatLRR(Latentlow-rankrepresentation)理论，这种表示方法能够在一定程度上从原始数据中获取全局和局部的结构信息。Li在LatLRR理论的基础上提出了基于LatLRR理论的红外与可见光图像融合方法，一定程度上提高了融合精度。上述基于多尺度分解的红外与可见光图像融合方法往往采用了两层分解方式，即通过一种低通滤波器得到基础层低频信息，再通过与原图相减得到细节层，然而，上述两层分解方式对红外图像和可见光图像中的空间细节信息提取不充分。尽管LatLRR方法在一定程度上分解提取了原图的显著性区域和低秩区域，但分解得到的显著性图和低秩图存在分解不彻底且互相包含，导致融合结果往往存在对比度低、细节与纹理不够清晰、热红外目标不明显等问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其充分考虑到红外图像和可见光图像存在的局部相关性特点和显著性目标的多尺度特点，引入了多尺度低秩矩阵分解技术，并对得到的分解图像针对性地设计最优融合规则，提高了融合对比度、细节与纹理的清晰度、热红外目标的明显程度，从而进一步提升了融合效果和精度。本专利技术解决上述技术问题所采用的技术方案为：一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其特征在于包括以下步骤：步骤1：选取同一场景的一幅红外图像和一幅可见光图像，对应记为Ir和Iv；然后分别对Ir和Iv进行预处理，将预处理后得到的红外图像记为将预处理后得到的可见光图像记为其中，Ir和Iv的宽度均为M，Ir和Iv的高度均为N；步骤2：对进行多尺度低秩矩阵分解，将分解为L层分解图像，将的第i层分解图像记为将中坐标位置为(x,y)的像素点的像素值记为将中坐标位置为(x,y)的像素点的像素值记为同样，对进行多尺度低秩矩阵分解，将分解为L层分解图像，将的第i层分解图像记为将中坐标位置为(x,y)的像素点的像素值记为将中坐标位置为(x,y)的像素点的像素值记为其中，L表示多尺度低秩矩阵分解的分解层数，符号为向上取整符号，1≤i≤L，1≤x≤M，1≤y≤N；步骤3：对的L层分解图像和的L层分解图像针对性地设计最优融合权重，并进行融合，具体过程为：步骤3_1：将和各自的L层分解图像分为多层次局部低秩图和全局低秩图两类，再将多层次局部低秩图分为局部小低秩块部分和局部大低秩块部分，当L为偶数时，局部小低秩块部分由第1层至第层分解图像组成，局部大低秩块部分由第层至第L-1层分解图像组成，第L层分解图像为全局低秩图；当L为奇数时，局部小低秩块部分由第1层至第层分解图像组成，局部大低秩块部分由第层至第L-1层分解图像组成，第L层分解图像为全局低秩图；步骤3_2：对于局部小低秩块部分，将的局部小低秩块部分中的每层分解图像和的局部小低秩块部分中的每层分解图像的最优融合权重均设计为1；然后根据的局部小低秩块部分中的每层分解图像和的局部小低秩块部分中对应层分解图像，获取对应层融合图像，当的第j层分解图像Trj属于的局部小低秩块部分且的第j层分解图像Tvj属于的局部小低秩块部分时，将获取的第j层融合图像记为Fj，将Fj中坐标位置为(x,y)的像素点的像素值记为Fj(x,y)，其中，当L为偶数时当L为奇数时1≤x≤M，1≤y≤N，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；对于局部大低秩块部分，根据的局部大低秩块部分中的每层分解图像和的局部大低秩块部分中对应层分解图像，获取对应层融合图像，当的第k层分解图像Trk属于的局部大低秩块部分且的第k层分解图像Tvk属于的局部大低秩块部分时，将获取的第k层融合图像记为Fk，将Fk中坐标位置为(x,y)的像素点的像素值记为Fk(x,y)，其中，当L为偶数时当L为奇数时表示Tvk的最优融合权重，表示的最优融合权重，Wk表示Tvk的初始融合权重，Wk为最大绝对值方法权重系数，符号“||”为取绝对值符号，符号为卷积运算符号，G(x,y,σs)为高斯滤波器，σs表示高斯滤波器的标准差，Trk(x,y)表示Trk中坐标位置为(x,y)的像素点的像素值，Tvk(x,y)表示Tvk中坐标位置为(x,y)的像素点的像素值；对于全局低秩图，将的全局低秩图即第L层分解图像TrL的最优融合权重设计为wr，将的全局低秩图即第L层分解图像TvL的最优融合权重设计为wv；然后根据的全局低秩图即第L层分解图像TrL和的全局低秩图即第L层分解图像TvL，获取第L层融合图像，记为FL，将FL中坐标位置为(x,y)的像素点的像素值记为FL(x,y)，FL(x,y)＝wrTrL(x,y)+wvTvL(x,y)；其中，wr+wv＝1，TrL(x,y)表示TrL中坐标位置为(x,y)的像素点的像素值，TvL(x,y)表示TvL中坐标位置为(x本文档来自技高网...

【技术保护点】
1.一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其特征在于包括以下步骤：/n步骤1：选取同一场景的一幅红外图像和一幅可见光图像，对应记为I

【技术特征摘要】
1.一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其特征在于包括以下步骤：
步骤1：选取同一场景的一幅红外图像和一幅可见光图像，对应记为Ir和Iv；然后分别对Ir和Iv进行预处理，将预处理后得到的红外图像记为将预处理后得到的可见光图像记为其中，Ir和Iv的宽度均为M，Ir和Iv的高度均为N；
步骤2：对进行多尺度低秩矩阵分解，将分解为L层分解图像，将的第i层分解图像记为将中坐标位置为(x,y)的像素点的像素值记为将中坐标位置为(x,y)的像素点的像素值记为同样，对进行多尺度低秩矩阵分解，将分解为L层分解图像，将的第i层分解图像记为将中坐标位置为(x,y)的像素点的像素值记为将中坐标位置为(x,y)的像素点的像素值记为其中，L表示多尺度低秩矩阵分解的分解层数，符号为向上取整符号，1≤i≤L，1≤x≤M，1≤y≤N；
步骤3：对的L层分解图像和的L层分解图像针对性地设计最优融合权重，并进行融合，具体过程为：
步骤3_1：将和各自的L层分解图像分为多层次局部低秩图和全局低秩图两类，再将多层次局部低秩图分为局部小低秩块部分和局部大低秩块部分，当L为偶数时，局部小低秩块部分由第1层至第层分解图像组成，局部大低秩块部分由第层至第L-1层分解图像组成，第L层分解图像为全局低秩图；当L为奇数时，局部小低秩块部分由第1层至第层分解图像组成，局部大低秩块部分由第层至第L-1层分解图像组成，第L层分解图像为全局低秩图；
步骤3_2：对于局部小低秩块部分，将的局部小低秩块部分中的每层分解图像和的局部小低秩块部分中的每层分解图像的最优融合权重均设计为1；然后根据的局部小低秩块部分中的每层分解图像和的局部小低秩块部分中对应层分解图像，获取对应层融合图像，当的第j层分解图像属于的局部小低秩块部分且的第j层分解图像属于的局部小低秩块部分时，将获取的第j层融合图像记为Fj，将Fj中坐标位置为(x,y)的像素点的像素值记为Fj(x,y)，其中，当L为偶数时当L为奇数时1≤x≤M，1≤...

【专利技术属性】
技术研发人员：孟祥超，陈潮起，邵枫，符冉迪，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33