一种基于图像重构的可见光与红外图像融合方法技术

本发明专利技术公开了一种基于图像重构的可见光与红外图像融合方法，属于图像处理领域。本发明专利技术依次通过计算已配准的红外图像和可见光亮度图像的梯度、估计亮度图像的噪声强度、求亮度图像梯度的加权和、获得重构图像、归一化重构图像、重构的亮度图像与原可见光的色彩分量组合等步骤，解决现有图像拼接、融合过程中，图像边界存在显著差异性问题。本发明专利技术可应用于任意多幅已配准图像的融合处理。

【技术实现步骤摘要】
一种基于图像重构的可见光与红外图像融合方法
本专利技术属于图像处理领域，具体涉及一种基于图像重构的可见光与红外图像融合方法。
技术介绍
图像融合是指将多个传感器探测的图像信息综合处理后，实现对探测场景更全面、更可靠的描述。图像融合通过整合不同图像信息源的互补信息，既可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，又能去除多源图像信息的冗余性，在提高图像理解和识别效率的同时又提高了图像的质量，有利于对物理现象和事件进行定位、识别和解释。图像融合通常分为三个层次：像素级融合、特征级融合与决策级融合，本专利技术属于像素级融合。像素级融合处理的输入和输出数据都是以图像数据为载体，其处理目标是将待融合图像中的感兴趣信息提取出来，集成至融合图像中。随着多尺度分析工具的发展，以DWT和其一系列改进方案如非下采样轮廓波(NSCT)为代表多尺度分析工具已经广泛应用于图像融合领域[KongW,ZhangL,LeiY.NovelfusionmethodforvisiblelightandinfraredimagesbasedonNSST–SF–PCNN[J].InfraredPhysics&Technology,2014,65:103-112.]。融合规则是基于多尺度分析的融合算法中另一个至关重要的因素，融合规则一般可分为三类：基于像素的融合规则、基于窗口的融合规则和基于区域的融合规则[叶传奇.基于多尺度分解的多传感器图像融合算法研究[D].[博士论文].西安电子科技大学,2009]。基于像素的融合规则如传统的加权平均得到的融合图像对比度较低；基于窗口的融合规则，如基于窗口区域统计特性的融合算法[张强,郭宝龙.一种基于非采样Contourlet变换红外图像与可见光图像融合算法[J].红外与毫米波学报,2007,06:476-480.]，考虑了相邻像素间的相关性，在一定程度上提高了融合效果；基于区域的融合规则，是将构成某区域的多个像素作为一个整体参与到融合过程中，如基于区域分割的图像融合算法[LiuKun,GuoLei,LiHui-hua,etal.Fusionofinfraredandvisiblelightimagesbasedonregionsegmentation[J].ChineseJournalofAeronautics,2009,22(1):75-80]，其融合图像的整体视觉效果更好，并可较好地抑制融合痕迹。但是，上述图像融合方法在对不同大小尺寸的图像进行融合处理时，或者在图像中存在显著梯度变化时，融合图像中存在显著的融合、拼接痕迹。采用边界滤波可以降低融合痕迹，但同时也降低了图像的清晰度。本专利技术采用图像重构的方法，调整参数少，无需对融合图像进行滤波，即可实现图像的无痕迹融合。
技术实现思路
本专利技术针对现有技术中的不足之处提供了一种基于图像重构的可见光与红外图像融合方法，解决现有图像拼接、融合后，融合图像中存在融合痕迹问题，其流程如图1所示，主要包括以下步骤：步骤01.读取需要进行融合的m幅红外图像IRi(x,y)和n幅可见光图像IMj(x,y)，其中，i＝1…m，j＝1…n；将每一幅可见光图像IMj(x,y)变换至YUV空间，YUV空间的三个分量分别为{IVj,Cbj,Crj}，其中IVj是亮度分量，Cbj和Crj是色度分量；步骤02.对每一幅红外图像和可见光图像按步骤03至步骤06进行操作；步骤03.以一阶前向或后向差分近似求出红外图像IRi(x,y)的梯度图像GRi(x,y)及可见光图像对应的亮度分量IVj(x,y)的梯度图像GVj(x,y)；以下公式为采用一阶前向差分近似所得：GRi(x,y)＝▽IRi(x,y)≈(IRi(x+1,y)-IRi(x,y),IRi(x,y+1)-IRi(x,y))；GVj(x,y)＝▽IVj(x,y)≈(IVj(x+1,y)-IVj(x,y),IVj(x,y+1)-IVj(x,y))；步骤04.对梯度图像IRi(x,y)进行均值滤波得均值图像IRMi(x,y)，对梯度图像IVj(x,y)进行均值滤波得均值图像IVMj(x,y)；步骤05.从梯度图像IRi(x,y)中减去均值图像IRMi(x,y)得误差图像IREi(x,y)，从梯度图像IVj(x,y)中减去均值图像IVMj(x,y)得误差图像IVEj(x,y)；步骤06.分别计算误差图像IREi(x,y)和IVEj(x,y)的噪声标准差；误差图像IREi(x,y)的噪声标准差具体通过以下方法获得：(06-1)统计误差图像IREi(x,y)的标准差σR0,i；(06-2)删除误差图像IREi(x,y)中分布于三倍方差3σR0,i之外的误差点；(06-3)重复步骤(06-1)至(06-2)进行迭代运算，直至相邻两次迭代运算所得标准差的相对误差小于10％时止，即第p+1次迭代运算所得的标准差σRp+1,i相对于第p次迭代获得的标准差σRp+1,i的相对误差小于10％时止，记第p+1次迭代运算所得的标准差σRp+1,i为误差图像IREi(x,y)的噪声标准差σR,i；误差图像IVEj(x,y)的噪声标准差σV,j的计算方法与噪声标准差σR,i的计算方法相同；步骤07.计算加权系数μR,i和μV,j：μR,i＝σV,i/(σRs+σVs)，μV,j＝σR,j/(σRs+σVs)其中：σRs＝σR,1+σR,2+…+σR,m；σVs＝σV,1+σV,2+…+σV,n；步骤08.获得梯度图像加权和G(x,y)＝[Gx(x,y),Gy(x,y)]，具体通过以下方式获得：Gx(x,y)＝μR,1*GR1,x(x,y)*[sign[|GR1,x(x,y)|-σR,1]+1]/2+μR,2*GR2,x(x,y)*[sign[|GR2,x(x,y)|-σR,2]+1]/2……+μR,m*GRm,x(x,y)*[sign[|GRm,x(x,y)|-σR,m]+1]/2+μV,1*GV1,x(x,y)*[sign[|GV1,x(x,y)|-σV,1]+1]/2+μV,2*GV2,x(x,y)*[sign[|GV2,x(x,y)|-σV,2]+1]/2……+μV,n*GVn,x(x,y)*[sign[|GVm,x(x,y)|-σV,m]+1]/2；Gy(x,y)＝μR,1*GR1,y(x,y)*[sign[|GR1,y(x,y)|-σR,1]+1]/2+μR,2*GR2,y(x,y)*[sign[|GR2,y(x,y)|-σR,2]+1]/2……+μR,m*GRm,y(x,y)*[sign[|GRm,y(x,y)|-σR,m]+1]/2+μV,1*GV1,y(x,y)*[sign[|GV1,y(x,y)|-σV,1]+1]/2+μV,2*GV2,y(x,y)*[sign[|GV2,y(x,y)|-σV,2]+1]/2……+μV,n*GVn,y(x,y)*[sign[|GVm,y(x,y)|-σV,m]+1]/2；其中，GRi,x(x,y)与GRi,y(x,y)分别是梯度图像GRi(x,y)的x、y分量，GVi,x(x,y)与GVi,y(x,y)分别是梯度图像GVj(x,y)的x、y分量，即GRi(x,y)＝[GRi,x本文档来自技高网...

【技术保护点】
一种基于图像重构的可见光与红外图像融合方法，具体包括以下步骤：步骤01.读取需要进行融合的m幅红外图像IRi(x,y)和n幅可见光图像IMj(x,y)，其中，i＝1…m，j＝1…n；将每一幅可见光图像IMj(x,y)变换至YUV空间，YUV空间的三个分量分别为{IVj,Cbj,Crj}，其中IVj是亮度分量，Cbj和Crj是色度分量；步骤02.对每一幅红外图像和可见光图像按步骤03至步骤06进行操作；步骤03.以一阶前向或后向差分近似求出红外图像IRi(x,y)的梯度图像GRi(x,y)及可见光图像对应的亮度分量IVj(x,y)的梯度图像GVj(x,y)；步骤04.对梯度图像IRi(x,y)进行均值滤波得均值图像IRMi(x,y)，对梯度图像IVj(x,y)进行均值滤波得均值图像IVMj(x,y)；步骤05.从梯度图像IRi(x,y)中减去均值图像IRMi(x,y)得误差图像IREi(x,y)，从梯度图像IVj(x,y)中减去均值图像IVMj(x,y)得误差图像IVEj(x,y)；步骤06.分别计算误差图像IREi(x,y)和IVEj(x,y)的噪声标准差；误差图像IREi(x,y)的噪声标准差具体通过以下方法获得：(06‑1)统计误差图像IREi(x,y)的标准差σR0,i；(06‑2)删除误差图像IREi(x,y)中分布于三倍方差3σR0,i之外的误差点；(06‑3)重复步骤(06‑1)至(06‑2)进行迭代运算，直至相邻两次迭代运算所得标准差的相对误差小于10％时止，即第p+1次迭代运算所得的标准差σRp+1,i相对于第p次迭代获得的标准差σRp+1,i的相对误差小于10％时止，记第p+1次迭代运算所得的标准差σRp+1,i为误差图像IREi(x,y)的噪声标准差σR,i；误差图像IVEj(x,y)的噪声标准差σV,j的计算方法与噪声标准差σR,i的计算方法相同；步骤07.计算加权系数μR,i和μV,j：μR,i＝σV,i/(σRs+σVs)，μV,j＝σR,j/(σRs+σVs)其中：σRs＝σR,1+σR,2+···+σR,m；σVs＝σV,1+σV,2+···+σV,n；步骤08.获得梯度图像加权和G(x,y)＝[Gx(x,y),Gy(x,y)]；步骤09.求解泊松方程▽2IRe(x,y)＝div(G(x,y))，获得重构的亮度图像IRe(x,y)；步骤10.读取图像IRe(x,y)的像素最大值ImaxRe和像素最小值IminRe，对图像IRe(x,y)归一化：IReunify(x,y)＝(IRe(x,y)‑IminRe)/(ImaxRe‑IminRe)；步骤11.从所述n幅可见光图像中随机选取一幅图像，将该可见光图像的色度分量Cb、Cr与重构的归一化亮度图像IReunify(x,y)组合，得到融合后的图像{IReunify,Cb,Cr}。...

【技术特征摘要】
1.一种基于图像重构的可见光与红外图像融合方法，具体包括以下步骤：步骤01.读取需要进行融合的m幅红外图像IRi(x,y)和n幅可见光图像IMj(x,y)，其中，i＝1,…,m，j＝1,…,n；将每一幅可见光图像IMj(x,y)变换至YUV空间，YUV空间的三个分量分别为{IVj,Cbj,Crj}，其中IVj是亮度分量，Cbj和Crj是色度分量；步骤02.对每一幅红外图像和可见光图像按步骤03至步骤06进行操作；步骤03.以一阶前向或后向差分近似求出红外图像IRi(x,y)的梯度图像GRi(x,y)及可见光图像对应的亮度分量IVj(x,y)的梯度图像GVj(x,y)；步骤04.对梯度图像GRi(x,y)进行均值滤波得均值图像IRMi(x,y)，对梯度图像GVj(x,y)进行均值滤波得均值图像IVMj(x,y)；步骤05.从梯度图像GRi(x,y)中减去均值图像IRMi(x,y)得误差图像IREi(x,y)，从梯度图像GVj(x,y)中减去均值图像IVMj(x,y)得误差图像IVEj(x,y)；步骤06.分别计算误差图像IREi(x,y)和IVEj(x,y)的噪声标准差；误差图像IREi(x,y)的噪声标准差具体通过以下方法获得：(06-1)统计误差图像IREi(x,y)的标准差σR0,i；(06-2)删除误差图像IREi(x,y)中分布于三倍标准差3σR0,i之外的误差点；(06-3)重复步骤(06-1)至(06-2)进行迭代运算，直至相邻两次迭代运算所得标准差的相对误差小于10％时止，即第p+1次迭代运算所得的标准差σRp+1,i相对于第p次迭代获得的标准差σRp,i的相对误差小于10％时止，记第p+1次迭代运算所得的标准差σRp+1,i为误差图像IREi(x,y)的噪声标准差σR,i；误差图像IVEj(x,y)的噪声标准差σV,j的计算方法与噪声标准差σR,i的计算方法相同；步骤07.计算加权系数μR,i和μV,j：μR,i＝σR,i/(σRs+σVs)，μV,j＝σV,j/(σRs+σVs)其中：σRs＝σR,1+σR,2+···+σR,m；σVs＝σV,1+σV,2+···+σV,n；步骤08.获得梯度图像GRi(x,y)与GVj(x,y)的加权和G(x,y)＝[Gx(x,y),Gy(x,y)]；步骤09.求解泊松方程▽2IRe(x,y)＝div(G(x,y))，获得重构的亮度图像IRe(x,y)；步骤10.读取图像IRe(x,y)的像素最大值ImaxRe和像素最小值IminRe，对图像IRe(x,y)归一化：IReunify(x,y)＝(IRe(x,y)-IminRe)/(ImaxRe-IminRe)；步骤1...

【专利技术属性】
技术研发人员：傅志中，牛婷婷，徐进，李晓峰，周宁，郑婷，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51