本发明专利技术公开了一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法。它是对输入的多聚焦源图像进行多尺度多方向的非下采样Contourlet变换后生成一个低频子带图像及一系列的高频子带图像。再对低频子带采取基于子带系数的边缘信息能量来得到低频子带系数，对高频子带采取改进的PCNN模型确定各带通的子带系数。最后通过非下采样Contourlet逆变换得到融合图像。改进的PCNN主要体现在利用采用能够较好描述图像方向及纹理信息的改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为模型的输入，而不像大多数基于PCNN算法将像素灰度值作为模型输入项。本发明专利技术方法能够很好的运用于图像融合领域中，不论从客观评价指标还是主观视觉效果，实验结果表明本发明专利技术发放能够得到更加符合人眼视觉规律的融合结果。
【技术实现步骤摘要】
本专利技术属于图像处理中的图像融合领域，尤其涉及一种基于非下采样Contourlet变换(NSCT)及深度信息激励PCNN的多聚焦图像融合方法。
技术介绍
多聚焦图像融合技术是指将同一场景中聚焦对象为不同局部物体的多幅源图像进行融合，有效获取各个源图像的清晰部分，最终得到一幅包含该空间更为全面的图像信息的高质量图像。图像融合方法分类有像素级、特征级、决策级这三个不同层次。本专利技术研究的多聚焦图像融合属于像素级图像融合的层次，主要包括基于空间域的图像融合和基于变换域的图像融合。目前大多数研究以基于变换域的方法为主。该方法主要通过多尺度变换的方法将图像空域变为频域，再经过融合规则的处理得到融合系数，最终通过多尺度的逆变换得到融合结果。小波变换是最常用的变换域融合方法，具有良好的时频局部性能，能很好地保留图像细节信息，但其不具备平移不变性，会产生伪吉布斯现象。2002年Contourlet变换的提出解决了小波变换分解方向子带少的问题，但其不具备平移不变性，导致融合图像失真，ArthurL.daCunha等人提出非下采样Contourlet变换，具有平移不变性，避免出现伪吉布斯现象。常用的多尺度变换还包括Laplace金字塔、曲波、轮廓波等。多尺度图像融合的研究难点主要包括多尺度分解方法的选择以及融合方法的选择两方面。多尺度分解方法如前所述有Laplacian塔式法、小波变换和Contourlet变换等，在融合方法上主要有平均法、最大值法和区域能量法等。研究表明，利用PCNN神经网络的同步激发特性来设计融合方法有较好的融合效果。神经网络在图像融合中的应用主要有：双模态神经网络、多感知器以及脉冲耦合神经网络。其中PCNN应用最广泛，国际上称为第三代人工神经网络。PCNN是1990年Eckhorn通过对猫的大脑视觉皮层中的同步脉冲发放特性的研究而提出的新型神经网络。1993年Johnson以Eckhorn提出模型为基础，正式提出了PCNN，由若干个神经元互连而构成的反馈型网络。PCNN具有特有的生物学特性，它是以生物大脑视觉皮层中同步脉冲发放现象为背景提出的，当应用到图像融合中时不仅利用了像素点的空间特性而且还具有融合的时间层次性。本专利技术基于改进PCNN模型和非下采样Contourlet变换的多尺度分解算法，采用改进拉普拉斯能量和(SML)与图像深度信息结合的因子对PCNN模型进行改进而提出的一种新型图像融合方法。采用非下采样Contourlet变换对源图像进行多尺度分解得到低频子带及各带通子带，低频子带的系数选取采用基于子带系数的边缘信息能量的方法确定，带通子带系数通过PCNN模型来确定，最后通过非下采样Contourlet逆变换得到融合图像。由于人眼视觉系统对单个像素不敏感，而对图像边缘、方向和纹理等信息较敏感，所提出的PCNN采用能够较好描述图像方向及纹理信息的改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为输入项的值而没有采用单个像素的灰度值。
技术实现思路
为了解决上述问题，本专利技术需要解决的技术问题是针对PCNN应用到图像融合中的不足之处，提出基于改进PCNN模型和非下采样Contourlet变换的多尺度分解算法。该方法更符合人眼视觉系统的视物规律，使融合图像效果更佳。为达成上述目的，本专利技术采用如下技术方案：一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法，具体步骤如下：(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像IA和IB进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同分辨率的高频子带图像。(2)对低频子带图像IA-lf和IB-lf采用基于子带系数的边缘信息能量来得到融合后的低频子带图像IF-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图像的对比度。能量表达式为：Eedge(d)=Σi=1mΣj=1n|I(i,j)|2]]>I(i,j)为边缘矩阵元素。(3)高频子带图像和采用改进的PCNN进行融合得到融合后的高频子带图像和分别为源图像分解后的第k尺度、l方向上的高频子图像。(4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的图像IF。上述高频子带图像的融合策略是根据迭代后神经元的点火次数来决定融合系数的选取。在改进的PCNN模型中，图像的每个像素点对应一个神经元，将改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为神经元输入。各源图像输入网络后进行相同的迭代次数，根据神经元的点火次数选取较大的那个神经元对应的输入图像的像素值作为得到的融合系数。高频子带图像基于改进PCNN的融合策略主要包括如下具体步骤：(1)PCNN模型初始化。设定参数的初始值和迭代次数。(2)将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰度值作为输入对象。(3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入。用I(i,j)表示图像在(i,j)处的系数，SML的定义如下：▿ML2f(x,y)=|2f(x,y)-f(x-1,y)-f(x+1,y)|+|2f(x,y)-f(x,y-1)-f(x,y+1)|]]>SML(i,j)=Σx=i-Ni+NΣy=j-Nj+N▿ML2f(x,y)]]>引入的深度信息可用来移除图像的不清晰边缘，深度信息d(r)的定义如下：d(r)∝1[R(r)]2-1]]>R(r)=||▿i(x,y)||||▿i1(x,y)||=▿i(x)2+▿i(y)2▿i1(x)2+▿i1(y)2]]>▿i1(x)=▿(i(x)⊗g(x,σ0))=▿((Au(x)+B)⊗g(x,σ)⊗g(x,σ0))=A2π(σ2+σ02)exp(-x22(σ2+σ02))]]>R(r)表示输入的散焦图像的梯度和它的高斯核重模糊图像梯度的比值，σ0表示重模糊核的标准偏差，称为重模糊尺度。PCNN的输入项Fij定义为：Fij＝SML(i,j)*[d(r)]-2N为区域窗口大小。(4)与原始PCNN模型不同，本专利技术的PCNN本文档来自技高网...
【技术保护点】
一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法其特征在于，对多聚焦的源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子带和高频子带采取不同的融合规则得到融合子带系数，高频子带采用改进的PCNN模型确定融合系数，最后通过非下采样Contourlet逆变换得到融合图像。
【技术特征摘要】
1.一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法其特
征在于，对多聚焦的源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子带和
高频子带采取不同的融合规则得到融合子带系数，高频子带采用改进的PCNN模型确定融合
系数，最后通过非下采样Contourlet逆变换得到融合图像。
2.根据权利要求1，本发明方法包含以下具体步骤：
(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像IA和IB进
行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不
同分辨率的高频子带图像；
(2)对低频子带图像IA-lf和IB-lf采用基于子带系数的边缘信息能量来得到融合后的低频
子带图像IF-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了
图像的对比度，能量表达式为：
Eedge(d)=Σi=1mΣj=1n|I(i,j)|2]]>I(i,j)为边缘矩阵元素；
(3)高频子带图像和采用改进的PCNN进行融合得到融合后的高频子带图像
和分别为源图像分解后的第k尺度、l方向上的高频子图像；
(4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的
图像IF。
3.根据权利要求2，高频子带图像融合规则采用的改进PCNN模型的融合策略，其具体
步骤如下：
(1)PCNN模型初始化，设定参数的初始值和迭代次数；
(2)将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰度
值作为输入对象；
(3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入，用
I(i,j)表示图像在(i,j)处的系数，SML的定义如下：
▿ML2f(x,y)=|2f(x,y)-f(x-1,y)-f(x+1,y)|+|2f(x,y)-f(x,y-1)-f(x,y+1)|]]>SML(i,j)=Σx=i-Ni+NΣy=j-Nj+N▿ML2f(x...
【专利技术属性】
技术研发人员：丁世飞，朱强波，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。