一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法技术

本发明专利技术一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法，充分考虑人眼视觉系统和多曝光图像的特性，利用人眼对融合后的图像对比度和饱和度比较敏感的现象，在进行多尺度分解的基础上，以对比度作为权重值对多个参考图像进行融合后作为新参考图像，再与需评估的多曝光融合图像进行对比度和饱和度的相似性比较，从而得到单层质量评估值，再将多层质量评估值加权融合得到最终分数；该方法计算简单，充分反映了人眼对于多曝光融合图像的主观感知度，能够较好地评估多曝光融合图像的质量。

A method of full reference and multi exposure fusion image quality evaluation based on contrast and saturation

The invention relates to a contrast and saturation full reference multi exposure image fusion method based on quality evaluation, fully considering the human visual system and multi exposure image characteristics, using the human is more sensitive to the image contrast and saturation after fusion, based on multi-scale decomposition, by contrast as the weight value a plurality of reference images are fused as a reference image, and then compare the similarity of image contrast and saturation and exposure assessment for fusion, so as to obtain the single quality evaluation, the quality evaluation to get the final score of multi-layer weighted fusion; the method is simple, fully reflects the human eye for multi exposure fusion the image of the subjective perception, to better assess the quality of multi exposure image fusion.

【技术实现步骤摘要】
一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法
本专利技术涉及一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法。
技术介绍
随着计算机和网络通信技术的快速发展，人们对数字图像的质量要求越来越高。但是由于受到现有图像采集设备硬件水平的限制，相机所能采集到的自然场景的亮度动态范围远远少于自然真实场景的动态范围，例如从夜空中的星光到耀眼的太阳，场景亮度变化涵盖了大约九个数量级的动态范围。因此，多曝光融合技术应运而生。其将多幅曝光程度不等的图像融合成一幅质量优异的图像，弥补了硬件设施的不足，在电子消费设备等领域具有广泛的应用价值。虽然多曝光融合图像的技术多种多样，但融合的目的始终是改善图像的质量。因此如何根据人类视觉系统评估多曝光融合图像质量的优异是图像融合中重要的研究内容，对融合算法的优化有着重要意义。传统的多曝光融合图像质量评估方法包括主观评估方法和客观评估方法。主观评估方法是人眼直接观察图像，根据人的主观感知和规定的评估标准与尺度对图像进行相应的评判，得到最后的评估值。主观评估方法的结果往往更加符合图像的实际观察质量。但是其缺点也是十分明显的，如耗时长，需要大量人力物力，操作繁琐，不便于实际应用。而客观评估方法则弥补了主观评估的缺点，通过建立数学模型模仿人类视觉特性对图像进行评估，计算简单，耗时短。客观质量评估方法分为全参考图像质量评估方法、半参考图像质量评估方法和无参考图像质量评估方法。现有全参考融合图像质量客观评估方法分为以下几类：(1)基于信息量的客观评估，如熵、交叉熵、相关熵/联合熵、互信息；(2)基于信噪比的评估，如峰值信噪比(PSNR)；(3)基于梯度的评估，如清晰度和空间频率等。但是以上几类传统的融合图像客观质量评估方法存在一定的局限性：其一是没有充分考虑人眼视觉特性；其二则是它们的提出往往是针对融合图像，而非多曝光融合图像，缺乏考虑图像曝光程度不一的因素。因此现有算法并不适用于多曝光融合图像质量评估。目前在图像处理领域中缺少对多曝光融合图像进行质量评估的方法。
技术实现思路
本专利技术的目的在于提出一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法，基于人类视觉系统(HVS)，充分反映了人眼对于多曝光融合图像的主观感知度，能够较好地评估多曝光融合图像的质量，且整体计算简单。本专利技术一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法，包括如下步骤：步骤1、输入融合图像F和参考图像序列里的全部参考图像Ri，i表示参考图像序列里的排序；步骤2、对步骤1的融合图像和参考图像进行多尺度分解，得到l分解层，每个分解层包括分解后的参考图像Rl,i与多曝光融合图像Fl，其中l表示层数，取值范围为1,2,3,4,5，i表示参考图像序列里的排序，多尺度分解过程具体操作如下：对步骤1的融合图像和参考图像进行多尺度分解，总共分解为5层，第一层分解图像为原图像不变，后一层分解图像以上一层图像作为输入图像，对其进行低通滤波和按照图像宽度和高度进行1/2的空间下采样得到该分解层图像；最后，逐层分解得到每个分解层的参考图像与多曝光融合图像；步骤3、对每个分解层的参考图像与多曝光融合图像分别计算其相应质量评估值：步骤31、将所有参考图像Rl,i划分成大小为11×11的参考图像块rl,i,k，通过对比度计算分配相应权重值ω(rl,i,k)，将所有参考图像Rl,i对应位置的参考图像块rl,i,k根据相应权重值融合成一个新参考图像块rl,k，其中l表示分解层的层数，i表示参考图像序列里的排序，i＝1,2,...,M,M表示参考图像总数，k表示参考图像中第k个图像块；步骤32、计算新参考图像块rl,k与要评估的11×11的多曝光融合图像块fl,k相应的对比度相似性cs(rl,k,fl,k)与饱和度相似性ss(rl,k,fl,k)，所述的对比度即计算标准差，饱和度即计算协方差，具体包括如下步骤：(1)计算新参考图像块rl,k的均值(2)计算新参考图像块rl,k的标准差(3)计算多曝光融合图像块fl,k的均值(4)计算多曝光融合图像块fl,k的标准差(5)计算新参考图像块rl,k和多曝光融合图像块fl,k的协方差(6)计算对比度相似性(7)计算饱和度相似性其中,j表示图像块中的第j个像素，n表示图像块的像素总数，C为常数；步骤33、通过对比度相似性与饱和度相似性的融合得到多曝光融合图像块fl,k的质量评估值：CW-CFSCl,k＝cs(rl,k,fl,k)ss(rl,k,fl,k)；步骤34、重复步骤31至33计算该分解层所有参考图像块的质量评估值，取其均值作为该分解层的多曝光融合图像的质量评估值：其中，N表示该分解层所有参考图像块的总数；步骤4、将计算得到的l个分解层的多曝光融合图像的质量评估值进行加权合成，得到最终的多曝光融合图像质量评估：其中，βl为多尺度各个分解层的权重值。所述的步骤31将所有参考图像以划分块为单位进行融合成一个新参考图像块，具体步骤如下：(1)对第l分解层第i个参考图像划分成11×11的参考图像块rl,i,k，先计算参考图像块的均值(2)计算参考图像块的标准差(3)计算每个参考图像块的权重值(4)融合成一个11×11的新参考图像块其中，rl,i,k表示第l分解层中第i个参考图像的第k个参考图像块，M表示参考图像总数，j表示参考图像块中的第j个像素，n表示参考图像块的像素总数。本专利技术充分考虑人眼视觉系统和多曝光图像的特性，利用人眼对融合后的图像对比度和饱和度比较敏感的现象，在进行多尺度分解的基础上，以对比度作为权重值对多个参考图像进行融合后作为新参考图像，再与需评估的多曝光融合图像进行对比度和饱和度的相似性比较，从而得到单层质量评估值，再将多层质量评估值加权融合得到最终分数。该方法计算简单，充分反映了人眼对于多曝光融合图像的主观感知度，能够较好地评估多曝光融合图像的质量。附图说明图1为本专利技术中多尺度分解的流程图；图2为本专利技术多尺度分解下每一分解层的质量评估值的计算流程图。以下结合附图和具体实施例对本专利技术作进一步详述。具体实施方式本专利技术为了弥补现有的图像质量评估算法不适用于多曝光融合图像质量评估的现象，提出了一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法，如图1和图2所示，在多尺度分解的基础上，对于每一个分解层的计算，先利用对比度作为权重，将所有参考图像以划分块为单位融合成一个新参考图像块，再与多曝光融合图像块进行饱和度相似性和对比度相似性的比较，得到每一分解层的图像质量评估值，再进行加权融合从而得到最终图像质量评估值，具体步骤如下：步骤1、输入融合图像F和参考图像序列里的全部参考图像Ri，i表示参考图像序列里的排序；步骤2、对步骤1的融合图像和参考图像进行多尺度分解，得到l分解层，每个分解层包括分解后的参考图像Rl,i与多曝光融合图像Fl，其中l表示层数，取值范围为1,2,3,4,5，i表示参考图像序列里的排序，多尺度分解过程具体操作如下：对步骤1的融合图像和参考图像进行多尺度分解，总共分解为5层，第一层分解图像为原图像不变，后一层分解图像以上一层图像作为输入图像，对其进行低通滤波和按照图像宽度和高度进行1/2的空间下采样得到该分解层图像；最后，逐层分解得到每个分解层的本文档来自技高网...

【技术保护点】
一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法，其特征在于包括如下步骤：步骤1、输入融合图像F和参考图像序列里的全部参考图像R

【技术特征摘要】
1.一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法，其特征在于包括如下步骤：步骤1、输入融合图像F和参考图像序列里的全部参考图像Ri，i表示参考图像序列里的排序；步骤2、对步骤1的融合图像和参考图像进行多尺度分解，得到l分解层，每个分解层包括分解后的参考图像Rl,i与多曝光融合图像Fl，其中l表示层数，取值范围为1,2,3,4,5，i表示参考图像序列里的排序，多尺度分解过程具体操作如下：对步骤1的融合图像和参考图像进行多尺度分解，总共分解为5层，第一层分解图像为原图像不变，后一层分解图像以上一层图像作为输入图像，对其进行低通滤波和按照图像宽度和高度进行1/2的空间下采样得到该分解层图像；最后，逐层分解得到每个分解层的参考图像与多曝光融合图像；步骤3、对每个分解层的参考图像与多曝光融合图像分别计算其相应质量评估值：步骤31、将所有参考图像Rl,i划分成大小为11×11的参考图像块rl,i,k，通过对比度计算分配相应权重值ω(rl,i,k)，将所有参考图像Rl,i对应位置的参考图像块rl,i,k根据相应权重值融合成一个新参考图像块rl,k，其中l表示分解层的层数，i表示参考图像序列里的排序，i＝1,2,...,M,M表示参考图像总数，k表示参考图像中第k个图像块；步骤32、计算新参考图像块rl,k与要评估的11×11的多曝光融合图像块fl,k相应的对比度相似性cs(rl,k,fl,k)与饱和度相似性ss(rl,k,fl,k)，所述的对比度即计算标准差，饱和度即计算协方差，具体包括如下步骤：(1)计算新参考图像块rl,k的均值(2)计算新参考图像块rl,k的标准差(3)计算多曝光融合图像块fl,k的均值(4)计算多曝光融合图像块fl,k的标准差

【专利技术属性】
技术研发人员：曾焕强，刑露，倪张凯，曹九稳，蔡灿辉，马凯光，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建,35