本发明专利技术公开了一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置，通过考虑人眼视觉系统的视觉掩蔽效应提出了三个模块：内容感知模块，失真感知模块和视觉交互模块。其中，内容感知模块采用基于ImageNet预训练的ResNet50网络用以提取语义特征作为图像内容表示；失真感知模块该模块通过在大规模合成失真数据集上训练BoTNet以提取图像失真的表征特征；视觉交互模块通过基于自注意力机制的特征融合模块来建模图像内容和失真的视觉交互关系。本发明专利技术提出的视觉感知交互网络基于人眼视觉系统的视觉掩蔽效应，对图像内容和图像失真的视觉交互作用进行建模，能够有效提高图像感知质量评估性能。图像感知质量评估性能。图像感知质量评估性能。
【技术实现步骤摘要】
一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置
[0001]本专利技术涉及一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置，属于图像质量评估
技术介绍
[0002]在社交平台和视觉媒体应用中，每天都有大量的图像被上传和下载。然而，在图像处理的各个阶段，包括采集、压缩、传输和存储，图像的感知质量都会受损。因此，在处理系统中稳定地控制图像质量是至关重要的。根据可用的参考信息量，图像质量评估(image quality assessment,IQA)算法通常分为三种类型：全参考评估方法、半参考评估方法和无参考评估方法(盲参考评估方法,Blind IQA,BIQA)。由于在许多应用场景中无法获得参考信息，近年来，直接对图像进行操作的无参考图像质量评估因需求更广泛而得到了更深入的研究。
[0003]客观图像质量评估的目标是自动评估与人类主观判断一致的图像的感知质量。为了构建IQA数据集，许多观察者被邀请对失真图像的视觉质量进行评价。然后，每张图像的感知质量通过平均意见分数(MOS或DMOS)进行标注。传统的BIQA模型通常是在精心设计的手工特征上设计的，这些特征通过非线性回归模型映射到MOS值。然而，由于失真和图像内容的复杂性，手工制作的特征的质量感知能力仍然有限。
[0004]近年来，由于深度神经网络提取特征的强大表示能力，越来越多的基于深度学习的BIQA模型被提出。主流模型包括两类：基于失真强度排名的模型和基于深度语义特征的模型。在失真强度排名模型的训练过程中，通过使用一定范围的失真强度来合成失真图像库，失真图像的质量按照相应的失真强度进行排序以用于模型训练。然而，对于相同的原始图像，失真图像的质量排名与失真强度高度相关，而对于不同内容的图像，图像质量的排名通常与失真强度的相关性较弱。基于深度语义特征模型往往利用图像分类数据集(如ImageNet等)的预训练权重作为特征提取骨干网络的初始化，这类工作试图将语义特征的破坏程度映射为图像质量。然而，语义特征的破坏并不一定反映图像质量的下降。原因是，图像分类任务需要对噪声具有鲁棒性。特别地，在分类任务的训练过程中，一般都会采用添加噪声的方式进行数据增强。在这种情况下，基于深度语义特征的模型对一些仍然会导致图像质量下降的失真往往不敏感。
[0005]视觉掩蔽效应的原理表明，在观察图像时，人类视觉系统(human visual systems，HVS)对于具有同一失真但不同内容的图像有不同的失真可见性。HVS对图像失真的感知受到图像内容和失真之间的相互作用的影响。然而，基于失真强度排名的模型和基于深度语义特征的模型都没有考虑到这种互动。具体来说，基于失真强度排名的模型主要使用失真强度对图像质量进行排序，而基于语义的方法只关注深度语义特征的破坏程度作为图像内容质量的表示。
技术实现思路
[0006]本专利技术的目的在于提出一种基于视觉交互感知双流网络(visual interaction perception network,VIPNet)的无参考图像质量评估方法及装置，从图像失真可见性的角度评估图像质量，这种图像失真可见性被建模为图像内容和相应失真的视觉交互。
[0007]为达到上述目的，本专利技术采用的技术方案如下：
[0008]本专利技术提供一种基于视觉交互感知双流网络的图像无参考质量评估方法，包括：
[0009]对图像进行预处理；
[0010]采用预先训练的内容感知模块对预处理的图像进行语义特征提取；
[0011]采用预先训练的失真感知模块对预处理的图像进行失真感知特征提取；
[0012]将提取的图像的语义特征和失真感知特征采用预先训练的视觉交互感知模块进行特征融合，得到融合特征；
[0013]基于融合特征进行图像质量评估，得到图像质量分数。
[0014]进一步的，所述对图像进行预处理，包括：
[0015]将图像裁剪为统一尺寸。
[0016]进一步的，预先训练内容感知模块包括：
[0017]采用Imagenet作为训练集，输入去除最后的全局平均池化层和全连接层的图像分类网络ResNet50中，得到ResNet50的第t个模块的输出特征图t∈1,2,3,4；
[0018]将得到的特征图各自输入具有1
×
1核、1
×
1步长和输出通道大小为c
t
的卷积层；
[0019]将各卷积层的操作结果采用自适应池化层下采样到相同大小；
[0020]将自适应池化层的输出特征进行连接，作为多尺度的图像语义特征；
[0021]采用Imagenet训练图像分类网络ResNet50的网络权重，训练完成后，将ResNet50去除最后的全局平均池化层和全连接层的模块，以及所述具有1
×
1核、1
×
1步长和输出通道大小为c
t
的卷积层和自适应池化层组成的结构作为内容感知模块。
[0022]进一步的，所述输出通道大小c
t
的取值为：c1＝128，c2＝256，c3＝512，c4＝1152。
[0023]进一步的，预先训练失真感知模块包括：
[0024]构建失真图像训练样本集；
[0025]将每个失真图像训练样本转换为YCbCr颜色空间作为BoTNet的输入进行训练；
[0026]训练完成后，去除最后的全局平均池化层和线性层，得到失真感知模块。
[0027]进一步的，所述构建失真图像训练样本集，包括：
[0028]从KADIS
‑
700K数据库中选取N张原始图像；
[0029]对每张原始图像生成具有30种失真类型、每种失真类型具有5种失真强度的失真图像样本；
[0030]将150
×
N个失真图像样本构成失真图像训练样本集；所述30种失真类型包括：粉红噪声、有损压缩、对比度变化、曝光不足、曝光过度、以及与KADID
‑
10K数据库相同25种失真类型。
[0031]进一步的，预先训练视觉交互感知模块包括：
[0032]采用训练好的内容感知模块提取训练样本的语义特征，以及采用训练好的失真感知模块提取训练样本的失真感知特征，将训练样本的语义特征和失真感知特征连接起来，
得到F，其中c
d
表示失真感知特征输出通道大小，w和h分别表示输出特征的宽度和高度；
[0033]将F扁平化，并通过卷积操作映射到特征序列其中l＝w
×
h为特征序列的长度，d为特征序列的尺寸；
[0034]将一个可学习的标记添加到中，并添加位置嵌入PE，得到训练样本的特征
[0035]将训练样本的特征依次输入多头自注意力机制的特征融合模块和多层感知器块进行训练，最终得到训练好的视觉交互感知模块。
[0036]进一步的，所述基于融合特征进行图像质量评估，得到图像质量分数，包括：...
【技术保护点】
【技术特征摘要】
1.一种基于视觉交互感知双流网络的图像无参考质量评估方法，其特征在于，包括：对图像进行预处理；采用预先训练的内容感知模块对预处理的图像进行语义特征提取；采用预先训练的失真感知模块对预处理的图像进行失真感知特征提取；将提取的图像的语义特征和失真感知特征采用预先训练的视觉交互感知模块进行特征融合，得到融合特征；基于融合特征进行图像质量评估，得到图像质量分数。2.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方法，其特征在于，所述对图像进行预处理，包括：将图像裁剪为统一尺寸。3.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方法，其特征在于，预先训练内容感知模块包括：采用Imagenet作为训练集，输入去除最后的全局平均池化层和全连接层的图像分类网络ResNet50中，得到ResNet50的第t个模块的输出特征图将得到的特征图各自输入具有1
×
1核、1
×
1步长和输出通道大小为c
t
的卷积层；将各卷积层的操作结果采用自适应池化层下采样到相同大小；将自适应池化层的输出特征进行连接，作为多尺度的图像语义特征；采用Imagenet训练图像分类网络ResNet50的网络权重，训练完成后，将ResNet50去除最后的全局平均池化层和全连接层的模块，以及所述具有1
×
1核、1
×
1步长和输出通道大小为c
t
的卷积层和自适应池化层组成的结构作为内容感知模块。4.根据权利要求3所述的一种基于视觉交互感知双流网络的图像无参考质量评估方法，其特征在于，所述输出通道大小c
t
的取值为：c1＝128，c2＝256，c3＝512，c4＝1152。5.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方法，其特征在于，预先训练失真感知模块包括：构建失真图像训练样本集；将每个失真图像训练样本转换为YCbCr颜色空间作为BoTNet的输入进行训练；训练完成后，去除最后的全局平均池化层和线性层，得到失真感知模块。6.根据权利要求5所述的一种基于视觉交互感知双流网络的图像无参考质量评估方法，其特征在于，所述构建失真图像训练样本集，包括：从KADIS
【专利技术属性】
技术研发人员：熊健，王小奇，罗旺，高浩，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。