一种基于图对比的无参考图像质量评价方法技术

本发明专利技术涉及一种基于图对比的无参考图像质量评价方法，包括：将组合失真图像对输入图表征生成模型生成初始特征图；将初始特征图输入正负失真对比样本生成模型生成正例失真关系图结构和负例失真关系图结构；将正例失真关系图结构和负例失真关系图结构分别输入对比学习编码器模型得到正样本特征向量和负样本特征向量；计算对比损失函数；将正例失真关系图结构和负例失真关系图结构中的嵌入节点进行分离，将节点的特征信息分别输入失真类型预测模型计算预测损失函数；对对比损失函数和预测损失函数进行交替性优化，将节点的特征信息输入训练好的质量分数回归模型输出对应的质量评价分数。量评价分数。量评价分数。

【技术实现步骤摘要】
一种基于图对比的无参考图像质量评价方法


[0001]本专利技术属于无参考图像质量评价领域，特别是涉及一种基于图对比的无参考图像质量评价方法。

技术介绍

[0002]随着娱乐、通信、安全、监控、医学影像等应用领域的需求不断增长，图像在人们的日常生活中扮演着越来越重要的角色，每年在微信、QQ和抖音等社交媒体网站上上传和分享的照片达数千亿张，腾讯视频、爱奇艺和优酷视频等流媒体服务占据了所有下游互联网流量的60％。然而，在采集、处理、传输等过程中，图像不可避免地产生失真和降质，从而降低图像分析和理解的准确性，严重影响人们的观看体验。面对海量的图像数据，需要设计图像质量评价方法准确地量化图像质量，进而发现图像降质的原因，对图像质量的改善提供指导。
[0003]全参考图像质量评价方法通过量化失真图像和其参考图像的相似度来评价失真图像的质量；半参考图像质量评价方法需要获得参考图像的部分信息，是介于全参考与无参考方法之间的一种方法；无参考图像质量评价方法不需要参考图像，仅需要待评价图像及其主观质量分数标签，能够更加灵活、实时地评价图像质量，而且大部分真实图像的参考图像无法获得，全参考和半参考图像质量评价方法无法用于对这些无参考图像的真实图像进行质量评价。同时，鉴于深度神经网络的强大拟合能力，基于深度学习的无参考图像质量评价方法往往具有更良好的性能效果。综上所述，基于深度学习的无参考图像质量评价方法成为了社交媒体平台图像质量控制的重要技术，具有研究和应用价值。
[0004]随着科研人员和业界从业者不断地努力，大量优秀的基于深度学习的无参考图像质量评价方法被提出，但是这些评价方法在实际应用中仍然存在一些问题，将之总结为如下几点：
[0005]第一点，以往基于深度学习的无参考图像质量评价方法在训练时严重依赖于标签数据集进行监督训练。但是，已有的标签数据集存在下述几点问题：其一，已有的部分带标签数据集由人为施加模拟失真构成，而模拟失真往往难以描述真实场景下的复杂真实失真；其二，相较于数亿乃至数十亿量级的真实失真图像来说，已有的带标签真实失真场景图像数据集仍然较小。如果使用这些数据集训练模型将导致设计的模型在处理真实失真场景下图片时泛化能力较弱。
[0006]第二点，以往基于深度学习的无参考图像评价模型往往在ImageNet数据集中进行预训练，以获得模型的初始参数设置，方便后续的微调或训练进一步优化。但是，ImageNet数据集设计初便是服务于分类任务，基于ImageNet数据集预训练的结果难以完全适应图像质量评价任务。这将导致模型学习到与图像质量评价任务无关的特征，导致模型存在出现过拟合或欠拟合问题。
[0007]第三点，在已有的无监督图像质量评价方法中，往往仅使用失真类型和失真等级的分类任务来获取用于图像质量评价任务的辅助信息。然而，仅以失真类型和失真等级的
分类任务获取的特征信息难以描述真实场景下的复杂真实失真图像。这将导致模型在实际处理真实场景下的图像时难以准确的提取失真信息。

技术实现思路

[0008]为了解决
技术介绍
中存在的问题，本专利技术提供一种基于图对比的无参考图像质量评价方法，具体技术方案如下所示，包括：
[0009]S1：获取合成失真图像数据集和真实失真图像数据集，并根据合成失真图像数据集和真实失真图像数据集构建组合失真图像对数据集；
[0010]优选地，所述构建组合失真图像对数据集包括：
[0011]将合成失真数据集中相同失真类型下的不同失真等级视为不同的失真类型；按图像内容对合成失真图像数据集和真实失真图像数据集中的图像进行分类得到类别标签；从合成失真数据集和真实失真图像数据集按照预设的比例和数量选择类别标签相同的图像构成组合失真图像对，进而构建组合失真图像对数据集。
[0012]S2：创建图对比模型；所述图对比模型包括：图表征生成模型、正负失真对比样本生成模型、对比学习编码器模型和失真类型预测模型；
[0013]S3：将组合失真图像对输入图表征生成模型生成第二失真关系图结构；
[0014]优选地，所述图表征生成模型包括：ResNet50网络、全局平均池化层和图卷积神经网络；
[0015]生成第二失真关系图结构的具体步骤包括：
[0016]将组合失真图像对输入ResNet50网络进行特征提取得到M个第一中间特征向量；
[0017]将M个第一中间特征向量分别输入全局平均池化层得到M个第二中间特征向量构建中间特征矩阵；
[0018]将中间特征矩阵和中间特征矩阵的转置相乘得到第二中间特征向量之间的相似度矩阵；
[0019]根据第二中间特征向量之间的相似度计算邻接矩阵；
[0020]将每个第二中间特征向量作为节点，第二中间特征向量之间的相似度作为边创建第一失真关系图结构，将第一失真关系图输入图卷积神经网络对节点进行更新生成第二失真关系图结构。
[0021]S4：将第二失真关系图结构输入正负失真对比样本生成模型生成正例失真关系图结构和负例失真关系图结构；
[0022]优选地，所述正负失真对比样本生成模型包括：第一图卷积神经网络、第二图卷积神经网络、第一Gumbel
‑
softmax和第二Gumbel
‑
softmax；
[0023]所述生成正例失真关系图结构和负例失真关系图结构包括：将第二失真关系图结构分别输入第一Gumbel
‑
softmax和第二Gumbel
‑
softmax；
[0024]第一Gumbel
‑
softmax和第二Gumbel
‑
softmax分别对第二失真关系图结构中每个节点进行采样得到n个第一采样概率分布向量和n个第二采样概率分布向量；
[0025]将n个第一采样概率分布向量组合成第一采样矩阵，将n个第二采样概率分布向量组合成第二采样矩阵；
[0026]利用第一采样矩阵分别对第二失真关系图结构中的节点进行更新得到扩增后的
第一中间图结构；
[0027]将扩增后的第一中间图结构输入第一图卷积神经网络对节点进行更新得到正例失真关系图结构；
[0028]利用第二采样矩阵分别对第二失真关系图结构中的节点进行更新得到扩增后的第二中间图结构；
[0029]将扩增后的第二中间图结构输入第二图卷积神经网络对节点进行更新得到负例失真关系图结构。
[0030]S5：将正例失真关系图结构和负例失真关系图结构分别输入对比学习编码器模型进行特征提取得到正样本特征向量和负样本特征向量；
[0031]优选地，所述对比学习编码器模型包括：VGG网络和MLP；
[0032]所述得到正样本特征向量和负样本特征向量包括：将正例失真关系图结构和负例失真关系图结构分别输入VGG网络进行特征提取，通过MLP实现特征的降维得到正样本特征向量和负样本特征向量。
[0033]S6：根据正样本特征向量和负样本特征向量计算对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图对比的无参考图像质量评价方法，其特征在于，包括：S1：获取合成失真图像数据集和真实失真图像数据集，并根据合成失真图像数据集和真实失真图像数据集构建组合失真图像对数据集；S2：创建图对比模型；所述图对比模型包括：图表征生成模型、正负失真对比样本生成模型、对比学习编码器模型和失真类型预测模型；S3：将组合失真图像对输入图表征生成模型生成第二失真关系图结构；S4：将第二失真关系图结构输入正负失真对比样本生成模型生成正例失真关系图结构和负例失真关系图结构；S5：将正例失真关系图结构和负例失真关系图结构分别输入对比学习编码器模型进行特征提取得到正样本特征向量和负样本特征向量；S6：根据正样本特征向量和负样本特征向量计算对比损失函数；S7：将正例失真关系图结构和负例失真关系图结构的嵌入节点进行分离得到每个节点的特征信息，将节点的特征信息输入失真类型预测模型预测图像失真的类别并计算预测损失函数；S8：利用反向传播机制对对比损失函数和预测损失函数进行交替性优化，直至对比损失函数和预测损失函数小于设定阈值为止；S9：将分离节点的特征信息输入训练好的质量评价分数回归模型输出对应的质量评价分数。2.根据权利要求1所述的一种基于图对比的无参考图像质量评价方法，其特征在于，所述构建组合失真图像对数据集包括：将合成失真数据集中相同失真类型下的不同失真等级视为不同的失真类型；按图像内容对合成失真图像数据集和真实失真图像数据集中的图像进行分类得到类别标签；从合成失真数据集和真实失真图像数据集按照预设的比例和数量选择类别标签相同的图像构成组合失真图像对，进而构建组合失真图像对数据集。3.根据权利要求2所述的一种基于图对比的无参考图像质量评价方法，其特征在于，所述图表征生成模型包括：ResNet50网络、全局平均池化层和图卷积神经网络；生成第二失真关系图结构的具体步骤包括：将组合失真图像对输入ResNet50网络进行特征提取得到M个第一中间特征向量；将M个第一中间特征向量分别输入全局平均池化层得到M个第二中间特征向量构建中间特征矩阵；将中间特征矩阵和中间特征矩阵的转置相乘得到第二中间特征向量之间的相似度矩阵；根据第二中间特征向量之间的相似度计算邻接矩阵；将每个第二中间特征向量作为节点，第二中间特征向量之间的相似度作为边创建第一失真关系图结构，将第一失真关系图输入图卷积神经网络对节点进行更新生成第二失真关系图结构。4.根据权利要求3所述的一种基于图对比的无参考图像质量评价方法，其特征在于，所述正负失真对比样本生成模型包括：第一图卷积神经网络、第二图卷积神经网络、第一Gumbel
‑
softmax和第二Gumbel
‑<...

【专利技术属性】
技术研发人员：林金朝，朱广，高新波，胡波，甘吉，冷佳旭，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：