【技术实现步骤摘要】
本专利技术涉及图像质量评价，更具体地说，本专利技术为一种基于多特征多重组合的图像质量评价方法。
技术介绍
1、图像质量是指人们对图像视觉感受的评价，对于图像处理系统而言，其信息的主体是图像，衡量这个系统的主要指标就是图像质量，图像质量评价主要分为：全参考图像质量评价、无参考图像质量评价、精简参考图像质量评价，其中尤其涉及到对无参考图像质量评价方法，该方法是一种基于图像本身的特征和人类感知的标准来设计的算法，从而评估符合人类感知的图像质量，且不需要使用高质量的参考图像作为评估的标准。
2、目前的图像质量评价方法利用神经网络进行特征提取利用的是网络最后一层的输出特征，它表示图像的高级语义特征，往往忽视图像的低级语义特征，如图像的纹理、边缘特征，导致其系统最终对整体图像质量预测的准确性低，影响其最终结果的处理，限制了图像质量评价技术的应用效果（如医学影像分析、自动图像识别等领域）。
技术实现思路
1、为了克服现有技术的上述缺陷，本专利技术的实施例提供一种基于多特征多重组合的图像质量评价方法，通过设置特征提取主干网络、特征多重组合选择和mlp回归预测模型，在对图像进行特征提取之前，首先对图像进行归一化预处理，有助于减少模型的训练时间并提高模型预测的准确性，同时使用resnet-50作为语义特征提取的主干网络，并且使用在imagenet上预训练的权重，进一步利用resnet-50网络对图像进行特征提取时，同步去提取图像整体从低级语义到高级语义特征，并保证其系统最终对整体图像质量预
2、为实现上述目的，本专利技术提供如下技术方案：一种基于多特征多重组合的图像质量评价方法，包括以下步骤，
3、s1、特征提取主干网络：首先利用resnet-50网络对图像进行特征提取，提取图像从低级到高级语义特征，即resnet-50网络有四大层conv block组成的单元，图像在经过第一层conv block中最后一个id block，此时提取图像的边缘和颜色的低级特征，图像在经过第二层conv block中最后一个id block，此时逐步增加对图像特征的抽象级别，此时提取到更深层的纹理和局部模式，图像在经过第三层conv block中最后一个id block，此时捕捉到高级和抽象的特征，图像在经过第四层conv block中最后一个id block，此时生成的特征图包含全局完整的抽象信息，在对输入的一张图像经过每层卷积后都对其特征输出，从而得到四组特征，并将其全局平均池化成向量，分别为256维、512维、1024维和2048维；
4、s2、特征多重组合选择：随后将s1中的四组特征分别记为f1、f2、f3、f4，并对特征进行多重组合，即通过两重叠加和三重叠加单一层次的特征以提高模型的性能，图像在经过第一层conv block中最后一个id block后，输送至avg pool中进行自适应平均池化，即对图像的整体特征信息进行一层下采样，在减少图像维度的同时，将信息传递到下一个模块进行特征提取，并最终由flatten层将多维的输入数据转化为一维的线性形式，具体来说，通过flatten层将二维数组的各个元素逐个提取出来，形成一个连续的一维数组，并将其传递给后续的神经网络模型，使其对图像进行进一步的处理和理解，并最终得到f1；
5、图像在经过第二层conv block中最后一个id block后，输送至avg pool中进行自适应平均池化，并由flatten层将多维的输入数据转化为一维的线性形式，并将其传递给后续的神经网络模型，其avg pool和flatten层的处理路径与f1保持一致，并最终得到f2；
6、图像在经过第三层conv block中最后一个id block后，输送至avg pool中进行自适应平均池化，并由flatten层将多维的输入数据转化为一维的线性形式，并将其传递给后续的神经网络模型，其avg pool和flatten层的处理路径与f1保持一致，并最终得到f3；
7、图像在经过第四层conv block中最后一个id block后，输送至avg pool中进行自适应平均池化，并由flatten层将多维的输入数据转化为一维的线性形式，并将其传递给后续的神经网络模型，其avg pool和flatten层的处理路径与f1保持一致，并最终得到f4；
8、此时通过对图像进行两重叠加和三重叠加的组合方式进行特定路径的排列组合后输出，具体是将图像从f1的路径重复经过三次，接着经过f2的路径一次，紧接着经过f3的路径重复两次，并最终经过f4的路径一次，从而得出最终数据，即采用f1⊕f1⊕f1⊕f2⊕f3⊕f3⊕f4（其中⊕表示特征向量的连接方式）的组合方式运用到模型当中，对图像进行处理输出；
9、s3、mlp回归预测模型：通过上述对特征组合的选择，得出最优的f1⊕f1⊕f1⊕f2⊕f3⊕f3⊕f4的组合方式，其维度为5376维，最终将该向量输入到mlp中进行降维，使其准确的映射到质量分数，mlp由两层全连接层构成，第一层将5376维的特征向量降到128维，第二层由128维的特征向量降到1维并直接映射为质量分数。
10、在一个优选地实施方式中，在步骤s1中，以8：2的比例将数据集划分为训练集和测试集，每批次训练的个数为64，并且将模型训练的epoch设置为3000，使用l1损失函数和adam优化器，学习率设置为0.001，经过训练后的模型将其保存，利用保存的模型在测试集上进行测试。
11、在一个优选地实施方式中，所述csiq数据集包括30幅原始图像和866张复合失真图像，它涵盖了六种类型的失真：高斯模糊、加性颜色高斯噪声、加性高斯白噪声、全局对比度衰减、jpeg压缩和jpeg2000压缩，每种失真类型通过4到5个不同的退化级别生成866个原始图像的退化版本。
12、在一个优选地实施方式中，所述数据集还包括tid2013和kadid-10k，tid2013包含25张参考图像和3000张失真图像，同时tid2013引入7种额外的畸变类型：颜色饱和度、多重高斯噪声、舒适噪声、有损压缩、彩色图像量化、颜色偏差和稀疏采样，每种类型的失真有五种不同的等级；kadid-10k：包含10125张失真图像，10125张图像是从81张参考图像衍生出来所得，该数据集包含25种不同类型的图像失真，包括高斯模糊、jpeg压缩、添加噪声、色度失真，每种失真类型在不同图像上都有多种程度的应用。
13、本专利技术的技术效果和优点：本专利技术通过设置特征提取主干网络、特征多重组合选择和mlp回归预测模型，在对图像进行特征提取之前，首先对图像进行归一化预处理，有助于减少模型的训练时间并提高模型预测的准确性，同时使用resnet-50作为语义特征提取的主干网络，并且使用在imagenet上预训练的权重，为了表示整体图像更加完整的信息，捕获图像的局部失真，进一步利用res本文档来自技高网...
【技术保护点】
1.一种基于多特征多重组合的图像质量评价方法，其特征在于：包括以下步骤，
2.根据权利要求1所述的一种基于多特征多重组合的图像质量评价方法，其特征在于：在步骤S1中，以8：2的比例将数据集划分为训练集和测试集，每批次训练的个数为64，并且将模型训练的epoch设置为3000，使用L1损失函数和Adam优化器，学习率设置为0.001，经过训练后的模型将其保存，利用保存的模型在测试集上进行测试。
3.根据权利要求2所述的一种基于多特征多重组合的图像质量评价方法，其特征在于：所述数据集含有CSIQ数据集，所述CSIQ数据集包括30幅原始图像和866张复合失真图像，涵盖了六种类型的失真：高斯模糊、加性颜色高斯噪声、加性高斯白噪声、全局对比度衰减、JPEG压缩和JPEG2000压缩，每种失真类型通过4到5个不同的退化级别生成866个原始图像的退化版本。
4.根据权利要求2所述的一种基于多特征多重组合的图像质量评价方法，其特征在于：所述数据集含有TID2013数据集，所述TID2013数据集包含25张参考图像和3000张失真图像，所述TID2013数据集引
5.根据权利要求2所述的一种基于多特征多重组合的图像质量评价方法，其特征在于：所述数据集含有KADID-10K数据集，所述KADID-10K数据集包含10125张失真图像，10125张图像是从81张参考图像衍生出来所得，包含25种不同类型的图像失真，含有高斯模糊、JPEG压缩、添加噪声、色度失真。
...【技术特征摘要】
1.一种基于多特征多重组合的图像质量评价方法，其特征在于：包括以下步骤，
2.根据权利要求1所述的一种基于多特征多重组合的图像质量评价方法，其特征在于：在步骤s1中，以8：2的比例将数据集划分为训练集和测试集，每批次训练的个数为64，并且将模型训练的epoch设置为3000，使用l1损失函数和adam优化器，学习率设置为0.001，经过训练后的模型将其保存，利用保存的模型在测试集上进行测试。
3.根据权利要求2所述的一种基于多特征多重组合的图像质量评价方法，其特征在于：所述数据集含有csiq数据集，所述csiq数据集包括30幅原始图像和866张复合失真图像，涵盖了六种类型的失真：高斯模糊、加性颜色高斯噪声、加性高斯白噪声、全局对比度衰减、jpeg压缩和jpeg2000压缩，每种失真类型通...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。