【技术实现步骤摘要】
本专利技术涉及一种外部参考图像质量评价系统，属于计算机视觉与图像处理。
技术介绍
1、目前，针对基于深度学习的图像质量评价算法的研究已取得了较为广泛的研究成果。按照参考图像的信息完整度，客观图像质量评价可以分为全参考图像质量评价、半参考图像质量评价与无参考图像质量评价三种类型。其中，全参考图像质量评价由于有参考图像的参与，性能较好，是目前图像质量评价中比较成熟的领域。但受限于参考图像的限制条件，全参考图像质量评价应用场景较少，仅适用于能够提供参考图像的场景。相对的，无参考图像质量评价仅需待评测退化图像就可完成质量评估，具有广泛的应用场景与现实意义。但与此同时，由于无法利用参考图像信息，图像质量的定义本身变得模糊，进而使得算法往往无法很好地理解及评价图像质量，导致现有的无参考算法性能普遍低于全参考算法。
2、为解决该问题，学者们提出引入外部参考图像的外部参考图像质量评价算法。该类算法通过使用与待评测图像内容完全无关的任意高质量图像作为参考图像。但由于任意选择的外部参考图像的语义信息各不相同，如何应对外部参考图像质量评价任务中参考图像全局内容信息变化多样带来的特征不稳定性问题是此类模型性能提升的关键。但目前基于外部参考图像的外部参考图像质量评价算法研究较少，并且已有的方法中也并未将外部参考图像丰富多样的语义信息考虑在内，导致其性能受限。同时，如何有效利用外部参考图像信息来衡量其与待评测低质量图像的差异也是目前仍待解决的难题。
技术实现思路
1、鉴于此，本专利技术提出一种能够
2、一种外部参考图像质量评价系统，包括：多尺度特征提取模块，用于提取外部参考图像和待评测失真图像的浅层特征；特征转换与对齐模块，连接于所述多尺度特征提取模块，用于将待评测失真图像浅层特征转换为待评测失真图像特征向量，以及，将待评测失真图像浅层特征与外部参考图像浅层特征对齐后的特征转换为差分特征向量；mlp-mixer编码模块，连接于所述特征转换与对齐模块，用于对所述待评测失真图像特征向量和所述差分特征向量分别进行编码，获得待评测失真图像编码后特征和差分特征向量的编码后特征；以及质量回归模块，连接于所述mlp-mixer编码模块，用于以所述待评测失真图像编码后特征和所述差分特征向量的编码后特征的融合特征作为输入，输出评测分数。
3、进一步地，所述多尺度特征提取模块包括外部参考图像分支和待评测失真图像分支；所述外部参考图像分支以外部参考图像为输入，进行多尺度特征提取，输出多尺度的所述外部参考图像浅层特征；所述待评测失真图像分支以待评测失真图像为输入，进行多尺度特征提取，输出多尺度的所述待评测失真图像浅层特征。
4、更进一步地，所述外部参考图像分支和所述待评测失真图像分支均通过使用随机可重叠的裁剪方式将输入的相应图像随机划分为多个固定大小的图像块，并且，均是使用resnet50构建多尺度特征提取网络来对相应图像块提取浅层特征。
5、进一步地，所述特征转换与对齐模块包括动态语义图学习组、基于可形变卷积的特征对齐模块、第一特征转换模块、第二特征转换模块、差分模块、第一拼接模块以及第二拼接模块；所述动态语义图学习组连接于所述多尺度特征提取模块，用于对所述外部参考图像浅层特征进行自适应卷积核调制，得到调制后的外部参考图像特征；所述特征对齐模块连接于所述动态语义图学习组和所述多尺度特征提取模块，用于将所述待评测失真图像浅层特征与所述调制后的外部参考图像特征进行特征层面的对齐，得到对齐后的外部参考图像特征图；所述第一特征转换模块连接于所述多尺度特征提取模块，用于将所述待评测失真图像浅层特征转换为第一特征向量；所述第二特征转换模块连接于所述特征对齐模块，用于将所述对齐后的外部参考图像特征图转换为第二特征向量；所述差分模块连接于所述第一特征转换模块和所述第二特征转换模块，用于计算所述第一特征向量与所述第二特征向量的差分特征；所述第一拼接模块连接于所述第一特征转换模块，用于将所述第一特征向量按通道串联的方式拼接，得到所述待评测失真图像特征向量；所述第二拼接模块连接于所述差分模块，用于将所述差分特征按通道串联的方式拼接，得到所述差分特征向量。
6、更进一步地，所述特征转换与对齐模块包括多个所述动态语义图学习组，每个所述动态语义图学习组用于处理一个尺度的外部参考图像浅层特征i表示第i个尺度；每个所述动态语义图学习组包含第一动态语义图学习模块、修正线性单元relu和第二动态语义图学习模块；其中，所述第一动态语义图学习模块用于以为输入，输出调制后的第一卷积核w1i*；使用第一卷积核w1i*对进行卷积操作后输入所述线性修正单元relu；所述第二动态语义图学习模块用于以所述线性修正单元relu的输出作为输入，获得调制后的第二卷积核使用第二卷积核对进行卷积操作后再与进行融合，得到第i个尺度调制后的外部参考图像特征
7、更进一步地，所述第一动态语义图学习模块和所述第二动态语义图学习模块具有相同的网络结构，所述网络结构被配置为：首先通过一个全连接层将输入特征映射到潜在表示空间，获取输入特征的全局上下文描述符；其次通过图卷积网络gcn构建语义推理模型获得增强后的上下文描述符；然后通过混合空间注意力与通道注意力机制，分别沿通道维度与空间维度对通道相互作用因子与空间相互作用因子进行建模，经维度变换后分别获得空间维度注意力掩码与通道维度注意力掩码；再通过将所述空间维度注意力掩码与所述通道维度注意力掩码相加获得混合空间与通道维度的注意力掩码；最后利用所述混合空间与通道维度的注意力掩码与一卷积核逐元素相乘，获得调制后的卷积核。
8、更进一步地，所述特征对齐模块包括偏移量生成分支与可形变卷积；所述偏移量生成分支包括一个卷积层，用于对所述调制后的外部参考图像特征与所述待评测失真图像浅层特征进行卷积，卷积结果再与所述调制后的外部参考图像特征共同输入所述可形变卷积中完成对齐操作，获得所述对齐后的外部参考图像特征图。
9、更进一步地，所述第一特征转换模块和所述第二特征转换模块的结构相同，均包括一个1×1卷积层和平均池化层；所述差分模块用于对所述第一特征向量与所述第二特征向量进行逐元素相减，获得所述差分特征。
10、更进一步地，所述mlp-mixer编码模块包括第一编码分支与第二编码分支；所述第一编码分支连接于所述第一拼接模块，包括9个mlp-mixer结构，用于对所述待评测失真图像特征向量进行mlp-mixer编码，获得所述待评测失真图像编码后特征；所述第二编码分支包括18个mlp-mixer结构，用于对所述差分特征向量进行mlp-mixer编码，获得所述差分特征向量的编码后特征。
11、更进一步地，所述质量回归模块包括两个全连接层，所述评测分数为本文档来自技高网...
【技术保护点】
1.一种外部参考图像质量评价系统，其特征在于，包括：
2.如权利要求1所述的外部参考图像质量评价系统，其特征在于：所述多尺度特征提取模块包括外部参考图像分支和待评测失真图像分支；所述外部参考图像分支以外部参考图像为输入，进行多尺度特征提取，输出多尺度的所述外部参考图像浅层特征；所述待评测失真图像分支以待评测失真图像为输入，进行多尺度特征提取，输出多尺度的所述待评测失真图像浅层特征。
3.如权利要求2所述的外部参考图像质量评价系统，其特征在于：所述外部参考图像分支和所述待评测失真图像分支均通过使用随机可重叠的裁剪方式将输入的相应图像随机划分为多个固定大小的图像块，并且，均是使用ResNet50构建多尺度特征提取网络来对相应图像块提取浅层特征。
4.如权利要求1所述的外部参考图像质量评价系统，其特征在于：所述特征转换与对齐模块包括动态语义图学习组、基于可形变卷积的特征对齐模块、第一特征转换模块、第二特征转换模块、差分模块、第一拼接模块以及第二拼接模块；
5.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述特征转换与对齐模块包
6.如权利要求5所述的外部参考图像质量评价系统，其特征在于，所述第一动态语义图学习模块和所述第二动态语义图学习模块具有相同的网络结构，所述网络结构被配置为：首先通过一个全连接层将输入特征映射到潜在表示空间，获取输入特征的全局上下文描述符；其次通过图卷积网络GCN构建语义推理模型获得增强后的上下文描述符；然后通过混合空间注意力与通道注意力机制，分别沿通道维度与空间维度对通道相互作用因子与空间相互作用因子进行建模，经维度变换后分别获得空间维度注意力掩码与通道维度注意力掩码；再通过将所述空间维度注意力掩码与所述通道维度注意力掩码相加获得混合空间与通道维度的注意力掩码；最后利用所述混合空间与通道维度的注意力掩码与一卷积核逐元素相乘，获得调制后的卷积核。
7.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述特征对齐模块包括偏移量生成分支与可形变卷积；所述偏移量生成分支包括一个卷积层，用于对所述调制后的外部参考图像特征与所述待评测失真图像浅层特征进行卷积，卷积结果再与所述调制后的外部参考图像特征共同输入所述可形变卷积中完成对齐操作，获得所述对齐后的外部参考图像特征图。
8.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述第一特征转换模块和所述第二特征转换模块的结构相同，均包括一个1×1卷积层和平均池化层；
9.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述MLP-Mixer编码模块包括第一编码分支与第二编码分支；所述第一编码分支连接于所述第一拼接模块，包括9个MLP-Mixer结构，用于对所述待评测失真图像特征向量进行MLP-Mixer编码，获得所述待评测失真图像编码后特征；所述第二编码分支包括18个MLP-Mixer结构，用于对所述差分特征向量进行MLP-Mixer编码，获得所述差分特征向量的编码后特征。
10.如权利要求9所述的外部参考图像质量评价系统，其特征在于：所述质量回归模块包括两个全连接层，所述评测分数为
...【技术特征摘要】
1.一种外部参考图像质量评价系统，其特征在于，包括：
2.如权利要求1所述的外部参考图像质量评价系统，其特征在于：所述多尺度特征提取模块包括外部参考图像分支和待评测失真图像分支；所述外部参考图像分支以外部参考图像为输入，进行多尺度特征提取，输出多尺度的所述外部参考图像浅层特征；所述待评测失真图像分支以待评测失真图像为输入，进行多尺度特征提取，输出多尺度的所述待评测失真图像浅层特征。
3.如权利要求2所述的外部参考图像质量评价系统，其特征在于：所述外部参考图像分支和所述待评测失真图像分支均通过使用随机可重叠的裁剪方式将输入的相应图像随机划分为多个固定大小的图像块，并且，均是使用resnet50构建多尺度特征提取网络来对相应图像块提取浅层特征。
4.如权利要求1所述的外部参考图像质量评价系统，其特征在于：所述特征转换与对齐模块包括动态语义图学习组、基于可形变卷积的特征对齐模块、第一特征转换模块、第二特征转换模块、差分模块、第一拼接模块以及第二拼接模块；
5.如权利要求4所述的外部参考图像质量评价系统，其特征在于：所述特征转换与对齐模块包括多个所述动态语义图学习组，每个所述动态语义图学习组用于处理一个尺度的外部参考图像浅层特征i表示第i个尺度；
6.如权利要求5所述的外部参考图像质量评价系统，其特征在于，所述第一动态语义图学习模块和所述第二动态语义图学习模块具有相同的网络结构，所述网络结构被配置为：首先通过一个全连接层将输入特征映射到潜在表示空间，获取输入特征的全局上下文描述符；其次通过图卷积网络gcn构建语义推理模型获得增强后的上下文描述符...
【专利技术属性】
技术研发人员：杨文明，陈惠琳，廖庆敏，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。