一种基于退化信息引导的水下图像质量评价方法技术

本发明专利技术公开了一种基于退化信息引导的水下图像质量评价方法，其构建图像增强网络和质量评价网络；使用原始水下图像及对应的伪标签图像构成的第一训练集对图像增强网络进行训练，最终得到图像增强网络训练模型，并冻结参数；利用水下图像增强方法对原始水下图像进行增强，再将每幅原始水下图像对应的水下增强图像进行两两组合成图像对，所有图像对构成第二训练集；第二训练集中的水下增强图像通过图像增强网络训练模型输出四幅中间层特征图，同时使用第二训练集对质量评价网络进行训练，四幅中间层特征图引入到该训练过程中，最终得到质量评价网络训练模型；优点是能自动提取出质量相关特征，且能有效地提高客观评价结果与主观感知之间的相关性。感知之间的相关性。感知之间的相关性。

【技术实现步骤摘要】
一种基于退化信息引导的水下图像质量评价方法


[0001]本专利技术涉及一种图像质量评价技术，尤其是涉及一种基于退化信息引导的水下图像质量评价方法。

技术介绍

[0002]随着数字成像技术的不断发展，拍摄图像的质量也越来越高。高质量的水下图像获取对于海洋工程和海洋环境保护具有重要意义。然而，由于水下成像环境复杂，水下图像不可避免地会受到依赖波长的吸收和散射的影响，包括前向散射和后向散射，因此，原始的水下图像往往存在色彩偏置、光照不均匀、对比度和能见度降低等问题，严重影响了水下应用系统的性能。虽然在这种情况下可以通过优化拍摄设备来提高拍摄图像的质量，但是存在水下环境与投入成本的限制。因此在实际应用中，水下图像增强一直受到研究者的重视，且在过去的几年里取得了很大的进展。但开发一种实用的水下图像增强方法仍然具有挑战性，例如：如何有效地去除色偏，有效地提升能见度，以及提高效率等都是值得研究的方向。
[0003]目前，由于水下图像在海洋工程以及海洋环境保护等领域都有着广泛的应用，因此为了能够更好地指导水下图像增强方法以获得最高质量的水下增强图像，需要设计能够自动评价水下增强图像质量的客观方法。图像客观质量评价的研究根据对于原始参考信息的需求大致可以划分为三个类别，分别是全参考质量评价(FR
‑
IQA)、无参考质量评价(NR
‑
IQA)、少量参考质量评价(RR
‑
IQA)。全参考质量评价与少量参考质量评价分别需要全部或部分的原始参考信息，而对于在水下环境中拍摄到的水下图像，通常没有原始图像提供原始参考信息，因此无参考质量评价更适用于水下图像，同时更有研究价值。
[0004]无参考质量评价致力于在缺少原始图像提供的原始参考信息的情况下，能够准确地预测出图像的质量。这个课题近年来一直受到关注，并且取得了一定的进展。然而，目前却较少有针对水下图像的无参考质量评价方法。现有的无参考质量评价方法大多建立在图像的失真类型是已知的情况下，用于特定场景图像的质量评价任务，尤其是自然场景图像、屏幕图像、色调映射图像和暗光图像等，这些方法通过针对特定失真设计特征提取方法来计算对应特征的质量并用于质量评价任务。目前的传统无参考质量评价方法大多针对合成失真或者常见失真，研究也基本在一些合成失真基准数据库上开展。然而，水下场景的特殊性限制了这些传统无参考质量评价方法的性能，由于光在水介质中传输时存在不均匀的衰减，成像设备捕获到的水下图像质量受到影响，具体表现为水下图像中包含的复杂类型的失真，例如色偏、细节模糊与低对比度等。因此开发能够面向于水下图像的质量评价方法显得尤为重要。经过调研，目前已经存在数个较大规模的水下图像数据库。举其中两个水下图像数据库为例，其一包含由10种不同水下图像增强算法得到的共1000幅增强结果图像，然后根据水下图像的颜色以及亮度特征设计了一种无参考质量评价方法；其二包含890幅水下图像，通过提取水下图像的颜色、对比度以及锐度特征，设计了一种无参考质量评价方法。相较于传统无参考质量评价方法，以上两种无参考质量评价方法均通过实验证明了其有效性。
[0005]此外，研究人员近年来也陆续地提出了一些面向水下图像的质量评价方法。基本都考虑到水下图像的颜色、对比度以及锐度上所特有的失真，但以上这些客观质量评价方法仍然需要人为的设计特征提取过程，比较费时费力。因此设计一种能够自动提取出质量相关特征的质量评价方法非常有必要。

技术实现思路

[0006]本专利技术所要解决的技术问题是提供一种基于退化信息引导的水下图像质量评价方法，其能够自动提取出质量相关特征，省时省力，且能够有效地提高客观评价结果与主观感知之间的相关性。
[0007]本专利技术解决上述技术问题所采用的技术方案为：一种基于退化信息引导的水下图像质量评价方法，其特征在于包括以下步骤：
[0008]步骤1：构建两个神经网络，第一个神经网络作为图像增强网络，第二个神经网络作为质量评价网络；
[0009]图像增强网络包括1个第一卷积块、4个第二卷积块、4个第三卷积块、4个第四卷积块、1个第五卷积块，由第一卷积块、第1个第二卷积块、第2个第二卷积块、第3个第二卷积块、第4个第二卷积块构成编码网络，由第1个第三卷积块、第2个第三卷积块、第3个第三卷积块、第4个第三卷积块构成通道注意力模块，由第1个第四卷积块、第2个第四卷积块、第3个第四卷积块、第4个第四卷积块、第五卷积块构成解码网络；第一卷积块的输入通道数为3、输出通道数为32，第一卷积块的输入端作为图像增强网络的输入端同时接收一幅尺寸为H
×
W的RGB图像的R、G、B三个通道，将第一卷积块的输出端输出的尺寸为的特征图记为F
E1
；第1个第二卷积块的输入通道数为32、输出通道数为32，第1个第二卷积块的输入端接收F
E1
，将第1个第二卷积块的输出端输出的尺寸为的特征图记为F
E2
；第2个第二卷积块的输入通道数为32、输出通道数为64，第2个第二卷积块的输入端接收F
E2
，将第2个第二卷积块的输出端输出的尺寸为的特征图记为F
E3
；第3个第二卷积块的输入通道数为64、输出通道数为128，第3个第二卷积块的输入端接收F
E3
，将第3个第二卷积块的输出端输出的尺寸为的特征图记为F
E4
；第4个第二卷积块的输入通道数为128、输出通道数为256，第4个第二卷积块的输入端接收F
E4
，将第4个第二卷积块的输出端输出的尺寸为的特征图记为F
E5
；第1个第三卷积块的输入通道数为32、输出通道数为32，第1个第三卷积块的输入端接收F
E2
，将第1个第三卷积块的输出端输出的尺寸为的特征图记为F
C1
；第2个第三卷积块的输入通道数为64、输出通道数为64，第2个第三卷积块的输入端接收F
E3
，将第2个第三卷积块的输出端输出的尺寸为的特征图记为F
C2
；第3个第三卷积块的输入通道数为128、输出通道数为128，第3个第三卷积块的
输入端接收F
E4
，将第3个第三卷积块的输出端输出的尺寸为的特征图记为F
C3
；第4个第三卷积块的输入通道数为256、输出通道数为256，第4个第三卷积块的输入端接收F
E5
，将第4个第三卷积块的输出端输出的尺寸为的特征图记为F
C4
；第1个第四卷积块的输入通道数为256、输出通道数为256，第1个第四卷积块的输入端接收F
E5
，将第1个第四卷积块的输出端输出的尺寸为的特征图记为F
D1
；第2个第四卷积块的输入通道数为512、输出通道数为128，第2个第四卷积块的输入端接收对F
D1
和F
C4
进行拼接操作后得到的尺寸为的特征图F
DC1
，将第2个第四卷积块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于退化信息引导的水下图像质量评价方法，其特征在于包括以下步骤：步骤1：构建两个神经网络，第一个神经网络作为图像增强网络，第二个神经网络作为质量评价网络；图像增强网络包括1个第一卷积块、4个第二卷积块、4个第三卷积块、4个第四卷积块、1个第五卷积块，由第一卷积块、第1个第二卷积块、第2个第二卷积块、第3个第二卷积块、第4个第二卷积块构成编码网络，由第1个第三卷积块、第2个第三卷积块、第3个第三卷积块、第4个第三卷积块构成通道注意力模块，由第1个第四卷积块、第2个第四卷积块、第3个第四卷积块、第4个第四卷积块、第五卷积块构成解码网络；第一卷积块的输入通道数为3、输出通道数为32，第一卷积块的输入端作为图像增强网络的输入端同时接收一幅尺寸为H
×
W的RGB图像的R、G、B三个通道，将第一卷积块的输出端输出的尺寸为的特征图记为F
E1
；第1个第二卷积块的输入通道数为32、输出通道数为32，第1个第二卷积块的输入端接收F
E1
，将第1个第二卷积块的输出端输出的尺寸为的特征图记为F
E2
；第2个第二卷积块的输入通道数为32、输出通道数为64，第2个第二卷积块的输入端接收F
E2
，将第2个第二卷积块的输出端输出的尺寸为的特征图记为F
E3
；第3个第二卷积块的输入通道数为64、输出通道数为128，第3个第二卷积块的输入端接收F
E3
，将第3个第二卷积块的输出端输出的尺寸为的特征图记为F
E4
；第4个第二卷积块的输入通道数为128、输出通道数为256，第4个第二卷积块的输入端接收F
E4
，将第4个第二卷积块的输出端输出的尺寸为的特征图记为F
E5
；第1个第三卷积块的输入通道数为32、输出通道数为32，第1个第三卷积块的输入端接收F
E2
，将第1个第三卷积块的输出端输出的尺寸为的特征图记为F
C1
；第2个第三卷积块的输入通道数为64、输出通道数为64，第2个第三卷积块的输入端接收F
E3
，将第2个第三卷积块的输出端输出的尺寸为的特征图记为F
C2
；第3个第三卷积块的输入通道数为128、输出通道数为128，第3个第三卷积块的输入端接收F
E4
，将第3个第三卷积块的输出端输出的尺寸为的特征图记为F
C3
；第4个第三卷积块的输入通道数为256、输出通道数为256，第4个第三卷积块的输入端接收F
E5
，将第4个第三卷积块的输出端输出的尺寸为的特征图记为F
C4
；第1个第四卷积块的输入通道数为256、输出通道数为256，第1个第四卷积块的输入端接收F
E5
，将第1个第四卷积块的输出端输出的尺寸为的特征图记为F
D1
；第2个第四卷积块的输入通道数为512、输出通道数为128，第2个第四卷积块的输入端接收对F
D1
和F
C4
进行拼接操作后得到的尺寸为
的特征图F
DC1
，将第2个第四卷积块的输出端输出的尺寸为的特征图记为F
D2
，同时将F
DC1
作为第一中间层特征图；第3个第四卷积块的输入通道数为256、输出通道数为64，第3个第四卷积块的输入端接收对F
D2
和F
C3
进行拼接操作后得到的尺寸为的特征图F
DC2
，将第3个第四卷积块的输出端输出的尺寸为的特征图记为F
D3
，同时将F
DC2
作为第二中间层特征图；第4个第四卷积块的输入通道数为128、输出通道数为32，第4个第四卷积块的输入端接收对F
D3
和F
C2
进行拼接操作后得到的尺寸为的特征图F
DC3
，将第4个第四卷积块的输出端输出的尺寸为的特征图记为F
D4
，同时将F
DC3
作为第三中间层特征图；第五卷积块的输入通道数为64、输出通道数为3，第五卷积块的输入端接收对F
D4
和F
C1
进行拼接操作后得到的尺寸为的特征图F
DC4
，将第五卷积块的输出端输出的尺寸为H
×
W
×
3的特征图记为F
D5
，同时将F
DC4
作为第四中间层特征图，将F
D5
作为RGB图像对应的图像退化信息，对RGB图像与其对应的图像退化信息进行逐元素相加，将逐元素相加得到的图像作为图像增强网络的输出端输出的增强结果图像；质量评价网络包括1个第六卷积块、4个第七卷积块、12个第八卷积块、4个第九卷积块、4个全局平均池化模型、1个全连接层，由1个第六卷积块、4个第七卷积块、12个第八卷积块构成编码网络，由4个第九卷积块构成特征融合模块由4个全局平均池化模型和1个全连接层构成回归网络；第六卷积块的输入通道数为3、输出通道数为64，第六卷积块的输入端同时接收一幅尺寸为H
×
W的RGB图像的R、G、B三个通道，第六卷积块的输入端接收的RGB图像与第一卷积块的输入端接收的RGB图像为同一幅，将第六卷积块的输出端输出的尺寸为的特征图记为F
Q1
；第1个第七卷积块的输入通道数为64、输出通道数为256，第1个第七卷积块的输入端接收F
Q1
，将第1个第七卷积块的输出端输出的尺寸为的特征图记为F
Q2
；第1个第八卷积块的输入通道数为256、输出通道数为256，第1个第八卷积块的输入端接收F
Q2
，将第1个第八卷积块的输出端输出的尺寸为的特征图记为F
Q3
；第2个第八卷积块的输入通道数为256、输出通道数为256，第2个第八卷积块的输入端接收F
Q3
，将第2个第八卷积块的输出端输出的尺寸为的特征图记为F
Q4
，并将F
Q4
作为第五中间层特征图；第2个第七卷积块的输入通道数为256、输出通道数为512，第2个第七卷积块的输入端接收F
Q4
，将第2个第七卷积块的输出端输出的尺寸为的特征图记为F
Q5
；第3个第八卷积块的输入通道数为512、输出通道数为512，第3个第八卷积块的输入端接收F
Q5
，将第3个第八卷积块的输出端输出的尺寸为的特征图记为F
Q6
；第4个
第八卷积块的输入通道数为512、输出通道数为512，第4个第八卷积块的输入端接收F
Q6
，将第4个第八卷积块的输出端输出的尺寸为的特征图记为F
Q7
；第5个第八卷积块的输入通道数为512、输出通道数为512，第5个第八卷积块的输入端接收F
Q7
，将第5个第八卷积块的输出端输出的尺寸为的特征图记为F
Q8
，并将F
Q8
作为第六中间层特征图；第3个第七卷积块的输入通道数为512、输出通道数为1024，第3个第七卷积块的输入端接收F
Q8
，将第3个第七卷积块的输出端输出的尺寸为的特征图记为F
Q9
；第6个第八卷积块的输入通道数为1024、输出通道数为1024，第6个第八卷积块的输入端接收F
Q9
，将第6个第八卷积块的输出端输出的尺寸为的特征图记为F
Q10
；第7个第八卷积块的输入通道数为1024、输出通道数为1024，第7个第八卷积块的输入端接收F
Q10
，将第7个第八卷积块的输出端输出的尺寸为的特征图记为F
Q11
；第8个第八卷积块的输入通道数为1024、输出通道数为1024，第8个第八卷积块的输入端接收F
Q11
，将第8个第八卷积块的输出端输出的尺寸为的特征图记为F
Q12
；第9个第八卷积块的输入通道数为1024、输出通道数为1024，第9个第八卷积块的输入端接收F
Q12
，将第9个第八卷积块的输出端输出的尺寸为的特征图记为F
Q13
；第10个第八卷积块的输入通道数为1024、输出通道数为1024，第10个第八卷积块的输入端接收F
Q13
，将第10个第八卷积块的输出端输出的尺寸为的特征图记为F
Q14
，并将F
Q14
作为第七中间层特征图；第4个第七卷积块的输入通道数为1024、输出通道数为2048，第4个第七卷积块的输入端接收F
Q14
，将第4个第七卷积块的输出端输出的尺寸为的特征图记为F
Q15
；第11个第八卷积块的输入通道数为2048、输出通道数为2048，第11个第八卷积块的输入端接收F
Q15
，将第11个第八卷积块的输出端输出的尺寸为的特征图记为F
Q16
；第12个第八卷积块的输入通道数为2048、输出通道数为2048，第12个第八卷积块的输入端接收F
Q16
，将第12个第八卷积块的输出端输出的尺寸为的特征图记为F
Q17
，并将F
Q17
作为第八中间层特征图；第1个第九卷积块的第一输入端的输入通道数为256、第二输入端的输入通道数为64、输出通道数为64，第1个第九卷积块的第一输入端接收F
Q4
，第1个第九卷积块的第二输入端接收F
DC4
，将第1个第九卷积块的输出端输出的尺寸为的特征图记为F
DQ1
；第2个第九卷积块的第一输入端的输入通道数为512、第二输入端的输入通道数为128、输出通道数为128，第2个第九卷积块的第一输入端接收F
Q8
，第2个第九卷积块的第二输入端接收
F
DC3
，将第2个第九卷积块的输出端输出的尺寸为的特征图记为F
DQ2
；第3个第九卷积块的第一输入端的输入通道数为1024、第二输入端的输入通道数为256、输出通道数为256，第3个第九卷积块的第一输入端接收F
Q14
，第3个第九卷积块的第二输入端接收F
DC2
，将第3个第九卷积块的输出端输出的尺寸为的特征图记为F
DQ3
；第4个第九卷积块的第一输入端的输入通道数为2048、第二输入端的输入通道数为512、输出通道数为512，第4个第九卷积块的第一输入端接收F
Q17
，第4个第九卷积块的第二输入端接收F
DC1
，将第4个第九卷积块的输出端输出的尺寸为的特征图记为F
DQ4
；第1个全局平均池化模型的输入通道数为64、输出通道数为64，第1个全局平均池化模型的输入端接收F
DQ1
，第1个全局平均池化模型的输出端输出尺寸为1
×1×
64的特征向量；第2个全局平均池化模型的输入通道数为128、输出通道数为128，第2个全局平均池化模型的输入端接收F
DQ2
，第2个全局平均池化模型的输出端输出尺寸为1
×1×
128的特征向量；第3个全局平均池化模型的输入通道数为256、输出通道数为256，第3个全局平均池化模型的输入端接收F
DQ3
，第3个全局平均池化模型的输出端输出尺寸为1
×1×
256的特征向量；第4个全局平均池化模型的输入通道数为512、输出通道数为512，第4个全局平均池化模型的输入端接收F
DQ4
，第4个全局平均池化模型的输出端输出尺寸为1
×1×
512的特征向量；对尺寸为1
×1×
64的特征向量、尺寸为1
×1×
128的特征向量、尺寸为1
×1×
256的特征向量、尺寸为1
×1×
512的特征向量进行拼接操作，得到尺寸为1
×1×
960的特征向量，记为F
iqa1
；全连接层的输入通道数为960、输出通道数为1，全连接层的输入端接收F
iqa1
，全连接层的输出端输出一个数值，该数值代表RGB图像的质量预测分数；步骤2：选取N1幅不同场景下的原始水下图像及每幅原始水下图像对应的伪标签图像构成第一训练集；其中，N1≥800，原始水下图像和伪标签图像的尺寸为H
×
W，即原始水下图像和伪标签图像的高度为H且宽度为W；步骤3：将第一训练集中的每幅原始水下图像的R、G、B三个通道同时输入到图像增强网络中进行训练，图像增强网络输出第一训练集中的每幅原始水下图像对应的增强结果图像，然后针对第一训练集中的每幅伪标签图像，计算损失函数值，记为Loss
IE
，其中，表示均方误差损失函数值，“|| ||
2”为l2范数运算符号，I
result
表示原始水下图像I
raw
对应的增强结果图像，I
pseudo
表示原始水下图像I
raw
对应的伪标签图像，表示感知损失函数值，表示感知损失函数值，表示感知损失网络即VGG
‑
16网络，1≤j≤16，表示VGG
‑
16网络中的第j层卷积层，表示I
result
输入到VGG
‑
16网络中第j层卷积层输出的特征图，表示I
pseudo
输入到VGG
‑
16网络中第j层卷积层输出的特征图，H
j
×
W
j
×
C
j
表示和的尺寸，H
j
表示和的高度，W
j
表示
和的宽度，C
j
表示和的通道数；步骤4：使用第一训练集按照步骤3的过程训练100轮以上，最终训练得到图像增强网络训练模型，并在后续的训练中冻结参数；步骤5：选取N2幅不同场景下的原始水下图像；然后利用N3种不同的水下图像增强方法对每幅原始水下图像进行增强处理，得到每幅原始水下图像对应的N3幅水下增强图像；再针对每幅原始水下图像对应的N3幅水下增强图像，将N3幅水下增强图像排成一排，将每幅水下增强图像与位于其后的各幅水下增强图像两两组合成图像对，共得到(N3‑
1)+(N3‑
2)+
…
+1对图像对；之后将N2×
((N3‑
1)+(N3‑
2)+
…
+1)对图像对构成第二训练集；其中，N2≥100，N3≥10，原始水下图像的尺寸为H
×
W，即原始水下图像的高度为H且宽度为W；步骤6：将第二训练集中的每对图像对的每幅水下增强图像的R、G、B三个通道同时输入到图像增强网络训练模型中，图像增强网络训练模型输出第二训练集中的每对图像对的每幅水下增强图像对应的第一中间层特征图、第二中间层特征图、第三中间层特征图、第四中间层特征图，将第二训练集中的任意一对图像对的任意一幅水下增强图像对应的第一中间层特征图、第二中间层特征图、第三中间层特征图、第四中间层特征图对应记为F'
DC1
、F'
DC2
、F'
DC3
、F'
DC4
；同时，将第二训练集中的每对图像对的每幅水下增强图像的R、G、B三个通道同时输入到质量评价网络的编码网络中，质量评价网络的编码网络输出第二训练集中的每对图像对的每幅水下增强图像对应的第五中间层特征图、第六中间层特征图、第七中间层特征图、第八中间层特征图，将第二训练集中的任意一对图像对的任意一幅水下增强图像对应的第五中间层特征图、第六中间层特征图、第七中间层特征图、第八中间层特征图对应记为F'
Q4
、F'
Q8
、F'
Q14
、F'
Q17
；然后将第二训练集中的每对图像对的每幅水下增强图像对应的第四中间层特征图和第五中间层特征图、第三中间层特征图和第六中间层特征图、第二中间层特征图和第七中间层特征图、第一中间层特征图和第八中间层特征图成对输入到质量评价网络的特征融合模块中，质量评价网络输出第二训练集中的每对图像对的每幅水下增强图像对应的质量预测分数；再针对第二训练集中的每对图像对，计算损失函数值，记为Loss
quality
，Loss
quality
＝max(0,
‑
R
×
(Q1‑
Q2)+margin)，其中，max()为取最大值函数，Q1表示每对图像对的第一幅水下增强图像对应的质量预测分数，...

【专利技术属性】
技术研发人员：姜求平，顾约瑟，邵枫，
申请(专利权)人：宁波大学，
类型：发明
国别省市：