一种亮度掩模引导的多注意力机制的水下图像增强方法技术

本发明专利技术公开了一种亮度掩模引导的多注意力机制的水下图像增强方法，该方法首先将水下图像和对应的反向亮度掩模作为网络的输入；然后设计了一个包含不同残差增强模块的编码器网络，用于精准的学习水下图像中不同层级的特征表示；其次，对高级特征加上一个三注意力模块，突出其中最具辨别力的特征；最后，考虑到水下图像的光选择性吸收程度可以通过表征图像照度分布的亮度掩模来隐式反映，本发明专利技术设计一个亮度掩模引导的解码器网络，对质量退化的区域进行增强。通过三注意力模块的引入以及将图像退化信息与深度学习相结合的优势，本发明专利技术能够有效增强水下图像的细节，同时调整图像的亮度。度。度。

【技术实现步骤摘要】
一种亮度掩模引导的多注意力机制的水下图像增强方法


[0001]本专利技术涉及水下图像处理
，尤其涉及一种亮度掩模引导的多注意力机制的水下图像增强方法。

技术介绍

[0002]海洋中蕴含着多种多样的资源，特别是近年来，不断恶化的自然环境致使资源问题愈加突出，人们开始格外注意海洋环境，于是提高海洋监测技术变得愈加重要。水下图像增强技术作为一种新的海洋环境监测技术，可用于监测海洋生态环境、监测如何运输倾倒区的垃圾以及检测污染物扩散等。由此可见，水下图像的清晰度直接影响着海洋相关方面的研究，因此众多水下任务如海洋资源探测、水下目标检测等都与水下图像增强密切相关。
[0003]然而在复杂的水下环境中，水介质对不同波长的光的吸收作用具有选择性，从而导致拍摄的水下图像或多或少会存在色偏现象，比如人眼看起来往往偏蓝色或者偏绿色，此外，悬浮在水中的微小粒子会造成光线的散射，其中前向散射会直接导致水下图像存在模糊不清、细节丢失的问题，而后向散射会直接导致水下图像出现对比度低的现象。基于以上原因，直接从拍摄的水下图像中很难得到理想化的信息，为满足需求，在对涉及水下图像的任务进行研究之前，如何设计一个优秀的增强方法以提高图像对比度、增强图像细节并校正图像色彩，具有一定的现实意义。
[0004]传统的水下图像增强方法主要包括基于特征融合的图像增强方法和基于Retinex理论的图像增强方法，其中前者主要通过融合不同特征信息增强水下图像，利用多张图像的互补信息来生产高质量的结果；后者由于与人类视觉系统相似，Retinex模型可以感知目标物体的颜色，增强退化图像的细节，同时还能提供色彩恒定性和动态范围，因此用于增强水下图像。此类方法不考虑水下成像机制的物理属性，因此结果倾向于带来伪影、过度增强或色彩失真等问题。基于物理模型的水下图像增强方法，根据水下环境和室外有雾场景的光学成像过程之间具有高度相似性，引入简化图像成像模型来描述水下场景，即对水下图像退化过程搭建一个合理的数学模型，为了估计模型的参数，推演出退化前的水下图像，大多使用众所周知的暗通道先验，考虑到水下光的波长依赖性吸收和介质的不均匀性，研究者将水的物理特性嵌入到修改后的暗通道先验中，提出了红通道先验技术、基于暗通道先验的水下图像复原技术以及最大强度先验技术等。尽管使用这些方法相对很好的估计了透射率或者背景光，仍然不可避免地出现色偏或者视觉上令人不满意的结果，这是因为在各种复杂的海洋环境中，特定的假设和先验可能并不总是成立的。
[0005]数据驱动的方法专注于学习合成水下图像与其对应的地面真实图像之间的映射功能，相关的增强方法主要有基于CNN的算法和基于GAN的算法两大类，其中CNN算法旨在保护原始图像，而GAN算法目的是提高水下图像的感知效果。基于深度学习的方法都在努力摆脱数据集的局限，拓宽了算法的适用范围。然而，缺乏足够的训练数据和不确定的输出往往使基于深度学习的方法性能不令人满意，因此，定制相应的数据集是此类增强方法的难点所在。

技术实现思路

[0006]根据现有技术存在的问题，本专利技术公开了一种亮度掩模引导的多注意力机制的水下图像增强方法，具体包括如下步骤：
[0007]获取水下图像并构建训练集和测试集；
[0008]构建亮度掩模引导的多注意力机制神经网络模型，用于水下图像增强，该神经网络模型包括编码器网络、三注意力模块、亮度掩模引导模块和解码器网络；
[0009]提取水下图像的低级特征、中级特征和高级特征；
[0010]采用三注意力模块对高级特征进行特征增强处理获得增强后特征；
[0011]将目标图像对应的反向亮度掩模分别与低级特征、中级特征以及增强后特征相结合，将结合后的三组特征分别输入至三个亮度掩模引导模块，使得反向亮度掩模分别引导与之对应的特征图的增强，得到亮度调整后的特征图，从而使得暗区域亮度得以提升、饱和区域不过曝；
[0012]将亮度调整后的特征图输入至解码器网络中获得增强的目标图像；
[0013]将训练集中的所有图像采用上述方式对神经网络模型进行训练，获得训练好的神经网络模型，再将测试集输入至完成训练的神经网络模型获得增强后的水下图像。
[0014]所述对高级特征进行特征增强处理时：
[0015]首先将高级特征进行空洞空间金字塔池化操作，获得具有相同尺度不同感受野的特征图，记为F
ASPP
；
[0016]构建亮度空间注意力单元，将特征图输入至亮度空间注意力单元获取亮度调整后的特征图；
[0017]构建边缘空间注意力单元，将亮度调整后的特征图输入至边缘空间注意力单元获得边缘增强后的特征图；
[0018]将特征图、亮度调整后的特征图以及边缘增强后的特征图进行逐像素相加，得到整体增强特征图；
[0019]构建通道注意力单元，将整体增强特征图输入至通道注意力单元中得到其在通道方向特征响应的全局分布，对输入的整体增强特征图进行权重选择，对突出对象表现出响应的通道分配权重。
[0020]获取亮度调整后的特征图时：
[0021]使用反向的亮度掩模RBM作为像素级的注意力图，其中反向亮度掩模图由1
‑
M得到，其中是[0,1]之间的亮度掩模图，是所有像素值均为1的全1矩阵；
[0022]对反向亮度掩模图使用全局平均池化操作，使其与特征图F
ASPP
具有相同的尺寸大小，使用两个卷积核大小分别为1*k和k*1的卷积层捕获空间关注点信息，使用Sigmoid函数，对映射到[0,1]的亮度空间特征图归一化处理，得到亮度注意力图BSA，并以此引导F
ASPP
的增强，得到亮度调整后的特征图，用F
BSA
表示：
[0023][0024][0025][0026][0027]其中W表示要学习的空间注意力权重，σ表示Sigmoid函数，conv表示卷积层，cat(
·
)表示连接操作，其中和分别表示像素级的加法和乘法。
[0028]在获得边缘注意力图时：对亮度调整后的特征图F
BSA
使用三个卷积块组成的特征编码器进行编码，使用Sigmoid函数对边缘特征图进行归一化处理，得到边缘注意力图ESA，以此引导特征图F
BSA
进行边缘增强，记为F
ESA
[0029]ESA＝σ3(BN3(conv3(δ2(BN2(conv2(δ1(BN1(conv1(F
BSA
)))))))))
ꢀꢀꢀꢀ
(5)
[0030][0031]其中BN(
·
)表示块归一化操作。
[0032]将特征图F
ASPP
、亮度调整后的特征图F
BSA
以及边缘增强后的特征图F
ESA
进行逐像素相加，得到整体增强特征图，记为F
SAM
：
[0033][0034]对特征图使用全局平均池化，将空间维度进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于包括：获取水下图像并构建训练集和测试集；构建亮度掩模引导的多注意力机制神经网络模型，用于水下图像增强，该神经网络模型包括编码器网络、三注意力模块、亮度掩模引导模块和解码器网络；提取水下图像的低级特征、中级特征和高级特征；采用三注意力模块对高级特征进行特征增强处理获得增强后特征；将目标图像对应的反向亮度掩模分别与低级特征、中级特征以及增强后特征相结合，将结合后的三组特征分别输入至三个亮度掩模引导模块，使得反向亮度掩模分别引导与之对应的特征图的增强，得到亮度调整后的特征图，从而使得暗区域亮度得以提升、饱和区域不过曝；将亮度调整后的特征图输入至解码器网络中获得增强的目标图像；将训练集中的所有图像采用上述方式对神经网络模型进行训练，获得训练好的神经网络模型，再将测试集输入至完成训练的神经网络模型获得增强后的水下图像。2.根据权利要求1所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：所述对高级特征进行特征增强处理时：首先将高级特征进行空洞空间金字塔池化操作，获得具有相同尺度不同感受野的特征图，记为F
ASPP
；构建亮度空间注意力单元，将特征图输入至亮度空间注意力单元获取亮度调整后的特征图；构建边缘空间注意力单元，将亮度调整后的特征图输入至边缘空间注意力单元获得边缘增强后的特征图；将特征图、亮度调整后的特征图以及边缘增强后的特征图进行逐像素相加，得到整体增强特征图；构建通道注意力单元，将整体增强特征图输入至通道注意力单元中得到其在通道方向特征响应的全局分布，对输入的整体增强特征图进行权重选择，对突出对象表现出响应的通道分配权重。3.根据权利要求2所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：获取亮度调整后的特征图时：使用反向的亮度掩模RBM作为像素级的注意力图，其中反向亮度掩模图由1
‑
M得到，其中是[0,1]之间的亮度掩模图，是所有像素值均为1的全1矩阵；对反向亮度掩模图使用全局平均池化操作，使其与特征图F
ASPP
具有相同的尺寸大小，使用两个卷积核大小分别为1*k和k*1的卷积层捕获空间关注点信息，使用Sigmoid函数，对映射到[0,1]的亮度空间特征图归一化处理，得到亮度注意力图BSA，并以此引导F
ASPP
的增强，得到亮度调整后的特征图，用F
BSA
表示：表示：表示：
其中W表示要学习的空...

【专利技术属性】
技术研发人员：付先平，李圆圆，米泽田，赵庆利，王辉兵，张军，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：