【技术实现步骤摘要】
本专利技术涉及图像处理，尤其是涉及一种基于双路径生成式对抗网络的水下图像增强方法。
技术介绍
1、水下图像增强是指通过特定的算法优化水下图像的质量，使其更加清晰、色彩更鲜艳，从而便于后续的分析和识别。水下图像增强的主要挑战在于水下的特殊环境，如光照条件、水的吸收和散射效应等都会影响图像的质量(对比度、清晰度、饱和度、亮度等)。
2、水下图像增强的方法大致可以分为三类：非物理模型的图像增强方法、基于物理模型的图像复原方法和基于深度学习的图像增强方法。
3、非物理模型的图像增强方法主要是通过调整图像的像素值来改善视觉质量，而不考虑水下图像退化的物理过程。比如图像融合、直方图均衡化等。这种方法的优点是可以快速改善图像质量，但缺点是可能无法完全解决图像的退化问题。
4、基于物理模型的图像增强方法则是通过先验知识估计物理模型中的参数，反推物理模型得到清晰的水下图像。例如暗通道先验、最小信息先验等。这种方法的优点是可以更准确地解决图像的退化问题，但缺点是需要更多的计算资源和时间。
5、基于深度学习的图像增强方法通过使用卷积神经网络(cnn)、生成式对抗网络(gan)等深度学习技术对水下退化的图像进行增强。目前大多数基于深度学习的水下图像增强方法属于监督学习。监督学习通过学习退化图像和参考图像之间的非线性关系，实现对新的退化图像的增强。监督学习的效果依赖于数据集、损失函数和神经网络模型的设计。这种方法的优点是能够在很大程度上改善水下图像的清晰度、对比度和颜色平衡，减少由于水下环境引起的模糊和扭曲
6、如何实现提高水下图像的视觉质量，成为需要解决的技术问题。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于双路径生成式对抗网络的水下图像增强方法。
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的一个方面，提供了一种基于双路径生成式对抗网络的水下图像增强方法，该方法包括以下步骤：
4、步骤s1，获取水下图像数据集；
5、步骤s2，转换步骤s1中水下图像数据集中图像由rgb色域转化为cielab色域，并将图像按通道分为亮度图和色度图；
6、步骤s3，将水下图像数据集输入训练好的双路径生成式对抗网络，得到增强后的水下图像；
7、所述双路径生成式对抗网络包括并列的亮度增强网络和图像上色网络，分别用于亮度增强和图像上色。
8、优选地，所述亮度增强网络包括亮度图生成器和亮度图判别器；所述图像上色网络包括色度图生成器和色度图判别器。
9、更加优选地，所述生成器为改进的u-net结构，包括编码器部分和解码器部分。
10、更加优选地，所述编码器部分为n层结构，每层包含特征提取模块和下采样模块；所述特征提取模块包括多个空洞卷积层，每个空洞卷积层前加入通道注意力子模块，后面依次连接一个实例归一化层和一个leakyrelu激活层。
11、更加优选地，所述解码器部分为与编码器相对于的n层结构，每层包含一个上采样模块；所述上采样模块包括依次连接的通道注意力子模块、转置卷积层、实例归一化层和relu激活层；
12、所述编码器和所述解码器中的同一层之间使用跳跃连接进行拼接。
13、更加优选地，所述通道注意力子模块为卷积块注意力机制的通道注意力子模块。
14、更加优选地，所述双路径生成式对抗网络的训练使用三个损失函数，分别为色度图生成器损失函数、亮度图生成器损失函数和判别器损失函数；
15、所述判别器损失函数的公式如下：
16、l(d)＝d(x)-d(y)+λ1gp(x,y)
17、所述亮度图生成器损失函数的公式如下：
18、l(gl)＝-λ2d(x)+λ3lsmoothl1(x,y)+λ4lssim(x,y)
19、所述色度图生成器损失函数的公式如下：
20、l(gc)＝-λ5d(x)+λ6lsmoothl1(x,y)+λ7lper(x,y)
21、其中，d为判别器，gl为亮度图生成器，gc为色度图生成器，x为增强图像，y为参考图像，gp为梯度惩罚，lssim为结构度似度损失，lsmoothl1为smoothl1损失，lper为多层感知损失，λ1～λ7为超参数。
22、更加优选地，所述判别器以patchgan为基础框架；所述判别器将图像分为多块，并对每块判别真假。
23、优选地，所述获取水下图像数据集包括获取包含原始图像和参考图像的成对水下图像数据集，以及只含有原始图像的非成对水下图像数据集。
24、更加优选地，所述将水下图像数据集输入训练好的双路径生成式对抗网络，得到增强后的水下图像的过程包括：
25、将所述水下图像数据集的原始图像亮度图、原始图像边界图和亮度图的反色图一起输入亮度图生成器，重构图像后输出增强图像亮度图，然后亮度图判别器通过学习参考图像亮度图的特征分布来判断亮度图生成器生成的增强图像亮度图是否真实，并反馈给亮度图生成器；
26、将原始图像亮度图和原始图像色度图输入色度图生成器，色度图生成器对原始图像亮度图进行上色，得到增强图像色度图，然后色度图判别器根据参考图像色度图来判别色度图生成器生成的增强图像色度图是否真实，并反馈给色度图生成器；
27、最后融合两个生成器输出的结果得到增强后的水下图像；
28、其中所述原始图像边界图和亮度图的反色图作为注意力先验引导亮度图生成器进行局部亮度增强。
29、与现有技术相比，本专利技术具有以下有益效果：
30、1)本专利技术使用双路径生成式对抗网络分别对水下图像进行亮度增强和上色处理，从多角度对图像进行增强，最后经融合和转化色域处理，得到增强后的水下图像，提高水下图像的视觉质量。
31、2)本专利技术生成器的编码器使用空洞卷积层组成的连续空洞卷积可以获得更大的感受野，更好提取上下文信息，减少了计算量，促进多尺度特征融合，再结合通道注意力可提高生成器网络的性能；判别器使用patchgan框架可以更好地捕捉局部纹理和细节，从而生成器-判别器的双路径生成式对抗网络在提高水下图像视觉质量的同时降低计算量。
32、3)本专利技术的编码器和解码器中的同一层之间使用跳跃连接进行拼接，通过跳跃连接融合不同层次的特征图，促进特征融合核特征重用，保留一定的细节和纹理。
33、4)本专利技术的生成器使用多层感知损失，更好地约束网络，使亮度和上色增强图像更符合人类对图像海量的感知；判别器损失函数在wgan(wasserstein生成式对抗网络)损失的基础上加入梯度惩罚，使网络训练时更加稳定，避免了模式崩溃和梯度消失的问题。本文档来自技高网...
【技术保护点】
1.一种基于双路径生成式对抗网络的水下图像增强方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于双路径生成式对抗网络的水下图像增强方法，其特征在于，所述亮度增强网络包括亮度图生成器和亮度图判别器；所述图像上色网络包括色度图生成器和色度图判别器。
3.根据权利要求2所述的一种基于双路径生成式对抗网络的水下图像增强方法，其特征在于，所述生成器为改进的U-Net结构，包括编码器部分和解码器部分。
4.根据权利要求3所述的一种基于双路径生成式对抗网络的水下图像增强方法，其特征在于，所述编码器部分为n层结构，每层包含特征提取模块和下采样模块；所述特征提取模块包括多个空洞卷积层，每个空洞卷积层前加入通道注意力子模块，后面依次连接一个实例归一化层和一个LeakyReLU激活层。
5.根据权利要求3所述的一种基于双路径生成式对抗网络的水下图像增强方法，其特征在于，所述解码器部分为与编码器相对于的n层结构，每层包含一个上采样模块；所述上采样模块包括依次连接的通道注意力子模块、转置卷积层、实例归一化层和ReLU激活层；
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。