基于图像反射分量和深度学习模型的水下图像增强方法技术

本发明专利技术提供一种基于图像反射分量和深度学习模型的水下图像增强方法包括：提取输入图像的反射分量，通过辅助分支网络的多层卷积算子识别反射分量的特征信息。在方法的主网络中以源图像作为输入，通过多维编码器组提取源图像特征信息，并且与辅助分支网络的同维度特征矩阵进行深度方向融合，最终通过解码器组复原得到增强后图像。本发明专利技术基于图像反射分量和深度学习模型，在传统图像增强网络的基础上新增一个基于图像反射分量的辅助分支网络。辅助网络以反射分量作为输入，并在多个层级与主网络融合，使网络能从退化图像和表现图像本质信息的反射分量中两方面提取特征矩阵。的反射分量中两方面提取特征矩阵。的反射分量中两方面提取特征矩阵。

【技术实现步骤摘要】
基于图像反射分量和深度学习模型的水下图像增强方法


[0001]本专利技术涉及水下图像处理的
，具体而言，尤其涉及基于图像反射分量和深度学习模型的水下图像增强方法。

技术介绍

[0002]近年来，为了解决水下监测、海底测绘、水下考古、垃圾收集、水下救援和军事行动等具有挑战性的工程问题，自主水下航行器的研发工作得到了很大的发展。但这些应用中，大多都需要自动水下航行器较好的水下成像技术来获取更多的有用信息。
[0003]当光在水中传播时，由于不同波长的光线衰减率不同和水体的散射效应，水下图像受到严重影响。这种损伤限制了视觉任务的能力，降低了图像质量。目前用于提高水下图像质量的方法有很多，但是大多数方法会在输出图像中产生失真效果。经研究发现，造成水下图像退化的因素主要有：低对比度、模糊、物体真色降低、明亮伪影、漂浮粒子和非均匀照明。在这些因素水下图像面临严重的退化问题。因此，寻找一种有效的解决方案恢复水下图像信息是一项迫切而又具有挑战性的任务。
[0004]据调研，各种水下成像技术和方法被引入到水下图像处理领域，各类水下增强技术已经被提出解决此类问题。水下增强技术是一种简单快速的方法，它直接对图像像素进行调整分配，通过特定规则处理红绿蓝通道强度值，对于提高水下图像的质量作用显著，因此水下增强技术得到了广泛应用。

技术实现思路

[0005]根据上述
技术介绍
中提到的技术问题，而提供一种基于图像反射分量和深度学习模型的水下图像增强方法。本专利技术采用的技术手段如下：
[0006]基于图像反射分量和深度学习模型的水下图像增强方法，包括以下步骤：
[0007]步骤S01：获取原始RGB水下图像，通过多尺度Retinex方法对所述原始RGB水下图像剔除反射分量，获取原始图像的反射分量图像；
[0008]步骤S02：将反射分量图像输入辅助分支网络，通过多层卷积算子提取反射分量的特征信息；
[0009]步骤S03：将所述RGB水下图像输入到主网络中，通过多维编码器组提取源图像特征信息，并且与辅助分支网络的同维度特征矩阵进行深度方向融合，得到特征矩阵；
[0010]步骤S04：将所述特征矩阵输入到双上采样算子解码器组中，每个双上采样编码器通过双通道将转置卷积与亚像素卷积相结合，将二者所输出的特征图进行深度方向叠加，充分利用输入特征图的特征信息，从而还原输出图像。
[0011]较现有技术相比，本专利技术具有以下优点：
[0012]1、本专利技术在传统图像增强网络基础上，新增一个基于图像反射分量的辅助分支网络。通过多尺度Retinex方法提取原始水下图像的反射分量作为辅助网络的输入，分多个维度与主网络融合，从而从多个角度挖掘图像信息。
[0013]2、本专利技术设计了一种新的编码器结构，将普通卷积替换为深度方向和二维方向的二次卷积，减少模型训练参数。同时结合了注意力机制，提高特征区域的权重。
[0014]3、本专利技术设计了一种新的解码器结构，采用双分支结构将两类上采样算子相结合，有助于充分利用高维度的特征矩阵信息。
[0015]基于上述理由本专利技术可在图像处理等领域广泛推广。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术的流程示意图。
[0018]图2为本专利技术与其他算法针对水下场景图像的增强效果对比图。其中，图2
‑1‑
1、图2
‑2‑
1、图2
‑3‑
1、图2
‑4‑
1为水下原始图像；图2
‑1‑
2、图2
‑2‑
2、图2
‑3‑
2、图2
‑4‑
2为经过CycleGAN方法处理之后的结果图；图2
‑1‑
3、图2
‑2‑
3、图2
‑3‑
3、图2
‑4‑
3为经过Shallow
‑
UWNet方法处理之后的结果图；图2
‑1‑
4、图2
‑2‑
4、图2
‑3‑
4、图2
‑4‑
4为经过UGAN方法处理之后的结果图；图2
‑1‑
5、图2
‑2‑
5、图2
‑3‑
5、图2
‑4‑
5为经过本文提出算法处理之后的结果图。
具体实施方式
[0019]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0020]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021]如图1所示，本专利技术提供了一种基于图像反射分量和深度学习模型的水下图像增强方法，包括以下步骤：
[0022]步骤S01：获取原始RGB水下图像，通过多尺度Retinex方法对原始RGB水下图像剔除反射分量，获取原始图像的反射分量图像；步骤S01中的通过多尺度Retinex方法对原始RGB水下图像剔除反射分量，获取原始图像的反射分量图像，的多尺度Retinex方法公式如下：
[0023]I(x,y)＝L(x,y)R(x,y)
ꢀꢀ
(1)；
[0024]其中，I(x,y)表示输入图像，L(x,y)和R(x,y)分别表示输入图像的照射分量和反
射分量；对两边取对数，得到：
[0025]log(I(x,y))＝log(L(x,y))+log(R(x,y))
ꢀꢀ
(2)；
[0026]其中，反射分量表示图像的高频部分，照射分量代表图像的低频部分；因此使用多尺度高斯滤波剔除照射分量，提取反射分量，公式为：
[0027][0028]其中，表示第i个颜色通道的反射分量；j表示尺度序号，ω
j
表示第j个尺度对应的权重值；I
i
(x,y)表示输入图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像反射分量和深度学习模型的水下图像增强方法，其特征在于，包括以下步骤：步骤S01：获取原始RGB水下图像，通过多尺度Retinex方法对所述原始RGB水下图像剔除反射分量，获取原始图像的反射分量图像；步骤S02：将反射分量图像输入辅助分支网络，通过多层卷积算子提取反射分量的特征信息；步骤S03：将所述RGB水下图像输入到主网络中，通过多维编码器组提取源图像特征信息，并且与辅助分支网络的同维度特征矩阵进行深度方向融合，得到特征矩阵；步骤S04：将所述特征矩阵输入到双上采样算子解码器组中，每个双上采样编码器通过双通道将转置卷积与亚像素卷积相结合，将二者所输出的特征图进行深度方向叠加，充分利用输入特征图的特征信息，从而还原输出图像。2.根据权利要求1所述的基于图像反射分量和深度学习模型的水下图像增强方法，其特征在于，所述步骤S01中的通过多尺度Retinex方法对所述原始RGB水下图像剔除反射分量，获取原始图像的反射分量图像，所述的多尺度Retinex方法公式如下：I(x,y)＝L(x,y)
·
R(x,y)
ꢀꢀ
(1)；其中，I(x,y)表示输入图像，L(x,y)和R(x,y)分别表示输入图像的照射分量和反射分量；对两边取对数，得到：log(I(x,y))＝log(L(x,y))+log(R(x,y))
ꢀꢀ
(2)；其中，反射分量表示图像的高频部分，照射分量代表图像的低频部分；因此使用多尺度高斯滤波剔除照射分量，提取反射分量，公式为：其中，表示第i个颜色通道的反射分量；j表示尺度序号，ω
j
表示第j个尺度对应的权重值；I
i
(x,y)表示输入图像的第i个颜色通道；G
j
(x,y)表示第j个尺度的高斯卷积函数；提取反射分量后，引入图像全部像素值的平均值和均方误差进行量化处理，公式为：min＝mean
‑
d*var
ꢀꢀ
(4)；max＝mean+d*var
ꢀꢀ
(5)；其中，d表示控制色彩饱和度的参数；mean和var分别表示全局均值和全局均方误差；max和min分别表示图像所有像素值中的最大值和最小值；表示步骤S01的输出结果。3.根据权利要求1所述的基于图像反...

【专利技术属性】
技术研发人员：张维石，张得欢，要健，周景春，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：