一种图像增强方法技术

本发明专利技术公开了一种图像增强方法，先对低照度图像进行预处理，再对预处理后的图像进行神经网络增强处理，所述神经网络为低照度图像增强网络。本发明专利技术克服了传统图像增强方法参数设置困难、图像颜色失真、容易过曝光的问题，可以覆盖复杂的光照模型，对环境变化的适应性强。对环境变化的适应性强。对环境变化的适应性强。

【技术实现步骤摘要】
一种图像增强方法


[0001]本专利技术属于图像处理领域，具体涉及一种图像增强方法。

技术介绍

[0002]在无人机水面作业的过程中，因为天气环境复杂，会出现无人机拍摄的水面照片照度较低，影响后续算法对水面图像进行分析。由于低照度图像中的像素的灰度值通常较小，整体图像偏暗，相似的像素值分布集中，彼此相邻的像素的相关性较大，并且轮廓边缘像素灰度值对应于非边缘像素灰度值差异相对较小，细节信息被削弱。这种在低照度图像中的弱化现象可能在图像增强期间导致图像许多细节信息的丢失。另外，低照度图像中的颜色均偏暗，整体颜色会有一定的偏差。尤其在水面航拍时产生的低照度图像，受其获取环境的影响，水面纹理较少，对后续的水面目标检测以及水面环境理解造成了严重的不利影响。
[0003]目前常见的图像增强算法包括直方图均衡算法、离散小波变换算法(DWT)、基于颜色恒常理论的Retinex算法和神经网络方法。传统的图像低照度增强算法通过对图像中的光照度进行建模从而增强图像亮度，其阈值选取困难，对水面低照度图像的处理适应性较差，且在实际使用中，不均匀的光照会导致图像产生噪声和局部欠曝光等现象，在增强过程中容易过曝光和局部光晕等。相比于传统的图像增强算法，基于深度学习的图像增强算法效果更好，但是目前的低照度增强网络仅针对其在自然环境下的图像能够进行对比度的增强，而针对水面低照度图像增强的深度学习网络还有待研究。考虑到增强效果、鲁棒性、易用性等因素，可以采用神经网络方法来进行水面低照度图像增强。由于神经网络方法会受到数据集分布、训练方式、网络过拟合欠拟合等很多因素的影响，因此设计一个好的图像增强网络面临很多挑战。由于水面环境复杂，光照条件多变，水面反光严重，水面波浪影响等，对低照度水面图像进行图像增强具有一定的难度。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术中存在的不足，针对无人机自带成像设备拍摄的低照度水面图像，使用图像预处理技术、利用新型神经网络结构进行训练学习，达到图像增强的效果并能够自适应环境的变化，可覆盖多种复杂的光照模型。
[0005]为实现上述专利技术目的，本专利技术提供一种图像增强方法，先对低照度图像进行预处理，再对预处理后的图像进行神经网络增强处理，所述神经网络为低照度图像增强网络。
[0006]进一步地，所述预处理包括图像去噪、小波变换和多尺度Log变换，所述低照度图像增强网络包括分辨率重建网络、自编码网络和融合网络，所述超分辨率重建网络用于对小波变换后的小尺寸低频图像进行超分辨率重建，提高低频图像分辨率；所述自编码网络用于提取重建网络重建后的图像深层次特征；所述融合网络用于将多尺度Log变换预处理结果和自编码网络的结果融合，得到照度增强后的最终图像。
[0007]进一步地，所述图像去噪采用高斯平滑滤波器，其二维高斯函数表达式为：
[0008][0009]进一步地，所述小波变换用于对去噪后的图像进行一级离散小波变换，将图像高低频部分进行分离得到四个子图像，分别对应近似子带LL、水平细节LH、垂直细节HL和对角细节HH，其中噪声主要存在于高频区域，而LL为亮度有所提高的低频图像，小波变换函数用小波函数ψ(x)和尺度函数来表示，定义为
[0010][0011]式中，i0表示任意一个起始的尺度，s
i
(k)为尺度系数，d
i
(k)为小波系数。
[0012]进一步地，所述多尺度Log变换用于对去噪后的图像进行多尺度对数变换，通过对数变换扩展图像的低像素值部分，压缩图像的高像素值部分，以增强低照区域并作为新的图像特征输入到后续网络中；
[0013]所述多尺度对数变换Τ以原始的低照度图像I作为输入，得到预增强后的图像I
Τ
，通过多次不同尺度的对数变换，得到具有不同的增强效果的增强图像，对数变换公式为:
[0014][0015]其中I∈[0,1]，c是常数，通常设为1，j＝[1,2,
…
,n]，表示以v
j
+1为底进行对数增强后的图像，n表示对数变换函数的个数，v＝{10，50，100，200，300}，得到的预增强图像作为输入进入所述低照度图像增强网络。
[0016]进一步地，所述超分辨率重建网络为三层的超分辨率卷积神经网络SRCNN。
[0017]进一步地，所述超分辨率卷积神经网络中三层卷积核大小都是3x3，卷积核数量分别为128、64和1。
[0018]进一步地，所述超分辨率卷积神经网络的处理过程为：从图像中裁出重叠的图像块，经过减去均值及归一化预处理，然后用一个低分辨字典对这些图像块进行编码，得到稀疏系数，再利用高分辨率字典得到对应的高分辨率图像块，最后对这些重构的图像块进行组合得到最终的输出，三层卷积公式如下：
[0019]F1(Y)＝max(0,W1*Y+B1)
ꢀꢀꢀ
(4)
[0020]F2(Y)＝max(0,W2*F1(Y)+B2)
ꢀꢀꢀ
(5)
[0021]F3(Y)＝W3*F2(Y)+B3ꢀꢀꢀ
(6)。
[0022]进一步地，所述组合为权值平均。
[0023]进一步地，所述自编码网络包括编码网络和解码网络，所述编码网络包括4层卷积层，卷积核大小均为3x3，卷积核数目均为64，用来提取图像的特征，所述解码网络包括4层上采样层，每层上采样层均将上层特征放大到原来的2倍，最终得到和原图分辨率一样的深层图像特征。
[0024]进一步地，基于多尺度Retinex算法构建深层卷积网络，通过训练深层卷积网络得到最优的融合参数，将多尺度对数增强后的图像特征和自编码网络输出的深层图像特征进行融合，得到照度增强后的最终图像。
[0025]与现有技术相比，本专利技术的有益效果为：
[0026]克服了传统图像增强方法参数设置困难、图像颜色失真、容易过曝光的问题，可以
覆盖复杂的光照模型，对环境变化的适应性强。
附图说明
[0027]图1为本专利技术一个实施例的原理框图；
[0028]图2为本专利技术一个实施例的流程图；
[0029]图3为本专利技术一个实施例中神经网络的结构示意图；
[0030]图4为本专利技术一个实施例的图像增强前后效果对比图。
具体实施方式
[0031]下面结合附图和具体实施例，对本专利技术的技术方案做进一步说明。图2中的自编码网络即为图3中的自编解码网络。
[0032]如图1
‑
图3所示，本专利技术图像增强方法一个实施例，可按如下步骤执行：
[0033]1、对原低照度水面图像进行图像去噪处理。利用高斯平滑滤波器抑制图像中的正态分布的噪声点。高斯平滑滤波器是空域和频域中非常有效的低通滤波器，可滤除高频噪声，我们采用的二维高斯函数表达式如式(1)：
[0034][0035]在图像处理领域，滤波操作一般是将图像与一个模板进行卷积实现，如σ＝0.8时，卷积核模板为
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，其特征在于，先对低照度图像进行预处理，再对预处理后的图像进行神经网络增强处理，所述神经网络为低照度图像增强网络。2.根据权利要求1所述的图像增强方法，其特征在于，所述预处理包括图像去噪、小波变换和多尺度Log变换，所述低照度图像增强网络包括分辨率重建网络、自编码网络和融合网络，所述超分辨率重建网络用于对小波变换后的小尺寸低频图像进行超分辨率重建，提高低频图像分辨率；所述自编码网络用于提取重建网络重建后的图像深层次特征；所述融合网络用于将多尺度Log变换预处理结果和自编码网络的结果融合，得到照度增强后的最终图像。3.根据权利要求2所述的图像增强方法，其特征在于，所述图像去噪采用高斯平滑滤波器，其二维高斯函数表达式为：4.根据权利要求2所述的图像增强方法，其特征在于，所述小波变换用于对去噪后的图像进行一级离散小波变换，将图像高低频部分进行分离得到四个子图像，分别对应近似子带LL、水平细节LH、垂直细节HL和对角细节HH，其中噪声主要存在于高频区域，而LL为亮度有所提高的低频图像，小波变换函数用小波函数ψ(x)和尺度函数来表示，定义为式中，i0表示任意一个起始的尺度，s
i
(k)为尺度系数，d
i
(k)为小波系数。5.根据权利要求2所述的图像增强方法，其特征在于，所述多尺度Log变换用于对去噪后的图像进行多尺度对数变换，通过对数变换扩展图像的低像素值部分，压缩图像的高像素值部分，以增强低照区域并作为新的图像特征输入到后续网络中；所述多尺度对数变换Τ以原始的低照度图像I作为输入，得到预增强后的图像I
Τ
，通过多次不同尺度的对数变换，得到具有不同的增强效果的增强图像，对数变换公式为：其中I∈[0，1]，c是常数，通常设为1，j＝[1，2，
…
，n]，表示以...

【专利技术属性】
技术研发人员：赵瑞祥，畅海峰，白晓勇，彭银银，吴宗瀚，曹佳起，安卫，陈岳，吕武，
申请(专利权)人：中船航海科技有限责任公司，
类型：发明
国别省市：