基于有监督学习的快速轻量化低照度图像增强方法及系统技术方案

基于有监督学习的快速轻量化低照度图像增强方法及系统，属于数字图像处理技术领域。为解决现有的基于有监督学习的低照度图像增强方法存在处理速度慢、依赖参数量大的问题。本发明专利技术首先提取低照度图像的V通道图像I

【技术实现步骤摘要】
基于有监督学习的快速轻量化低照度图像增强方法及系统


[0001]本专利技术属于数字图像处理
，具体涉及一种低照度图像的增强方法及系统。

技术介绍

[0002]图像是人类获取信息的重要来源之一，然而在环境光线不足或设备采集性能受限时，所获取的图像往往是低照度图像，这类图像存在亮度低、对比度低、噪声高、颜色偏差大等问题，严重影响我们从中获取有用信息。目前常用的低照度图像增强方法可以分为传统图像增强方法和基于深度学习的方法两大类：
[0003]传统图像增强方法主要包括直方图均衡化、gamma校正、基于去雾或Retinex模型的方法，以及其它基于这些方法的改进方法等。虽然这些方法可以显著提高图像的亮度和对比度，但后续单独的去噪步骤或基于变分的联合迭代去噪过程相当耗时，因此不适合实时的低照度图像增强应用。
[0004]基于深度学习的图像增强方法可分为基于无监督学习和基于有监督学习两大类。通常，基于无监督学习的方法具备更快的处理速度，在各种环境中鲁棒性更强，但此类方法通常缺乏相应色彩校正和去噪方法，在处理后续高精度要求的任务时限制较大。相比之下，基于有监督学习的方法一般可以解决低照度图像存在的各类退化问题，显著提高图像质量，但该类方法大多需要复杂的网络结构，依赖参数量大，处理速度较慢。
[0005]此外，针对图像存在的亮度不合适、对比度差、颜色偏差等问题，还可以采用一种类似于图像增强方法的图像修饰方法。该方法可以通过基本的修图操作在单个像素上工作，因此非常快速和轻量化。但这类方法大多数没有考虑噪声问题。
[0006]综上所述，现有的低照度图像增强方法，主要存在以下问题：一、传统低照度图像增强方法，处理过程耗时太长，无法适应低照度图像实时增强的需求；二、现有的基于无监督学习的低照度图像增强方法无法同时解决对比度低、亮度不佳、颜色失真、噪声严重等问题；三、现有的基于有监督学习的低照度图像增强方法普遍网络结构复杂，依赖参数量大，处理速度较慢；四、图像修饰方法是轻量化方法且处理非常快速，但大多无法处理噪声问题。总之，截止目前，快速、轻量化且有效解决低照度图像的对比度低、亮度不佳、颜色失真、噪声严重等问题仍是该领域的一项重大挑战。

技术实现思路

[0007]本专利技术为解决现有的基于有监督学习的低照度图像增强方法存在处理速度慢、依赖参数量大的问题，以及难以有效地解决低照度图像存在的对比度低、亮度不佳、颜色失真、噪声严重的问题。
[0008]一种基于有监督学习的快速轻量化低照度图像增强方法，包括以下步骤：
[0009]将待增强低照度图像I输入图像增强网络，利用图像增强网络对低照度图像进行增强处理，获得最终增强图像E；待增强低照度图像I为M*N*3的矩阵，M为行数，N为列数，3为
图像I的三个RGB颜色通道{R,G,B}；
[0010]利用图像增强网络对低照度图像进行增强处理的过程包括以下步骤：
[0011]步骤111、提取低照度图像I在HSV颜色空间的V通道图像I
V
；
[0012]步骤112、获取V通道图像I
V
的直方图信息，将直方图信息与预期的平均亮度值μ拼接后输入到网络的全局特征提取模块中，全局特征提取模块通过多层感知机提取全局信息：
[0013]{α
0，1
…
t
}G(H(I
V
)，μ)
[0014]其中，α0、α1、
……
、α
t
为多层感知机的输出中的元素，μ为平均亮度值，用来控制图像增强程度；H(I
V
)表示获取图像I
V
直方图的操作；G(
·
)表示全局特征提取模块处理过程；
[0015]将多层感知机的输出中的元素表示为高阶曲线系数；
[0016]步骤113、对输入的低照度图像V通道图像进行高阶曲线调整，得到全局亮度调整方案，最终输出I
V
的全局亮度调整图像I
V
′
：
[0017][0018]其中，k表示迭代次数，例如：表示输入的低照度图像V通道图像I
V
，当k＝7时，α
k
‑1∈{α
0,1
…
t
}；
[0019]待增强低照度图像同时输入局部增强网络模块进行处理；局部增强网络模块包括三个卷积单元，即第一卷积单元至第三卷积单元，每个卷积单元包含有多个卷积层；
[0020]局部增强网络模块首先将输入与输入对应的V通道进行拼接操作后输入第一卷积单元，第一卷积单元的输出与全局亮度调整图像I
V
′
进行拼接操作后输入第二卷积单元，第二卷积单元中的第一个卷积层的输出与第二卷积单元最终的输出进行拼接操作后输入第三卷积单元，第三卷积单元连接输出层，输出层的输出为增强图像。
[0021]进一步地，第一卷积单元至第三卷积单元均包括两个卷积层。
[0022]进一步地，第一卷积单元至第三卷积单元中的卷积层均为3*3的卷积层。
[0023]进一步地，所述的图像增强网络的训练过程包括以下步骤：
[0024]将采集的低照度图像和对应的正常照度图像作为图像对，构建训练数据集,其中低照度图像作为输入，相应的正常照度图像作为参考图像；
[0025]利用训练数据集对图像增强网络进行训练，具体训练过程包括以下步骤：
[0026]将图像对中的低照度图像、正常照度图像以相同的方式进行裁剪切块，切块后的图像块大小为M
′
、N
′
；使用随机裁剪的低照度图像块进行训练，实际训练中输入为M
′
*N
′
*3*n，n为每次训练中输入的图像块数量；
[0027]在将图像块输入到图像增强网络之前，针对每张低照度图像分别获得各自对应的V通道图像，获取V通道图像的直方图信息；同时将低照度图像对应的正常照度图像的平均亮度值作为预期的平均亮度值μ；通过多层感知机提取全局信息；将多层感知机的输出中的元素表示为高阶曲线系数；
[0028]由于训练过程一次输入的是多个图像块，针对每个图像块，提取V通道图像I
V
，然后用当前图像块所对应的整张图像的高阶曲线系数进行调整，得到全局亮度调整图像I
V
′
；
[0029]基于训练数据集中的图像块实现图像增强网络的训练，得到训练好的图像增强网络。进一步地，所述的图像增强网络在训练过程的损失函数如下：
[0030]L
ALL
＝L1+L
SSIM
+L
color
+L
brightness
+L
structure
[0031]其中，第一项L1表示平均绝对值误差，第二项L
SSIM
为增强图像和参考图像之间的SSIM损失，第三项L
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有监督学习的快速轻量化低照度图像增强方法，其特征在于，包括以下步骤：将待增强低照度图像I输入图像增强网络，利用图像增强网络对低照度图像进行增强处理，获得最终增强图像E；待增强低照度图像I为M*N*3的矩阵，M为行数，N为列数，3为图像I的三个RGB颜色通道{R,G,B}；利用图像增强网络对低照度图像进行增强处理的过程包括以下步骤：步骤111、提取低照度图像I在HSV颜色空间的V通道图像I
V
；步骤112、获取V通道图像I
V
的直方图信息，将直方图信息与预期的平均亮度值μ拼接后输入到网络的全局特征提取模块中，全局特征提取模块通过多层感知机提取全局信息：{α
0，1
…
t
}G(H(I
V
)，μ)其中，α0、α1、
……
、α
t
为多层感知机的输出中的元素，μ为平均亮度值，用来控制图像增强程度；H(I
V
)表示获取图像I
V
直方图的操作；G(
·
)表示全局特征提取模块处理过程；将多层感知机的输出中的元素表示为高阶曲线系数；步骤113、对输入的低照度图像V通道图像进行高阶曲线调整，得到全局亮度调整方案，最终输出I
V
的全局亮度调整图像I
V
′
：其中，k表示迭代次数，例如：表示输入的低照度图像V通道图像I
V
，当k＝7时，α
k
‑1∈{α
0,1
…
t
}；待增强低照度图像同时输入局部增强网络模块进行处理；局部增强网络模块包括三个卷积单元，即第一卷积单元至第三卷积单元，每个卷积单元包含有多个卷积层；局部增强网络模块首先将输入与输入对应的V通道进行拼接操作后输入第一卷积单元，第一卷积单元的输出与全局亮度调整图像I
V
′
进行拼接操作后输入第二卷积单元，第二卷积单元中的第一个卷积层的输出与第二卷积单元最终的输出进行拼接操作后输入第三卷积单元，第三卷积单元连接输出层，输出层的输出为增强图像。2.根据权利要求1所述的一种基于有监督学习的快速轻量化低照度图像增强方法，其特征在于，第一卷积单元至第三卷积单元均包括两个卷积层。3.根据权利要求2所述的一种基于有监督学习的快速轻量化低照度图像增强方法，其特征在于，第一卷积单元至第三卷积单元中的卷积层均为3*3的卷积层。4.根据权利要求1、2或3所述的一种基于有监督学习的快速轻量化低照度图像增强方法，其特征在于，所述的图像增强网络的训练过程包括以下步骤：将采集的低照度图像和对应的正常照度图像作为图像对，构建训练数据集,其中低照度图像作为输入，相应的正常照度图像作为参考图像；利用训练数据集对图像增强网络进行训练，具体训练过程包括以下步骤：将图像对中的低照度图像、正常照度图像以相同的方式进行裁剪切块，切块后的图像块大小为M
′
、N
′
；使用随机裁剪的低照度图像块进行训练，实际训练中输入为M
′
*N
′
*3*n，n为每次训练中输入的图像块数量；在将图像块输入到图像增强网络之前，针对每张低照度图像分别获得各自对应的V通道图像，获取V通道图像的直方图信息；同时将低照度图像对应的正常照度图像的平均亮度
值作为预期的平均亮度值μ；通过多层感知机提取全局信息；将多层感知机的输出中的元素表示为高阶曲线系数；由于训练过程一次输入的是多个图像块，针对每个图像块，提取V通道图像I
V
，然后用当前图像块所对应的整张图像的高阶曲线系数进行调整，得到全局亮度调整图像I
V
′
；基于训练数据集中的图像块实现图像增强网络的训练，得到训练好的图像增强网络。5.根据权利要求4所述的一种基于有监督学习的快速轻量化低照度图像增强方法，其特征在于，所述的图像增强网络在训练过程的损失函数如下：L
ALL
＝L1+L
SSIM
+L
color
+L
brightness
+L
structure
其中，第一项L1表示平均绝对值误差，第二项L
SSIM
为增强...

【专利技术属性】
技术研发人员：成行，张雨，杨国辉，王越，王玉，漆保凌，王春晖，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：