一种使用长曝光补偿的低光照图像增强方法技术

本发明专利技术公开了一种使用长曝光补偿的低光照图像增强方法。本方法为：1)收集低光照训练数据集，其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像；根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像，得到一合成数据集S；2)利用所述合成数据集S训练低光照增强模型，所述低光照增强模型包括M

【技术实现步骤摘要】
一种使用长曝光补偿的低光照图像增强方法


[0001]本专利技术属于数字图像低光照增强领域，涉及一种使用长曝光补偿的低光照图像增强方法。

技术介绍

[0002]低光照是一种常见的图像降质，光照不足通常由低光照拍摄环境、相机故障、参数设置错误等原因造成。低光照图像的增强一直受到工业界和学术界的关注。
[0003]传统的低光照图像增强方法可以分为三类。基于均匀调整图像亮度的方法，通过均匀调整整个图像的全局亮度，从而提亮低光图像。基于视网膜大脑皮层理论的方法，将图像分解为反射率层和照明层两个部分，利用先验知识手动设置约束进行调整来达到增强低光图像的目的。基于深度学习的方法，设计数据驱动的卷积模型，在大型数据集上进行端到端的训练，推理时只需要低光照图像的一次参数前传。
[0004]但是，低光照图像的增强是一个多解问题，一张低光照图像可以与多张理想的正常光图像相对应，这种优化目标的不确定性为准确而灵活的低光照图像增强造成了挑战。基于均匀调整图像亮度的方法无法解决局部过曝和信号噪声的问题，基于视网膜大脑皮层理论的方法无法满足通用化自动化的要求，基于深度学习的方法难以推广到处理各种照明条件的图像。因此，传统的低光照图像增强方法均很难推广到处理各种照明条件下的低光照图片，无法满足实际应用的需求。

技术实现思路

[0005]针对上述问题，本专利技术的目的在于提供一种使用长曝光补偿的低光照图像增强方法，通过引入容易获得的模糊长曝光图像，利用模糊长曝光图像的亮度、色彩等信息对低光照增强问题添加约束，减少低光照图像增强问题的不确定性，使得优化目标更加明确，综合地提升低光照增强性能，总框架如附图1所示。
[0006]本专利技术采用的技术方案如下：
[0007]一种使用长曝光补偿的低光照图像增强方法，其步骤包括：
[0008]1)收集低光照训练数据集，其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像；根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像，得到一合成数据集S；
[0009]2)利用所述合成数据集S训练低光照增强模型，所述低光照增强模型包括M
‑
1个特征对齐模块和M
‑
1个提亮模块；其中，对于所述合成数据集S中同一组图像内的照片长曝光图像I
long
和短曝光图像I
short
，所述低光照增强模型将长曝光图像I
long
和短曝光图像I
short
分别映射到特征空间，获得对应的短曝光特征及长曝光特征并将其输入第一特征对齐模块；
[0010]3)第i特征对齐模块对输入的第i尺度长曝光特征与第i尺度短曝光特征
进行对齐；其中，第i特征对齐模块将第i尺度短曝光特征进行卷积处理，得到一张注意力图A
i
，然后用注意力图A
i
对第i尺度长曝光特征进行软阈值滤波操作，得到其中
“⊙”
表示逐元素的乘法；然后将与共同进行降采样并传入卷积层，预测输出第i+1尺度长曝光特征以及将单独进行降采样并传入卷积层，预测输出第i+1尺度短曝光特征将第M
‑
1个特征对齐模块预测输出的第M尺度长曝光特征第M尺度短曝光特征进行拼接作为特征第M+1尺度长曝光特征第M+1尺度短曝光特征其中，i＝1～M
‑
1，
[0011]4)第i提亮模块将第M+i尺度长曝光特征第M+i尺度短曝光特征进行拼接，并对拼接特征进行上采样，然后将上采样所得特征与第M
‑
i尺度短曝光特征相连后通过卷积层得到第M+i+1尺度短曝光特征对进行上采样所得特征与第M
‑
i尺度长曝光特征相连后通过卷积层得到得到第M+i+1尺度长曝光特征以第M
‑
1提亮模块输出的第2M尺度短曝光特征作为优化目标I
normal
、第2M尺度长曝光特征作为辅助，优化所述低光照增强模型；其中，训练优化所述低光照增强模型的总损失函数为L＝L
rec
+λ
SSIM
L
SSIM
+λ
LPIPS
L
LPIPS
+λ
a
L
a
；λ
SSIM
、λ
LPIPS
和λ
a
为权重项，L
rec
为优化目标I
normal
和正常光照下真实值I
GT
间的平均绝对误差损失函数；L
SSIM
为优化目标I
normal
和正常光照下真实值I
GT
间的结构相似性损失函数；L
LPIPS
为感知图像块相似度学习损失函数；L
a
为辅助输出I
assist
和正常光照下真实值I
GT
间的平均绝对误差损失函数；
[0012]5)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型，得到对应的低光照增强图像。
[0013]进一步的，所述搭建低光照增强模型还包括细节去除模块，用于消除长曝光图像I
long
的细节特征后映射到特征空间，获得长曝光特征
[0014]进一步的，获取一实拍数据集R，所述实拍数据集R中的每一组图像包括对同一场景拍摄的三张图像，即短曝光图像、长曝光图像和真实光照图像；利用所述实拍数据集R对训练后的低光照增强模型进行评测。
[0015]进一步的，根据训练样本中的正常光照图像合成得到所述合成数据集S中的长曝光图像；所述合成数据集S中的短曝光图像为训练样本中的低光照图像，所述合成数据集S中的真实光照图像为训练样本的正常光照图像。
[0016]进一步的，利用模糊核空间模型对训练样本中的正常光照图像进行处理得到所述合成数据集S中的长曝光图像。
[0017]进一步的，L
rec
＝‖I
normal
‑
I
GT
‖；L
a
＝‖I
assist
‑
I
GT
‖。
[0018]进一步的，L
SSIM
＝1
‑
SSIM(I
normal
,I
GT
)；其中，SSIM(x,y)表示两张图像x和y的结构相似性；μ
x
是x的平均值，μ
y
是y的平均值，是x的方差，是y的方差，σ
xy
是x和y的协方差，c1、c2是用来维持稳定的常数。
[0019]进一步的，其中，φ
l
(I
normal
)表示VGG网络提取的图像I
normal
的第l层特征，H
l
和W
l
分别表示φ
...

【技术保护点】

【技术特征摘要】
1.一种使用长曝光补偿的低光照图像增强方法，其步骤包括：1)收集低光照训练数据集，其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像；根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像，得到一合成数据集S；2)利用所述合成数据集S训练低光照增强模型，所述低光照增强模型包括M
‑
1个特征对齐模块和M
‑
1个提亮模块；其中，对于所述合成数据集S中同一组图像内的照片长曝光图像I
long
和短曝光图像I
short
，所述低光照增强模型将长曝光图像I
long
和短曝光图像I
short
分别映射到特征空间，获得对应的短曝光特征及长曝光特征并将其输入第一特征对齐模块；3)第i特征对齐模块对输入的第i尺度长曝光特征与第i尺度短曝光特征进行对齐；其中，第i特征对齐模块将第i尺度短曝光特征进行卷积处理，得到一张注意力图A
i
，然后用注意力图A
i
对第i尺度长曝光特征进行软阈值滤波操作，得到其中
“⊙”
表示逐元素的乘法；然后将与共同进行降采样并传入卷积层，预测输出第i+1尺度长曝光特征以及将单独进行降采样并传入卷积层，预测输出第i+1尺度短曝光特征将第M
‑
1个特征对齐模块预测输出的第M尺度长曝光特征第M尺度短曝光特征进行拼接作为特征第M+1尺度长曝光特征第M+1尺度短曝光特征其中，i＝1～M
‑
1，4)第i提亮模块将第M+i尺度长曝光特征第M+i尺度短曝光特征进行拼接，并对拼接特征进行上采样，然后将上采样所得特征与第M
‑
i尺度短曝光特征相连后通过卷积层得到第M+i+1尺度短曝光特征对进行上采样所得特征与第M
‑
i尺度长曝光特征相连后通过卷积层得到得到第M+i+1尺度长曝光特征以第M
‑
1提亮模块输出的第2M尺度短曝光特征作为优化目标I
normal
、第2M尺度长曝光特征作为辅助，优化所述低光照增强模型；其中，训练优化所述低光照增强模型的总损失函数为L＝L
rec
+λ
SSIM
L
SSIM
+λ
LPIPS
L
LPIPS
+λ
a
L
a
；λ
SSIM
、λ
LPIPS
和λ
a
为权重项，L
rec
为优化目标I
normal
和正常光照下真实值I
GT
间的平均绝对误差损失函数；L
SSIM
为优化目标I
normal
和正常光照下真...

【专利技术属性】
技术研发人员：刘家瑛，匡浩玮，郑书泓，黄浩峰，郭宗明，
申请(专利权)人：北京大学，
类型：发明
国别省市：