基于背景建模和细节增强的低照度图像增强方法技术

本发明专利技术涉及基于背景建模和细节增强的低照度图像增强方法，包括步骤：获取若干张低照度图像和配对的正常光照图像，并进行预处理，得到训练数据集；构建图像增强网络模型，并使用目标损失函数对图像增强网络模型进行约束；使用训练数据集对所述图像增强网络模型进行训练，直到误差收敛到预设值，得到训练好的图像增强网络模型。本发明专利技术的图像增强网络模型能对低照度图像进行背景建模，以及细节恢复，并设计全局特征融合增强模块实现全局信息融合和自适应增强。能对低照度条件下捕获的图像进行增强，解决低照度图像低对比度、色彩失真、噪声放大、细节丢失等问题。细节丢失等问题。细节丢失等问题。

【技术实现步骤摘要】
基于背景建模和细节增强的低照度图像增强方法


[0001]本专利技术涉及人工智能及计算机视觉
，特别涉及一种基于背景建模和细节增强的低照度图像增强方法。

技术介绍

[0002]图像是人们表达和传递信息的重要形式之一，随着成像设备以及机器视觉技术的发展，人们已经可以采集到非常高质量的图像或视频。然而，不充分的光照会导致所捕获的图像出现低对比度、色彩失真、噪声放大、细节丢失等问题，降低图像质量，严重制约着下游任务的性能，因此低照度图像增强成为计算机视觉领域的一大研究热点。
[0003]低照度图像增强技术有着广泛的应用场景，该技术可以提高夜间拍摄的图像质量，使得夜景照片变得更加清晰明亮。在很多场合下，人们往往需要在夜晚进行拍照，如夜景、人物、动物等，但由于光线不足，拍摄出来的照片往往暗淡模糊。而低照度图像增强技术可以通过对图像进行处理，增强图像的亮度、对比度和清晰度，从而使得夜景照片变得更加生动真实。
[0004]早起方法主要基于直方图均衡化和Retinex理论，直方图均衡化是一种经典的图像增强技术，通过把低照度图像的像素分布直方图变换为均匀分布的方式来提升低照度图像对比图。但方法的主要缺点是很少考虑真实的照明因素，增强的结果在主观视觉上与真实场景不一致，存在颜色失真和局部过曝光的现象；Retinex模型的理论基础是三色理论和颜色恒常性，基于Retinex模型可以将人眼感知到的图像S分解为反射分量R和光照分量L，即S=R
×
L，所以基于Retinex理论的图像增强方法本质上是图像分解与光照估计问题。虽然基于Retinex理论的传统低照度图像增强方法能够在一定程度上提升图像整体亮度，但是增强后的低照度图像往往伴随着噪声放大、亮度不均衡等问题，增强效果不理想。
[0005]随着深度学习算法的快速发展，许多学者尝试使用神经网络来解决低照度图像增强这一问题，基于深度学习的低光照图像增强算法已经成为当前低照度图像增强的主流技术。然而，现有基于深度学习的图像增强方法没有考虑背景建模和细节恢复的相关性，导致增强后的图片出现颜色失真或者细节恢复不到位等问题。

技术实现思路

[0006]本专利技术的目的在于聚合背景建模和细节增强，提供一种基于背景建模和细节增强的低照度图像增强方法，有利于显著提高低照度图像增强的性能。
[0007]为了实现上述专利技术目的，本专利技术实施例提供了以下技术方案：
[0008]基于背景建模和细节增强的低照度图像增强方法，包括以下步骤：
[0009]步骤1，获取若干张低照度图像和配对的正常光照图像，并进行预处理，得到训练数据集；
[0010]步骤2，构建图像增强网络模型，并使用目标损失函数对图像增强网络模型进行约束；
[0011]步骤3，使用训练数据集对所述图像增强网络模型进行训练，直到误差收敛到预设值，得到训练好的图像增强网络模型；
[0012]步骤4，将低照度条件下捕获的图像输入训练好的图像增强网络模型，得到正常光照的图像。
[0013]所述步骤1具体包括以下步骤：
[0014]获取若干张低照度图像和配对的正常光照图像，并对每张低照度图像添加标签；
[0015]将每张尺寸为H
×
W
×
3的低照度图像随机裁切为M
×
M
×
3大小的图像，并对其对应的正常光照图像采用相同的随机裁切方式，其中，H、W是低照度图像和正常光照图像的高度、宽度，M是裁切后图像的高度、宽度；
[0016]对裁切后的图像采用随机反转、随机旋转、随机裁剪的方式进行数据增强，得到训练数据集。
[0017]所述步骤2中，构建的图像增强网络模型包括多个不同尺度的背景建模与细节恢复模块、一个全局特征融合增强模块；
[0018]向第一个背景建模与细节恢复模块输入低照度图像I，再经过其他不同尺度的背景建模与细节恢复模块的下采样、上采样、通道融合操作后，得到特征图，i=1,2,3,4；
[0019]向全局特征融合增强模块输入特征图，得到特征图F
out
；
[0020]将特征图F
out
与低照度图像I相加，得到增强图像I
out
。
[0021]每个所述背景建模与细节恢复模块的结构相同，包括位置编码子模块、卷积子模块、基于self
‑
attention的自注意力子模块、前馈神经网络子模块；所述位置编码子模块的输出端分别与卷积子模块、基于self
‑
attention的自注意力子模块连接，卷积子模块的输出端、基于self
‑
attention的自注意力子模块的输出端分别与前馈神经网络子模块连接。
[0022]向位置编码子模块输入低照度图像I，经过1
×
1卷积将低照度图像I的维度由H
×
W
×
3提升至H
×
W
×
C，得到特征图F
in
，然后经过一个3
×
3的深度可分离卷积进行位置编码输出特征图F
emb
：
[0023]F
in
=Conv1(I)
[0024]F
emb
=DWConv3(F
in
)
[0025]其中，Conv1是1
×
1卷积，DWConv3是3
×
3的深度可分离卷积；
[0026]向基于self
‑
attention的自注意力子模块输入特征图F
emb
，输出特征图F
attention
：
[0027]Q,K,V=Chunk(F
emb
)
[0028]Attention(Q,K,V)=V
·
Softmax(K
·
Q/α)
[0029]F
attention
=Attention(Q,K,V)
[0030]其中，Attention是自注意力操作；Chunk是按通道维度平均划分操作，Softmax是Softmax函数；Q、K、V由输入编码得到，Q是要查询的信息，K是被查询的向量，V是查询得到的值；α是采样因子；
[0031]向卷积子模块输入特征图F
emb
，使用3
×
3卷积恢复特征图F
emb
的图像细节特征，经过GELU激活函数输出特征图F
detail
：
[0032]F
detail
=GELU(Conv3(F
emb
))
[0033]其中，Conv3是3
×
3卷积，GELU是GELU激活函数；
[0034]所述前馈神经网络子模块将基于self
‑
atten本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于背景建模和细节增强的低照度图像增强方法，其特征在于：包括以下步骤：步骤1，获取若干张低照度图像和配对的正常光照图像，并进行预处理，得到训练数据集；步骤2，构建图像增强网络模型，并使用目标损失函数对图像增强网络模型进行约束；步骤3，使用训练数据集对所述图像增强网络模型进行训练，直到误差收敛到预设值，得到训练好的图像增强网络模型；步骤4，将低照度条件下捕获的图像输入训练好的图像增强网络模型，得到正常光照的图像。2.根据权利要求1所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：所述步骤1具体包括以下步骤：获取若干张低照度图像和配对的正常光照图像，并对每张低照度图像添加标签；将每张尺寸为H
×
W
×
3的低照度图像随机裁切为M
×
M
×
3大小的图像，并对其对应的正常光照图像采用相同的随机裁切方式，其中，H、W是低照度图像和正常光照图像的高度、宽度，M是裁切后图像的高度、宽度；对裁切后的图像采用随机反转、随机旋转、随机裁剪的方式进行数据增强，得到训练数据集。3.根据权利要求1所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：所述步骤2中，构建的图像增强网络模型包括多个不同尺度的背景建模与细节恢复模块、一个全局特征融合增强模块；向第一个背景建模与细节恢复模块输入低照度图像I，再经过其他不同尺度的背景建模与细节恢复模块的下采样、上采样、通道融合操作后，得到特征图，i=1,2,3,4；向全局特征融合增强模块输入特征图，得到特征图F
out
；将特征图F
out
与低照度图像I相加，得到增强图像I
out
。4.根据权利要求3所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：每个所述背景建模与细节恢复模块的结构相同，包括位置编码子模块、卷积子模块、基于self
‑
attention的自注意力子模块、前馈神经网络子模块；所述位置编码子模块的输出端分别与卷积子模块、基于self
‑
attention的自注意力子模块连接，卷积子模块的输出端、基于self
‑
attention的自注意力子模块的输出端分别与前馈神经网络子模块连接。5.根据权利要求4所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：向位置编码子模块输入低照度图像I，经过1
×
1卷积将低照度图像I的维度由H
×
W
×
3提升至H
×
W
×
C，得到特征图F
in
，然后经过一个3
×
3的深度可分离卷积进行位置编码输出特征图F
emb
：F
in
=Conv1(I)F
emb
=DWConv3(F
in
)其中，Conv1是1
×
1卷积，DWConv3是3
×
3的深度可分离卷积；向基于self
‑
att...

【专利技术属性】
技术研发人员：潘磊，田俊，栾五洋，郑远，傅强，张永，王艾，赵枳晴，李俊辉，王梦琪，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：