一种结合注意力机制和Retinex模型的低光图像增强方法技术

本发明专利技术公开了一种结合注意力机制和Retinex模型的低光图像增强方法，涉及低光图像技术领域。本发明专利技术提出信息提取网络，它可以学习获取图像的反射率、照度和注意力图。首先，我们使用Attention

【技术实现步骤摘要】
一种结合注意力机制和Retinex模型的低光图像增强方法


[0001]本专利技术属于低光图像
，特别是涉及一种结合注意力机制和Retinex模型的低光图像增强方法。

技术介绍

[0002]低光图像增强一直是学术界研究的热门课题，因为这些图像不仅能见度低，无法满足人们理想的视觉效果和需求，而且对图像分割、目标检测和跟踪等传统计算机视觉任务也带来了很大的挑战。早期的研究采用频域方法来增强图像，通过对小波系数的增强，可以有效地突出图像细节，但同时也会放大隐藏在图像中的噪声，且该类算法需要大量计算，变换参数的选取无法做到自动选择；图像融合方法通过图像处理和计算机视觉技术，在不需要物理模型的情况下，从采集到的同一目标的不同图像中提取有用信息，合成高质量图像，它们的增强效果良好，但当面临实时监控需求场景时，很难在短时间内实现增强；去雾模型具有良好的性能，也能在一定程度上增强图像的可见度，但它们缺乏基本模型的物理解释，且需要一些额外的降噪处理来消除噪声，这将不可避免导致细节模糊；基于传统Retinex模型的方法不仅在提高图像的对比度和亮度方面取得了良好的效果，而且在彩色图像增强方面也有明显的优势，但这类算法仅在手工约束的条件下构建，不足以适应各种自然图像的复杂信号特征。
[0003]近年来，深度学习在底层图像处理领域取得了巨大的成功，为底层图像处理任务带来巨大变化的同时，也为低光图像增强的性能带来了显著的提升。Lore等人创建了一个深度自动编码器来增强低光图像，以实现自适应亮度调整和去噪；Chen等人引入了Raw格式的短曝光低光图像数据集SID，并提出一种基于完全卷积网络的方法来处理这些图像；Wei等人构建了一个包含低光图像和正常光图像的成对数据集，并提出了一个名为Retinex
‑
Net的深度网络；Zhang等人建立了一个简单而有效的点燃黑暗(KinD)的网络，该网络由层分解、反射率恢复和光照调节三个子网组成，并利用成对的数据集进行测试；Lv等人提出了一种新的基于多分支卷积神经网络的端到端注意力引导方法，该方法同时学习两个注意力图来分别指导亮度增强和去噪任务，可以同时实现低光增强和去噪；Xu等人提出了一种基于频率的分解和增强模型，该模型首先利用注意力上下文编码模块来恢复低频层图像内容并去噪，然后利用恢复的图像增强高频细节；Fan等人整合了Retinex分解和语义信息感知的思想，将语义信息引入Retinex模型中，指导两个组件的增强；Jiang等人应用非配对学习来测试低光增强模型，该模型摆脱了成对数据集的构造，解决了测试数据集与实际测试应用之间的域转移问题，但是在使用时容易导致图像的部分区域产生曝光不足和失真。

技术实现思路

[0004]本专利技术的目的在于提供一种结合注意力机制和Retinex模型的低光图像增强方法，以解决了现有的问题：现有的图像增强技术在进行使用时容易导致图像的部分区域产生曝光不足和失真。
[0005]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0006]本专利技术为一种结合注意力机制和Retinex模型的低光图像增强方法，包括以下步骤：
[0007]建立信息提取网络、反射率恢复网络和光照调节网络；
[0008]建立三个子网分别对f
decom
(
·
)，f
restore
(
·
)和f
adjust
(
·
)进行建模；
[0009]通过Decomposition
‑
Net将成对的低光图像和正常光图像分解为反射率R
low
/R
high
和光照I
low
/I
high
。
[0010]进一步的，所述信息提取网络包括：
[0011]图像分解网络：用于从图像中同时提取反射率和光照；
[0012]注意力网络：通过Attention
‑
Net来提取图像的注意力图A
map
，A
map
来检测曝光不足的程度，并在Restore
‑
Net阶段用其引导反射率恢复网络。
[0013]进一步的，其中，所述图像分解网络包括用于约束的损失函数；
[0014]所述损失函数由反射率相似性损失、光照平滑度损失、相互一致性损失、重建损失组成
[0015]进一步的，所述反射率相似性损失的计算公式为：
[0016]L
rs
＝||R
low
‑
R
high
||2[0017]其中，L
rs
表示反射率相似性，||
·
||2表示2范数
[0018]所述光照平滑度损失的计算公式为：
[0019][0020]其中，L
is
表示光照平滑度，表示一阶导数算子(包括x方向和y方向的一阶导数)，||
·
||1表示1范数，|
·
|表示绝对值算子；
[0021]所述相互一致性损失的计算公式为：
[0022][0023][0024]其中，L
mc
表示相互一致性，c为参数
[0025]所述重建损失的计算公式为：
[0026][0027]Decomposition
‑
Net将输入图像分解成反射率和光照，对这两部分分量进行重建时也应该得到输入图像，我们用L
rec
进行表示；
[0028]因此，图像分解网络的总损失函数表示为：
[0029]L
decom
＝L
rec
+λ
rs
L
rs
+λ
is
L
is
+λ
mc
L
mc
[0030]其中，λ
rs
，λ
is
，λ
mc
分别是反射率相似性损失、光照平滑度损失、相互一致性损失的权重系数。
[0031]进一步的，所述反射率恢复网络包括：
[0032]Residual in Residual(RIR)模块，RIR模块利用深度残差为反射率恢复网络提供了强大的像素调整能力，可以有效地抑制噪声和进行色彩校正；
[0033]Attention Residual in Residual(ARIR)模块，该模块首先利用两个两层卷积从
A
map
中提取特征F1和F2，然后利用几个卷积层通过RIR模块从R
low
中提取特征F3，最后通过F3先乘以F2再加上F1的方式对F1、F2、F3这三个特征进行融合，融合后再通过卷积操作得到ARIR模块的输出；
[0034]损失函数可以表示为如下：
[0035][0036]其中λ
i
为权重系数，MS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合注意力机制和Retinex模型的低光图像增强方法，其特征在于：包括以下步骤：建立信息提取网络、反射率恢复网络和光照调节网络；建立三个子网分别对f
decom
(
·
)，f
restore
(
·
)和f
adjust
(
·
)进行建模；通过Decomposition
‑
Net将成对的低光图像和正常光图像分解为反射率R
low
/R
high
和光照I
low
/I
high
。2.根据权利要求1所述的一种结合注意力机制和Retinex模型的低光图像增强方法，其特征在于，其中，所述信息提取网络包括：图像分解网络：用于从图像中同时提取反射率和光照；注意力网络：通过Attention
‑
Net来提取图像的注意力图A
map
，A
map
来检测曝光不足的程度，并在Restore
‑
Net阶段用其引导反射率恢复网络。3.根据权利要求2所述的一种结合注意力机制和Retinex模型的低光图像增强方法，其特征在于，其中，所述图像分解网络包括用于约束的损失函数；所述损失函数由反射率相似性损失、光照平滑度损失、相互一致性损失、重建损失组成。4.根据权利要求3所述的一种结合注意力机制和Retinex模型的低光图像增强方法，其特征在于，所述反射率相似性损失的计算公式为：L
rs
＝||R
low
‑
R
high
||2其中，L
rs
表示反射率相似性，||
·
||2表示2范数所述光照平滑度损失的计算公式为：其中，L
is
表示光照平滑度，表示一阶导数算子(包括x方向和y方向的一阶导数)，||
·
||1表示1范数，|...

【专利技术属性】
技术研发人员：王勇，陈进，韩瑜娟，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：