一种基于直方图均衡化先验的无监督低光增强方法技术

本发明专利技术公开了一种基于直方图均衡化先验的无监督低光增强方法，包括如下步骤：获取待增强的低光图像；将待增强的低光图像输入至预构建并训练好的无监督低光增强模型中；基于无监督低光增强模型的光照增强模块，对待增强的低光图像进行频域特征提取和级联特征学习，得到反射图像；基于无监督低光增强模型的噪声去除模块，对反射图像进行内容编码和去噪处理，得到增强后的低光图像。本发明专利技术能够有效的分解低光图像并分离噪声和内容，恢复更精细的细节，且显著提高复杂低光环境中的鲁棒性。且显著提高复杂低光环境中的鲁棒性。且显著提高复杂低光环境中的鲁棒性。

【技术实现步骤摘要】
一种基于直方图均衡化先验的无监督低光增强方法


[0001]本专利技术涉及一种基于直方图均衡化先验的无监督低光增强方法，属于图像处理


技术介绍

[0002]在低光条件下拍摄的图像，不仅仅给人带来了较差的美学质感，也大大降低了愉快的感官体验同时对于图像给人们传递的信息也大打折扣，而且使得计算机其他高级视觉任务，如目标检测、目标分割，目标跟踪等，难以获得高性能的体验，因为这些任务的大多数解决方案都是针对曝光条件良好的图像设计的，因此，需要一种能有效提高低光图像质量的方法。
[0003]传统的单一弱光图像增强方法包括基于直方图的方法、基于去雾的方法和基于视网膜的方法。基于直方图的方法将直方图重新分配到均匀分布，并调整Gamma曲线指数。基于去雾的方法利用反图像弱光增强和去雾之间的相似性。基于retina的方法通常将弱光图像分解为光照和反射率成分，可以重构出更好的增强结果。然而，大多数基于视网膜的方法假设在增强过程中反射率组分保持不变，不管颜色失真和丢失的细节；最近几年基于深度学习的低光增强也不断涌现出来，然而由于数据的采集困难，大多数已有的数据集都是人为将一张正常光线的图像通过拉低曝光等操作制作出低光图像，这样导致基于深度学习的有监督方法在复杂环境下表现较差，于是无监督的方法也被提出来消除对成对训练数据的依赖，然而这些方法往往表现不稳定，面对不同的复杂环境鲁棒性较差，同时生成图像受较大噪声的影响，图像的质量难以得到保证。
[0004]公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。

技术实现思路

[0005]本专利技术的目的在于克服现有技术中的不足，提供一种基于直方图均衡化先验的无监督低光增强方法，基于预构建并训练好的无监督低光增强模型的光照增强模块和噪声去除模块，能够有效的分解低光图像并分离噪声和内容，恢复更精细的细节，且显著提高复杂低光环境中的鲁棒性。
[0006]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0007]本专利技术公开了一种基于直方图均衡化先验的无监督低光增强方法，包括如下步骤：
[0008]获取待增强的低光图像；
[0009]将所述待增强的低光图像输入至预构建并训练好的无监督低光增强模型中；
[0010]基于所述无监督低光增强模型的光照增强模块，对所述待增强的低光图像进行频域特征提取和级联特征学习，得到反射图像；
[0011]基于所述无监督低光增强模型的噪声去除模块，对所述反射图像进行内容编码和
去噪处理，得到增强后的低光图像。
[0012]进一步的，所述无监督低光增强模型的训练方法包括如下步骤：
[0013]获取训练集和预构建的初始模型；
[0014]将所述训练集输入至预构建的初始模型中进行训练，得到训练好的无监督低光增强模型；
[0015]其中，所述初始模型包括初始光照增强模块和初始噪声去除模块，所述初始光照增强模块包括由初始频域特征提取单元和多个初始级联特征学习单元组成的共享权重式级联特征学习网络、以及Vgg16网络；所述初始噪声去除模块包括初始噪声生成器、初始第一内容编码器、初始第二内容编码器、初始噪声图像生成器和初始去噪图像生成器；
[0016]所述无监督低光增强模型包括光照增强模块和噪声去除模块，所述光照增强模块包括频域特征提取单元和级联特征学习单元，所述噪声去除模块包括第一内容编码器和去噪图像生成器。
[0017]进一步的，基于所述无监督低光增强模型的光照增强模块，对所述待增强的低光图像进行频域特征提取和级联特征学习，得到反射图像，包括如下步骤；
[0018]将所述待增强的低光图像输入至频域特征提取单元进行频域特征提取，输出频域特征；
[0019]将所述待增强的低光图像输入至级联特征学习单元，融合所述频域特征进行级联特征学习，得到反射图像。
[0020]进一步的，基于所述无监督低光增强模型的噪声去除模块，对所述反射图像进行内容编码和去噪处理，得到增强后的低光图像，包括如下步骤：
[0021]将所述反射图像输入至第一内容编码器进行内容编码，输出反射特征；
[0022]将所述反射特征输入至去噪图像生成器进行去噪处理，输出增强后的低光图像。
[0023]进一步的，所述训练集包括待增强的训练图像和样本图像；
[0024]将所述训练集输入至预构建的初始模型中进行训练，包括如下步骤：
[0025]对所述待增强的训练图像进行直方图均衡化操作，得到第一图像；
[0026]将所述待增强的训练图像输入至共享权重式级联特征学习网络，计算无监督损失并输出第二图像；
[0027]将所述第一图像和第二图像分别输入至Vgg16网络中，得到直方图先验损失；
[0028]根据所述样本图像和第二图像，基于初始噪声去除模块进行噪声生成和去噪处理，计算KL损失和对抗损失；
[0029]循环所述噪声生成和去噪处理的步骤，计算循环一致性损失；
[0030]其中，根据所述无监督损失和直方图先验损失，进行初始频域特征提取单元和初始级联特征学习单元的参数优化，得到无监督低光增强模型的频域特征提取单元和级联特征学习单元；
[0031]根据所述KL损失、对抗损失和循环一致性损失，进行初始第一内容编码器和初始去噪图像生成器的参数优化，得到无监督低光增强模型的第一内容编码器和去噪图像生成器。
[0032]进一步的，计算无监督损失并输出第二图像，包括：
[0033]将所述待增强的训练图像输入至初始频域特征提取单元，输出训练频域特征；
[0034]基于多个初始级联特征学习单元，对所述待增强的训练图像和训练频域特征进行共享级联学习和循环分解，计算无监督损失并输出第二图像；其中，当前的初始级联特征学习单元的输出结果作为下一个初始级联特征学习单元的输入；
[0035]所述初始级联特征学习单元的输出结果的表达式如下：
[0036]y
t
＝cycconv(u),if t＝1,u＝x,else u＝y
t
‑1[0037]其中，y
t
表示第t个初始级联特征学习单元的输出结果；y
t
‑1表示第t
‑
1个初始级联特征学习单元的输出结果；x表示待增强的训练图像；u表示变量；cycconv(
·
)表示共享权重式级联特征学习网络函数；
[0038]所述无监督损失的表达式为：
[0039]R＝y
t
[；；0:3]；
[0040]L＝y
t
[；；3]；
[0041][0042][0043][0044]其中，R表示反射图；L表示光照图；表示重建损失；表示光照平滑损失；表示初始光照模块总损失；表示梯度；ε表示最小正常数。
[0045]进一步的，将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于直方图均衡化先验的无监督低光增强方法，其特征是，包括如下步骤：获取待增强的低光图像；将所述待增强的低光图像输入至预构建并训练好的无监督低光增强模型中；基于所述无监督低光增强模型的光照增强模块，对所述待增强的低光图像进行频域特征提取和级联特征学习，得到反射图像；基于所述无监督低光增强模型的噪声去除模块，对所述反射图像进行内容编码和去噪处理，得到增强后的低光图像。2.根据权利要求1所述的基于直方图均衡化先验的无监督低光增强方法，其特征是，所述无监督低光增强模型的训练方法包括如下步骤：获取训练集和预构建的初始模型；将所述训练集输入至预构建的初始模型中进行训练，得到训练好的无监督低光增强模型；其中，所述初始模型包括初始光照增强模块和初始噪声去除模块，所述初始光照增强模块包括由初始频域特征提取单元和多个初始级联特征学习单元组成的共享权重式级联特征学习网络、以及Vgg16网络；所述初始噪声去除模块包括初始噪声生成器、初始第一内容编码器、初始第二内容编码器、初始噪声图像生成器和初始去噪图像生成器；所述无监督低光增强模型包括光照增强模块和噪声去除模块，所述光照增强模块包括频域特征提取单元和级联特征学习单元，所述噪声去除模块包括第一内容编码器和去噪图像生成器。3.根据权利要求2所述的基于直方图均衡化先验的无监督低光增强方法，其特征是，基于所述无监督低光增强模型的光照增强模块，对所述待增强的低光图像进行频域特征提取和级联特征学习，得到反射图像，包括如下步骤；将所述待增强的低光图像输入至频域特征提取单元进行频域特征提取，输出频域特征；将所述待增强的低光图像输入至级联特征学习单元，融合所述频域特征进行级联特征学习，得到反射图像。4.根据权利要求2所述的基于直方图均衡化先验的无监督低光增强方法，其特征是，基于所述无监督低光增强模型的噪声去除模块，对所述反射图像进行内容编码和去噪处理，得到增强后的低光图像，包括如下步骤：将所述反射图像输入至第一内容编码器进行内容编码，输出反射特征；将所述反射特征输入至去噪图像生成器进行去噪处理，输出增强后的低光图像。5.根据权利要求2所述的基于直方图均衡化先验的无监督低光增强方法，其特征是，所述训练集包括待增强的训练图像和样本图像；将所述训练集输入至预构建的初始模型中进行训练，包括如下步骤：对所述待增强的训练图像进行直方图均衡化操作，得到第一图像；将所述待增强的训练图像输入至共享权重式级联特征学习网络，计算无监督损失并输出第二图像；将所述第一图像和第二图像分别输入至Vgg16网络中，得到直方图先验损失；根据所述样本图像和第二图像，基于初始噪声去除模块进行噪声生成和去噪处理，计
算KL损失和对抗损失；循环所述噪声生成和去噪处理的步骤，计算循环一致性损失；其中，根据所述无监督损失和直方图先验损失，进行初始频域特征提取单元和初始级联特征学习单元的参数优化，得到无监督低光增强模型的频域特征提取单元和级联特征学习单元；根据所述KL损失、对抗损失和循环一致性损失，进行初始第一内容编码器和初始去噪图像生成器的参数优化，得到无监督低光增强模型的第一内容编码器和去噪图像生成器。6.根据权利要求5所述的基于直方图均衡化先验的无监督低光增强方法，其特征是，计算无监督损失并输出第二图像，包括：将所述待增强的训练图像输入至初始频域特征提取单元，输出训练频域特征；基于多个初始级联特征学习单元，对所述待增强的训练图像和训练频域特征进行共享...

【专利技术属性】
技术研发人员：张开华，孙子正，丁鑫兰，王玉琛，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：