一种用于低光照图像增强的非监督学习方法和系统技术方案

本发明专利技术公开了一种用于低光照图像增强的非监督学习方法和系统，属于低光照图像增强领域。针对监督数据数量少且获取困难的问题，本发明专利技术首先构建非配对样本的训练集，其次考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器，将训练集中的低光照图像输入生成器中，得到增强后的图像输入辨别器中，对输入图像的真伪进行辨别；通过最小化损失函数更新优化网络参数，得到训练完成的模型；最后使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。该方法能够通过基于输入图像的亮度和语义分割信息来正则化不成对的训练，减少由于缺少监督信息导致的模型效果差的问题，本发明专利技术还能解决图像增强后的过曝和颜色分布不均匀问题。

【技术实现步骤摘要】
一种用于低光照图像增强的非监督学习方法和系统
本专利技术属于低光照图像增强领域，涉及一种用于低光照图像增强的非监督学习方法和系统，能够广泛适用于各种需要提高图像或视频的亮度以提高能见度的低光照场景。
技术介绍
随着摄影技术的发展，图像质量在分辨率和清晰度方面都有很大提高。然而，由于不可避免的环境或技术限制，在非均匀照明环境下拍摄的图像依然会受到低光照条件的影响，造成低可见度。而低光照环境下的图像是很多场景中重要的分析数据，因此夜间监控视频/图像的增强处理是充分实现视频监控系统效力最大化的关键，也是在夜间应用基于计算机视觉算法的智能系统的前提。目前，低光照图像增强方法主要分为三类：直方图均衡化方法、基于retinex理论方法，基于学习的方法。直方图均衡化方法是通过对图像进行非线性拉伸，重新分布图像的像素值来实现亮度增强。该方法运算快速且稳定。但是该方法及后续的以专利《基于改进的直方图均衡化低照度图像增强算法》（CN2016109766744）为代表的改进方法中存在色彩恢复不佳、曝光过度等问题。基于Retinex理论的方法是假设低光照图像可以分解为照度图像和反射图像两部分，通过估计照度图像以达到提高亮度的目的。现有的单尺度（SSR）和多尺度（MSR）retinex算法以及改进方法虽然能够有效提升亮度，但照度图像估计模型往往是根据经验建立的，需要复杂的参数调整，增强结果往往存在颜色偏差问题。基于学习的方法是从大量图像中学习低光照图像到正常光图像的映射以实现图像增强。目前，大部分基于学习的算法是有监督的，然而监督数据集制作困难，并且监督学习训练过程存在如何选择最优参考图像和如何保证模型不过度依赖监督训练集的两大问题，这导致该方法泛化能力差。非监督学习能够从不成对的训练数据中学习低光照图像到正常光图像的映射，是最具前景的方法之一。基于非监督学习的方法在不依赖于精准匹配的监督数据集的情况下进行训练，避免了监督数据集带来的弊端，可以更好地推广到各种真实世界的场景。但是该方法因为缺少监督信息，而对算法建模提出更高的要求。在现有方法中，《EnlightenGANDeepLightEnhancementwithoutPairedSupervision》设计的Enlightengan方法提出了一种高效无监督的生成对抗网络，该方法利用生成对抗网络学习从一组低光照图像到一组正常光图像（非成对数据）的映射。该方法可以非常容易地应用于各种真实世界的场景，并且增强的图像亮度明显提升。然而，该方法由于缺少对图像中相邻区域相关性的考虑，在结果中存在颜色分布不均匀和噪声过多问题。另外，该方法在某些光照不均匀的情况下存在过度曝光问题。《Zero-ReferenceDeepCurveEstimationforLow-LightImageEnhancement》设计的Zero-DCE方法在训练期间只需要低光照图像，并通过一组精心制定的非参考损失函数实现低光照图像增强。该方法运算速度快，但是该方法损失函数设计的假设过强，增强结果中很容易出现颜色恢复不佳和曝光不足问题。
技术实现思路
本专利技术提出了一种用于低光照图像增强的非监督学习方法和系统，本专利技术的技术方案如下：本专利技术首先提供了一种用于低光照图像增强的非监督学习方法，其包括如下步骤：1）构建非配对样本的训练集，训练集包括低光照图像和正常光照图像两部分；2）考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器；所述生成器包括下采样环节和上采样环节，下采样环节包括N个下采样阶段，上采样环节包括与各上采样阶段对应的N个上采样阶段；第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段；在每个下采样阶段，采用两个卷积层对特征进行提取，提取的特征图一路经空间特征转换模块进行空间特征转换，然后采用最大池化层对空间特征转换后的特征图进行下采样，并输出至后续阶段；提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，然后将其与上采样环节前一阶段的高层特征连接，作为对应的上采样阶段的输入；在每个上采样阶段，首先通过两个卷积层对输入特征进行提取，然后经空间特征转换模块进行空间特征转换，再对转换后的特征图进行上采样，并输出至下一阶段；上采样环节之后，经过全卷积模块输出残差图像，将残差图像与注意力图逐像素点乘，并通过跳层连接与输入图像相加，得到最终的增强结果；3）将训练集中的低光照图像输入生成器中，得到增强后的图像，将增强后的图像与训练集中正常光照图像输入辨别器中，对输入图像的真伪进行辨别；然后通过最小化损失函数更新优化生成对抗网络参数，得到训练完成的生成对抗网络；4）使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。进一步的，所述空间特征转换模利用提前获取的低光照图像的语义分割概率图，经过条件转换模块生成条件特征图，将条件特征图经过两个独立的调制模块，生成一对适应输入特征图尺寸的调制参数a和b；在空间特征转换时，空间特征转换模块以调制参数a和b作为空间特征转换条件，将参数a与空间特征转换模块的输入特征相乘后与b相加，得到最终的空间特征调制模块的输出。进一步的，所述的条件转换模块是一个包含5个卷积层的全卷积网络，条件转换模块生成32通道的条件特征图；所述的两个独立的调制模块的结构相同，都包含一个后接LeakyReLU的卷积层和一个全卷积层。进一步的，所述的可学习的亮度自正则注意力图如下式所示；其中V代表输入图像的灰度图，通过将输入的RGB三通道图像转化为一通道的灰度图，然后将其标准化为[0，1]获得，α代表控制注意力图曲率的参数。参数α是可学习参数，在训练开始阶段将参数α初始化为1，并将其requires_grad属性设置为True，连同网络模型一起训练并保存参数值，以实现自动学习网络最优亮度注意力图。在模型训练阶段，随着网络模型参数的变化，优化参数α，形成对亮度信息的非线性变换，获得更符合低光照图像增强问题的注意力图，减少过度曝光的风险。进一步的，步骤2）中，所述提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，具体为：可学习的亮度自正则注意力图利用最大池化缩放到目标尺寸，再和生成器指定隐藏层输出的特征图相乘。在本专利技术的优选方案中，所述的判别器包括全局判别器和局部判别器；全局判别器是由7个卷积层组成的全卷积网络，以生成器输出的增强图像和正常光照图像的整幅图像作为输入，输出通道数为1的判别结果，用于从全局角度判断输入图像来自于正常光照图像还是生成器增强结果；局部判别器由6个卷积层组成的全卷积网络，以生成器输出的增强图像和正常光照图像的局部图像块作为输入，输出通道数为1的判别结果，用于从局部角度判断输入图像来自于正常光照图还是生成器增强结果。本专利技术还公开了一种用于低光照图像增强的非监督学习系统，该系统包括存储单元和处理单元，所述存储单元中存储可在所述处理单元上运行的计算机程序；所述处理单元执行所述计算机程序时实现上述任一项所本文档来自技高网...

【技术保护点】
1.一种用于低光照图像增强的非监督学习方法，其特征在于包括如下步骤：/n1）构建非配对样本的训练集，训练集包括低光照图像和正常光照图像两部分；/n2）考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器；/n所述生成器包括下采样环节和上采样环节，下采样环节包括N个下采样阶段，上采样环节包括与各上采样阶段对应的N个上采样阶段；第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段；/n在每个下采样阶段，采用两个卷积层对特征进行提取，提取的特征图一路经空间特征转换模块进行空间特征转换，然后采用最大池化层对空间特征转换后的特征图进行下采样，并输出至后续阶段；提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，然后将其与上采样环节前一阶段的高层特征连接，作为对应的上采样阶段的输入；/n在每个上采样阶段，首先通过两个卷积层对输入特征进行提取，然后经空间特征转换模块进行空间特征转换，再对转换后的特征图进行上采样，并输出至下一阶段；/n上采样环节之后，经过全卷积模块输出残差图像，将残差图像与注意力图逐像素点乘，并通过跳层连接与输入图像相加，得到最终的增强结果；/n3）将训练集中的低光照图像输入生成器中，得到增强后的图像，将增强后的图像与训练集中正常光照图像输入辨别器中，对输入图像的真伪进行辨别；然后通过最小化损失函数更新优化生成对抗网络参数，得到训练完成的生成对抗网络；/n4）使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。/n...

【技术特征摘要】
1.一种用于低光照图像增强的非监督学习方法，其特征在于包括如下步骤：
1）构建非配对样本的训练集，训练集包括低光照图像和正常光照图像两部分；
2）考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器；
所述生成器包括下采样环节和上采样环节，下采样环节包括N个下采样阶段，上采样环节包括与各上采样阶段对应的N个上采样阶段；第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段；
在每个下采样阶段，采用两个卷积层对特征进行提取，提取的特征图一路经空间特征转换模块进行空间特征转换，然后采用最大池化层对空间特征转换后的特征图进行下采样，并输出至后续阶段；提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，然后将其与上采样环节前一阶段的高层特征连接，作为对应的上采样阶段的输入；
在每个上采样阶段，首先通过两个卷积层对输入特征进行提取，然后经空间特征转换模块进行空间特征转换，再对转换后的特征图进行上采样，并输出至下一阶段；
上采样环节之后，经过全卷积模块输出残差图像，将残差图像与注意力图逐像素点乘，并通过跳层连接与输入图像相加，得到最终的增强结果；
3）将训练集中的低光照图像输入生成器中，得到增强后的图像，将增强后的图像与训练集中正常光照图像输入辨别器中，对输入图像的真伪进行辨别；然后通过最小化损失函数更新优化生成对抗网络参数，得到训练完成的生成对抗网络；
4）使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。


2.根据权利要求1所述的用于低光照图像增强的非监督学习方法，其特征在于，所述空间特征转换模利用提前获取的低光照图像的语义分割概率图，经过条件转换模块生成条件特征图，将条件特征图经过两个独立的调制模块，生成一对适应输入特征图尺寸的调制参数a和b；
在空间特征转换时，空间特征转换模块以调制参数a和b作为空间特征转换条件，将参数a与空间特征转换模块的输入特征相乘后与b相加，得到最终的空间特征调制模块的输出。


3.根据权利要求2所述的用于低光照图像增强的非监督学习方法，其特征在于，所述的条件转换模块是一个包含5个卷积层的全卷积网络，条件转换模块生成32通道的条件特征图；
所述的两个独立的调制模块的结构相同，都包含一个后接LeakyReLU的卷积层和一个全卷积层。


4.根据权利要求1所述的用于低光照图像增强的非监督学习方法，其特征在于，所述的可学习的亮度自正则注意力图如下式所示；



其中V代表输入图像的灰度图，通过将输入的RGB三通道图像转化为一通道的灰度图，然后将其标准化为[0，1]获得，α代表控制注意力图曲率的参数；参数α是可学习参数，在训练开始阶段将参数α初始化为1，并将其requires_grad属性设置为True，连同生成对抗网络模型一起训练并保存参数值，以实现自动学习网络最优亮度注意...

【专利技术属性】
技术研发人员：罗喜伶，王雪檬，潘洋洋，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：浙江;33