基于条件生成对抗网络的低照度图像增强方法及装置制造方法及图纸

一种基于条件生成对抗网络的低照度图像增强方法及装置，针对在日常的图像采集工作中，由于场景光照条件差或者设备的补光能力不足容易产生低照度图像的问题，采用一个具备编解码功能的卷积神经网络模型(CNN)作为生成模型，同时加入具备二分类功能的CNN作为判别模型，组成生成对抗网络。在模型训练的过程中，以真实的亮图像为条件，依靠判别模型监督生成模型以及结合判别模型与生成模型间的相互博弈，使得网络模型具备更好的低照度图像增强能力。解决了处理后图像的颜色失真和边缘模糊的问题，大大提高了增强后的图像质量，同时图像处理速度快，与其他图像增强方法相比处理时间足够短，能够满足对低照度图像进行实时增强的需求。

Low illumination image enhancement method and device based on condition generation countermeasure network

【技术实现步骤摘要】
基于条件生成对抗网络的低照度图像增强方法及装置
本专利技术涉及计算机图像处理领域，特别涉及基于条件生成对抗网络的低照度图像增强方法及装置。
技术介绍
随着科技的发展，视频监控、相机、手机等工具的普及，在如今的生产生活中，人们可以更加方便的获得大量的图像。然而由于受到拍摄场景的光照条件较差或者图像采集设备功能缺乏等因素的影响，非常容易产生低照度图像。这些低照度图像整体成像偏灰暗甚至全暗、信噪比低、使用价值极低，严重影响人们的使用。所以必须采取一些方法处理低照度图像，将低照度图像的内容还原清晰。过去的几十年里，对于低照度图像增强方法的研究一直在持续。早期的低照度图像增强方法主要由直方图均衡化(HE)和Retinex所主导。随后的一些方法大多是基于这两种方法的改进。这些传统的方法对于低照度图像的处理有一定的效果，但是增强后的图像容易出现颜色失真，边缘模糊等问题。同时，有一些方法在使用过程中还涉及参数调整的问题，应用较为复杂。此外，这类方法对于极低照度的图像增强效果比较差，对大尺寸图像处理速度慢，难以满足实际应用场合的需要。为了解决传统方法的缺陷，近年来，一些研究开始尝试使用基于深度学习的方法处理低照度图像。不同于传统的单图像对比度增强的方法，深度学习方法利用数据驱动的方法，将大量不同的低照度图像输入模型进行训练，使得深度学习模型具备增强低照度图像的能力。这类方法所使用的模型往往以自动编码器以及卷积神经网络(CNN)两种为主。现有的CNN方法弥补了传统方法的不足，但是还有很大的提升空间。CNN方法采用单个模型独立训练，仅通过损失值判断模型的训练情况，并不能保证模型参数调整到最佳而获得更好的处理效果，并且对于大尺寸图像的处理速度较慢，不能达到对低照度图像的实时增强效果，难以在直接应用到现实的生产和生活环境中。因此，针对低照度图像的增强问题，如何提高增强后的图像质量，尤其是解决处理后图像的颜色失真、边缘模糊的问题，以及如何加快处理图像的速度，满足低照度图像的实时增强需求，成为亟待解决的技术问题。
技术实现思路
本专利技术针对上述技术问题，提出了一种基于条件生成对抗网络的低照度图像增强方法及装置，对低照度图像进行增强处理，以解决处理后图像的颜色失真和边缘模糊的问题，提高增强后的图像质量，同时加快图像的处理速度，以满足对低照度图像的实时增强需求。为解决上述技术问题，根据本专利技术的一个方面，提供了基于条件生成对抗网络的低照度图像增强装置，包括：图像输入装置，用于接收输入图像，所述输入图像为低照度图像和/或其对应的高质量的亮图像；图像处理装置，采用条件生成对抗网络即CGAN模型对低照度图像进行增强处理得到处理后的增强图像，包括：生成模型单元和判别模型单元；所述生成模型单元采用卷积神经网络即CNN模型，所述CNN模型包括15层卷积层；所述CNN模型包括一条具有编码功能的缩小路径与一条对称的具有解码功能的放大路径；两条路径相连接构成一个深度为四层的U型结构模型；采用跳跃连接将两条路径上位于同一层的卷积层相连接；其中，第二卷积层与第十三卷积层相连接，使得第一、第二、第十三、第十四和第十五的卷积层组成所述U型网络模型的第一层；第四卷积层与第十一卷积层相连接，使得第三、第四、第十一和第十二卷积层组成所述U型网络模型的第二层；第六卷积层与第九卷积层相连接，使得第五、第六第九和第十卷积层组成所述U型网络模型的第三层；第七和第八卷积层组成所述U型网络模型的第四层；所述判别模型单元为一个二分类CNN模型，所述二分类CNN判别模型包括卷积层、池化层和全连接层；图像输入判别模型后，连续的进行特征提取和下采样操作，使得不同的卷积层提取图像不同尺度的特征；图像输出装置，输出所述处理后的增强图像。优选地，所述缩小路径中还包括卷积层与池化操作层；其中，所述池化方法为最大池化，池化窗口大小为2*2，步长为2；每经过一次池化操作，图像缩小为原来的四分之一。优选地，对于放大路径，采用反卷积操作完成对图像尺寸的复原，同时由卷积层对尺寸复原后的图像做进一步的处理，并且最后一层卷积层作为输出层输出最终增强后的图像数据。优选地，低照度图像输入判别模型后，先连续的进行特征提取和下采样操作，再经过两个神经元个数分别为256和1的全连接层将卷积层提取的特征汇总输出；通过最终的输出值的大小，判别模型判别输入图像的真伪。优选地，在生成模型单元和判别模型单元中加入批标准化BN(BatchNormalization)层对生成模型和判别模型进行改进，以避免所述生成模型和判别模型在训练时容易造成的梯度消失和爆炸。优选地，在每个批标准化层后加入激活层，使用渗漏整流线性单元(LeakyReLU)作为激活函数，其中函数的负值斜率设为0.2。优选地，网络模型的损失函数由GAN损失函数和用于计算图像间距离的L1损失函数两部分组成。优选地，所述GAN损失函数为交叉熵损失函数，分为两部分；第一部分用于判别模型，采用交叉熵损失函数对输入的图像进行分类；第二部分用于生成模型，生成模型需要使得判别模型将生成的图像判别为真，第二部分GAN损失函数用于实现该目的。优选地，L1损失函数用于生成模型，以减小处理后的低照度图像与参考图像的距离。优选地，生成模型的损失函数Gloss和判别模型的损失函数Dloss分别写成如下形式：其中，G()表示生成模型，D()表示判别模型；Iidark表示待处理的低照度图像，对应于该低照度图像的高质量亮图像为Iilight，其中i表示图像中的像素点，总和为N；CE()表示经过sigmoid函数激活之后的交叉熵函数，其具体表达式为：CE(x,z)＝max(x,0)-x*z+ln(1+e-||x||)(5)其中，x表示输入的数据，z表示该数据的标签。本专利技术中增强后图像的标签为0，高质量亮图像的标签为1。根据本专利技术的另一个方面，提供了基于条件生成对抗网络的低照度图像增强方法，所述方法包括如下步骤：S1、由图像输入装置接收输入图像，选取一组图像，所述图像包括一张低照度图像和其对应的高质量的亮图像；将所述低照度图像输入生成模型；S2、根据损失函数计算输出图像与所述其对应的高质量的亮图像的差距，优化器对生成模型的参数进行调整，输出增强后图像；S3、输出的增强后图像与其对应的高质量的亮图像输入判别模型进行判别；所述判别模型提取图像特征，所述其对应的高质量的亮图像是真实的亮图像，通过所述真实的亮图像与所述增强后图像间的特征差异判断出真伪，反馈给生成模型，从而改善生成模型；S4、反复执行步骤S2和S3，生成模型与判别模型相互对抗，最终模型之间达到平衡，从而完成训练，得到训练完成的生成模型；S5、使用模型增强图像的过程中，判别模型不参与处理，仅将低照度图像输入已经训练完成的生成模型，不用提供相对应的高质量亮图像，由已经训练完成的生成模型输出增强后的图像。本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的低照度图像增强装置，其特征在于，包括：/n图像输入装置，用于接收输入图像，所述输入图像为低照度图像和/或其对应的高质量的亮图像；/n图像处理装置，采用条件生成对抗网络即CGAN模型对低照度图像进行增强处理得到处理后的增强图像，包括：所述生成模型单元和所述判别模型单元；/n所述生成模型单元采用卷积神经网络即CNN模型，所述CNN模型包括15层卷积层；所述CNN模型包括一条具有编码功能的缩小路径与一条对称的具有解码功能的放大路径；两条路径相连接构成一个深度为四层的U型结构模型；/n采用跳跃连接将两条路径上位于同一层的卷积层相连接；/n其中，第二卷积层与第十三卷积层相连接，使得第一、第二、第十三、第十四和第十五的卷积层组成所述U型网络模型的第一层；/n第四卷积层与第十一卷积层相连接，使得第三、第四、第十一和第十二卷积层组成所述U型网络模型的第二层；/n第六卷积层与第九卷积层相连接，使得第五、第六第九和第十卷积层组成所述U型网络模型的第三层；/n第七和第八卷积层组成所述U型网络模型的第四层；/n所述判别模型单元为一个二分类CNN模型，所述二分类CNN判别模型包括卷积层、池化层和全连接层；图像输入判别模型后，连续的进行特征提取和下采样操作，使得不同的卷积层提取图像不同尺度的特征；/n图像输出装置，输出所述处理后的增强图像。/n...

【技术特征摘要】
1.一种基于条件生成对抗网络的低照度图像增强装置，其特征在于，包括：
图像输入装置，用于接收输入图像，所述输入图像为低照度图像和/或其对应的高质量的亮图像；
图像处理装置，采用条件生成对抗网络即CGAN模型对低照度图像进行增强处理得到处理后的增强图像，包括：所述生成模型单元和所述判别模型单元；
所述生成模型单元采用卷积神经网络即CNN模型，所述CNN模型包括15层卷积层；所述CNN模型包括一条具有编码功能的缩小路径与一条对称的具有解码功能的放大路径；两条路径相连接构成一个深度为四层的U型结构模型；
采用跳跃连接将两条路径上位于同一层的卷积层相连接；
其中，第二卷积层与第十三卷积层相连接，使得第一、第二、第十三、第十四和第十五的卷积层组成所述U型网络模型的第一层；
第四卷积层与第十一卷积层相连接，使得第三、第四、第十一和第十二卷积层组成所述U型网络模型的第二层；
第六卷积层与第九卷积层相连接，使得第五、第六第九和第十卷积层组成所述U型网络模型的第三层；
第七和第八卷积层组成所述U型网络模型的第四层；
所述判别模型单元为一个二分类CNN模型，所述二分类CNN判别模型包括卷积层、池化层和全连接层；图像输入判别模型后，连续的进行特征提取和下采样操作，使得不同的卷积层提取图像不同尺度的特征；
图像输出装置，输出所述处理后的增强图像。


2.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置，其特征在于，
所述缩小路径中还包括卷积层与池化操作层；其中，所述池化方法为最大池化，池化窗口大小为2*2，步长为2；每经过一次池化操作，图像缩小为原来的四分之一。


3.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置，其特征在于，
对于放大路径，采用反卷积操作完成对图像尺寸的复原，同时由卷积层对尺寸复原后的图像做进一步的处理，并且最后一层卷积层作为输出层输出最终增强后的图像数据。


4.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置，其特征在于，
低照度图像输入判别模型后，先连续的进行特征提取和下采样操作，再经过两个神经元个数分别为256和1的全连接层将卷积层提取的特征汇总输出；通过最终的输出值的大小，判别模型判别输入图像的真伪。...

【专利技术属性】
技术研发人员：王海峰，陶海军，黄鐄，
申请(专利权)人：北京巨数数字技术开发有限公司，
类型：发明
国别省市：北京;11