基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法技术

一种基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法，在原始RetinexNet算法的基础上进行改进，首先将成对的低照度图像与正常图像输入分解网络，得到各自的反射分量与照明分量。然后对低照度图像的反射分量进行去噪处理后再进行锐化处理，得到最终的反射分量。在增强网络处引入一个色彩损失函数，将低照度图像的照明分量输入得到调整后的照明分量。最后对调整后的上述两个分量采用逐元素乘法得到原始低照度图像的增强结果。本发明专利技术方法与原始方法相比，改善了图像增强后的色彩失真现象，有效增强了图像的细节信息，提高图像的视觉效果。

【技术实现步骤摘要】
基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法
本专利技术涉及图像处理领域，具体涉及一种基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法。
技术介绍
近年来，图像增强作为计算机视觉领域中的基础研究工作得到了迅速发展。其中的低照度图像增强是图像增强领域中的重要研究课题之一。低照度图像增强指的是通过图像处理、模式识别等技术对视觉传感器在低照度环境下产生的退化图像进行恢复。基于Retinex理论的图像增强方法是目前较流行的低照度图像处理方法。其中，基于中心/环绕型的Retinex得到广泛应用，主要包括SSR、MSR以及MSRCR。该类算法在处理图像时时易出现光晕、细节模糊、噪声放大以及因过度增强引起的对比度下降等问题。随着深度神经网络技术的日渐成熟，深度神经网络技术被越来越多的应用到图像处理领域，使得低光图像增强算法有了新的发展。Lore等提出一种堆叠式稀疏去噪自动编码器的LLNet算法，实现了低光增强和降噪。Wei等提出了一种RetinexNet的低照度图像增强算法，该算法以数据驱动的方式进行学习低光图像和正常光图像之间的映射关系，同时引入多尺度级联技术调整光照，实现了更好的亮度提升效果。用上述RetinexNet的方法处理后的图像的亮度显著提升，图像整体轮廓也更为明显。但也存在较明显的颜色失真现象以及丢失了一定的边缘细节信息。
技术实现思路
为了克服现有技术的不足，本专利技术提出了一种基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法，以求补偿和校准增强过程中的对比度细节，改善图像增强后的色彩失真现象，有效增强图像的边缘细节信息，提高图像的视觉效果。为了实现上述效果，本专利技术采用的技术方案为：一种基于CNN的带有颜色恢复和锐化边缘效果的低照度图像增强方法，所述方法包括以下步骤：步骤一：数据集的构建：选择了公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL中的n对以及以RAISE数据集中的m幅原始图像为基础通过调整参数得到的m对正常图像/合成低照度图像作为训练数据集；步骤二：将成对的低照度图像Slow与正常照度图像Snormal输入分解网络Decom-Net，分解网络在弱光图像和正常光图像具有相同反射率的指导下，学习弱光及其对应的正常光图像的分解；步骤三：将照明分量Ilow输入EnhanceNet，在原有损失函数基础上再引入一个色彩损失函数，使用该网络对光照分量进行光照增强，得到增强后的照明分量在原有算法对反射分量Rlow进行平滑去噪操作的基础上再进行边缘锐化操作，得到处理后的反射分量步骤四：图像重建，将调整后的照明分量与经过去噪和锐化处理后的反射分量通过逐元素乘法得到原始低照度图像的增强结果进一步，所述步骤二的过程如下：2.1Slow被分解为反射图Rlow和照明图Ilow，同样地，Snormal被分解为反射分量Rnormal和照明分量Inormal，在网络执行分解低/正常图像的过程中，存在卷积核共享权重的关系；2.2Decom-Net由5层卷积神经网络组成，首先采用3*3的卷积核从输入图像中提取特征，再采用3个带有ReLU的3*3的卷积层将RGB图像映射为R和I，最后采用3*3的卷积层从特征空间中投影R和I，并用sigmoid函数将R和I约束在[0，1]范围内；2.3Decom-Net的损失由3项组成，其中，进一步的，λir和λis是用来平衡反射率的一致性和照明平滑度的系数，表示梯度，包括和λg表示平衡结构意识强度的系数。再进一步，所述步骤三的过程如下：3.1EnhanceNet采用编码-解码的总体框架对光照分量进行增强，上下采样层之间设有“复制与修剪通路”，特征图可以直接在采样路径之间传递，使上采样网络能够有效推断丢失的像素，进而获得高分辨率的光照图像；3.2EnhanceNet由9层卷积神经网络组成，包含3个下采样模块，下采样模块由步长为2的3*3卷积层与ReLU组成，包含3个上采样模块，上采样模块使用resize-convolutional结构，由最近邻插值，步长为1的3*3卷积层与ReLU组成；3.3采用多尺度级联的方法，从多角度调整光照分布，采用M个采样块，每个采样块提取一个C通道特征图，通过最近邻插值将这些特征按不同的尺度调整到最终尺度，并将它们连接到一个C×M通道特征图上，然后，通过1×1卷积层，将连接后的特征降为C通道，采用3×3卷积层重建局部光照；3.4新引入一个色彩损失函数，该损失函数借鉴了评价图像之间色彩差异的颜色角度计算公式∠(x，y)，该损失函数表达式为(Snormal)p和分别表示在Snormal和上与p对应的像素，表示(Snormal)p与的颜色角度矢量和，||·||2表示2-范数，3.5因此EnhanceNet的损失由3项组成进一步的，3.6对Rlow进行去噪处理，使用BM3D的去噪方法对Rlow进行去噪，得到R′low；3.7对反射分量R′low进行再进行锐化处理，采用拉普拉斯算子对R′low进行锐化处理，得到边缘分量V1,将V1与R′low相加，得到分量V2。对R′low进行索贝尔锐化，得到分量边缘V3，对边缘分量V3采用均值滤波进行平滑处理，得到分量V4，将V4与V2相乘，得到掩蔽分量V5，将V5与原始的R′low进行相加，得到经过去噪和锐化处理后的最终反射分量相比于传统的RetinexNet算法，本专利技术的创新之处在于：1.借鉴颜色角度计算公式设计了一个新的色彩损失函数，并重新设计了EnhanceNet的损失函数。2.原始RetinexNet算法对反射分量进行光滑去噪，造成反射图像边缘模糊问题。针对于此，将去噪后的反射率图像再进行锐化处理。具体使用拉普拉斯算子、索贝尔算子、均值滤波等方法综合运算得到一个掩蔽分量，将此分量与经过去噪后的反射率图像进行相加，得到一个经去噪和锐化处理后的最终反射率图像。本专利技术的有益效果表现在：与原方法相比，用本方法处理后的低照度图像的饱和度得到校准和补偿，图像的色彩失真现象得到了改善，图像的细节表达能力得到提升。附图说明图1为本专利技术的测试流程图。图2为本专利技术的网络结构图。图3为本专利技术与原方法在自然图像上的增强效果对比图，其中，(a)为原始图像，(b)为RetinexNet，(c)为本专利技术方法。图4为本专利技术与原方法在内窥镜图像上的增强效果对比图，其中，(a)为原始图像，(b)为RetinexNet，(c)为本专利技术方法。具体实施方式为使本专利技术的目的、优势和技术特点更加清晰透彻，下面结合附图对本专利技术做进一步阐述说明。参考图1～图4，一种基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法，以求改善图像增强后的色彩失真现象，有效增强图像的细节信息，提高图像的视觉效果，所述方法包括以下步骤：步骤一：数据集的构建本文档来自技高网...

【技术保护点】
1.一种基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法，其特征在于，所述方法包括以下步骤：/n步骤一：数据集的构建：选择了公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL中的n对以及以RAISE数据集中的m幅原始图像为基础通过调整参数得到的m对正常图像/合成低照度图像作为训练数据集；/n步骤二：将成对的低照度图像S

【技术特征摘要】
1.一种基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法，其特征在于，所述方法包括以下步骤：
步骤一：数据集的构建：选择了公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL中的n对以及以RAISE数据集中的m幅原始图像为基础通过调整参数得到的m对正常图像/合成低照度图像作为训练数据集；
步骤二：将成对的低照度图像Slow与正常照度图像SnormaM输入分解网络Decom-Net,分解网络在弱光图像和正常光图像具有相同反射率的指导下，学习弱光及其对应的正常光图像的分解；步骤三：将照明分量Ilow输入EnhanceNet，在原有损失函数基础上再引入一个色彩损失函数，使用该网络对光照分量进行光照增强，得到增强后的照明分量在原有算法对反射分量Rlow进行平滑去噪操作的基础上再进行边缘锐化操作,得到处理后的反射分量
步骤四：图像重建，将调整后的照明分量与经过去噪和锐化处理后的反射分量通过逐元素乘法得到原始低照度图像的增强结果


2.如权利要求1所述的基于CNN的带有颜色恢复和边缘锐化效果的低照度图像增强方法，其特征在于，所述步骤二的过程如下：
2.1Slow被分解为反射图Rlow和照明图Ilow，同样地，Snormal被分解为反射分量Rnormal和照明分量Inormal，在网络执行分解低/正常图像的过程中，存在卷积核共享权重的关系；
2.2Decom-Net由5层卷积神经网络组成，首先采用3*3的卷积核从输入图像中提取特征，再采用3个带有ReLU的3*3的卷积层将RGB图像映射为R和I，最后采用3*3的卷积层从特征空间中投影R和I，并用sigmoid函数将R和I约束在[0,1]范围内；
2.3Decom-Net的损失由3项组成，其中，









进一步的，λir和λis是用来平衡反射率的一致性和照明平滑度的系数，表示梯度，包括...

【专利技术属性】
技术研发人员：李胜，陈铭，何熊熊，李静，喻东，司鹏，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33