一种基于卷积神经网络的极端条件下的图像修复方法技术

本发明专利技术公开了一种基于卷积神经网络的极端条件下的图像修复方法。本发明专利技术包括如下步骤：步骤1：对获取到的短曝光图像进行预处理；步骤2：将预处理后的图像输入U‑Net卷积神经网络进行训练；步骤3：计算误差并进行迭代训练；步骤4：对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。本发明专利技术有效地解决低光下快速成像的问题，同时也为图像去噪、去模糊提供了一种新的可行方法。

A method of image restoration under extreme conditions based on convolutional neural network

【技术实现步骤摘要】
一种基于卷积神经网络的极端条件下的图像修复方法
本专利技术涉及图像修复领域，尤其涉及基于卷积神经网络在极端条件下对图像的修复方法。
技术介绍
在低照度环境下，成像系统采集到的视频图像由于环境照度较低，使得视频图像中有用信息和噪声混合在一起，导致目标特征不明显，清晰度不高，难于辨别，需要使用数字图像处理技术来降低噪声对人眼识别景物的影响。与此同时，在夜间城镇环境中，由于城市照明光的覆盖面较小，城市道路存在较多的光覆盖盲点。因此，给夜间视频检测带来了严重挑战。其主要表现为：一是图像呈现大量暗区，暗区内容模糊不清、细节丢失；二是在人工光源下，图像又出现部分高光区，使得图像整体亮度严重不均，图像质量严重下降。虽然高照度和长曝光时间可以提高成像质量，但其存在不可避免的缺陷。例如，在提高照度的同时也会放大噪声。在延长曝光时间的同时，也会由于相机抖动或物体运动而导致成像模糊。目前，许多关于图像去噪、去模糊和低光图像增强等技术相继提出，但这些技术通常的操作目标为较暗条件下捕获到的图像，即图像只携带有中等程度的噪声。相反，我们更感兴趣的是在极端低光条件下，如严重受限的光照和极短时间的曝光。在这种情况下，传统相机的处理方式已不再适用。得益于最近几年神经网络的兴起，许多研究人员将神经网络应用于图像去噪领域，而且取得了不错的效果，但大多数方法只针对于合成模糊图像或者是只适用于特定的噪声图像，并不能得到广泛的推广。
技术实现思路
：本专利技术提出了一种基于卷积神经网络的在极端条件下的图像修复方法。该方法能够直接建立模糊图像与清晰图像间的联系，可以快速的产生清晰图像，从而获取所需信息。具体来说，我们训练深度神经网络学习低光照条件下原始数据的图像处理技术，包括颜色转换、去马赛克、降噪和图形增强等。我们通过端对端的方式来进行模型训练，以避免图像处理中噪声的放大和误差的累计。传统的基于卷积神经网络的图像去噪方法，大多是在合成数据集上进行的实验，例如在清晰图像中加入高斯噪声或椒盐噪声以合成模糊图像用于实验。由于这类数据集不能很好地模拟真实场景中存在的噪声，所以训练出的模型也不能得到广泛的应用。因此，我们需重新建立一个数据集来进行模型训练。为了得到模糊图像更加完整的信息，我们选择原始的传感器数据(即.RAW格式的图片)来进行训练。这样可以有效地避免传统相机处理流水线导致的信息丢失。该数据集由原始的低照度、短曝光时间图像和相应的长曝光时间参考图像组成，值得注意的是，多张短曝光图像可以对应于相同的长曝光时间的参考图像，这样可以有效地增加训练模型的鲁棒性。我们的数据集包含了室内和室外图像。室外图像通常是在月光或街道照明条件下拍摄所得。在室外场景下，相机的照度一般在0.2lux和5lux之间。室内相机的照度则更暗，一般在0.03lux和0.3lux之间。短曝光图像的曝光时间设置为1/30秒到1/10秒。相应的参考图像的曝光时间需要延长100到300倍，即10到30秒。数据采集时，相机固定在三脚架上。为了避免由于镜面反射引起的干扰，我们使用无反射镜的相机进行拍摄。在每个场景中，首先拍摄长曝光参考图像。拍摄时，将光圈、感光度、焦点和焦距等调节为最优状态，以最大化的提高参考图像的质量。之后，使用远程控制程序将曝光时间进行缩短以进行短曝光图像拍摄。在整个拍摄过程中，我们要确保相机不会发生移动。在完成数据集采集后，我们的实验步骤如下：步骤1：对获取到的短曝光图像进行预处理；1-1.对于获取到的.RAW图像阵列，先按R、G、B三色素对像素进行分类。由于.RAW图像阵列中R、G、B的数量比为1:2:1，因此，将像素阵列分为4个通道。此时每个通道的空间分辨率为原始图像的一半。1-2.理想情况下，在暗光条件下获取到的图像中，黑色像素的灰度值应该为“0”，而实际情况中，在有外界干扰的情况下这一值是大于“0”的。因此，我们需对像素灰度值进行“归零”处理，其具体过程为：首先，将拍摄得到的图片输入程序中，检测到该“归零”阈值为“512”。其次，将图片中所有像素的灰度值减去该阈值。最后，将图像中低于零的灰度值设置为零，高于零的灰度值保持不变。经“归零”处理后，可使图像中像素的灰度值与光照强度呈线性关系，方便后续处理。步骤2：将预处理后的图像输入U-Net卷积神经网络进行训练。2-1.通过端对端的方式对U-Net网络进行训练，以避免图像中噪声的放大和误差的累计。2-2.在训练中，随机裁剪一个512×512的补丁用于训练，这样可以在保证网络训练质量的情况下极大的减少网络的训练时间。同时，我们对裁剪的补丁随机进行翻转、旋转等操作来增强训练数据。步骤3：计算误差并进行迭代训练。3-1.U-Net网络的输出为12通道，并且每个通道的空间分辨率为原始输入图像的一半。3-2.对U-Net网络的输出进行亚像素卷积处理，以生成一幅与输入大小相同的图像。3-3.以输入图像对应的长曝光图像作为参考图像，计算二者的L1范数损失函数。考虑到Adam优化算法能够基于训练数据迭代的更新神经网络的权重，因此，我们选择Adam算法作为网络的优化器。步骤4：对训练模型进行评估。我们以图像的峰值信噪比(PSNR)和结构相似性(SSIM)作为最终结果的评判标准。本专利技术的有益效果：由于低光子数和低信噪比的原因，快速低光成像系统是一个艰巨的挑战。在本专利技术中，我们创建了一个低照度条件下的数据集，利用该数据集，我们提出了一种基于全卷积神经网络的模型结构，通过端到端训练，改善了传统处理低光图像的方法。该方法的提出，可以有效地解决低光下快速成像的问题，同时也为图像去噪、去模糊提供了一种新的可行方法。附图说明图1是系统的整体流程图；图2是图像预处理阶段；图3是系统中使用的U-Net卷积神经网络示意图；图4是系统中用到的亚像素卷积层示意图；具体实施方式：以下结合附图对本专利技术进行详细说明。图1是本专利技术的整体理流程图。系统以.RAW数据作为输入，其形状为H×W×1,对输入数据进行打包，分为四个通道，打包后的形状为H/2×W/2×4。打包过程的示意图如图2所示，其为Sonyα7SII相机拍摄得到的.RAW数据格式示意图，从图中可以清楚的看到图像阵列中的R、G、B像素等间隔均匀分布，而且其中R、G、B的数量比为1:2:1，为了使输入神经网络的图像形状一样，因此我们将.RAW图像阵列分为四个通道，每个通道的空间分辨率只有原始图像的一半。在将.RAW图像阵列分为四个通道后，我们需对每个通道进行“归零”处理，即减去“BlackLevel”，这样可以使像素的灰度值与光照呈线性关系，有助于模型的训练。图3为本专利技术中使用的U-Net卷积神经网络示意图，其由10个卷积层、4个池化层和4个上采样层组成。其输入的图像为我们选取的512×512的补丁，并且经过了随机翻转和旋转变换。即输入网络的图像形状为：512×512×4，其卷积实现过程如下：1)第一层卷积：对输入图像使用32个大小为3×3×4的卷积核进行卷积，输出为512×512×32。第一层池化：对卷积层的输出使用大小为2×2的模板进行maxpooling，其输出为256×256×32。2)第二层卷积：对输入图像使用64个大小为3×3×32的卷积核进行卷积，输出为256×256×64。第二层下池化：本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于包括如下步骤：步骤1：对获取到的短曝光图像进行预处理；1‑1.对于获取到的.RAW图像阵列，先按R、G、B三色素对像素进行分类；由于.RAW图像阵列中R、G、B的数量比为1:2:1，因此，将像素阵列分为4个通道；此时每个通道的空间分辨率为原始图像的一半；1‑2.对像素灰度值进行“归零”处理，可使图像中像素的灰度值与光照强度呈线性关系；其具体过程为：首先，将拍摄得到的图像进行检测，检测到该“归零”阈值为“512”；其次，将图像中所有像素的灰度值减去该阈值；最后，将图像中低于零的灰度值设置为零，高于零的灰度值保持不变；步骤2：将预处理后的图像输入U‑Net卷积神经网络进行训练；2‑1.通过端对端的方式对U‑Net网络进行训练，以避免图像中噪声的放大和误差的累计；2‑2.在训练中，随机裁剪一个512×512的补丁用于训练，同时对裁剪的补丁随机进行翻转、旋转操作来增强训练数据；步骤3：计算误差并进行迭代训练；3‑1.U‑Net网络的输出为12通道，并且每个通道的空间分辨率为原始输入图像的一半；3‑2.对U‑Net网络的输出进行亚像素卷积处理，以生成一幅与输入大小相同的图像；3‑3.以输入图像对应的长曝光图像作为参考图像，计算二者的L1范数损失函数；选择Adam算法作为网络的优化器；步骤4：对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。...

【技术特征摘要】
1.一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于包括如下步骤：步骤1：对获取到的短曝光图像进行预处理；1-1.对于获取到的.RAW图像阵列，先按R、G、B三色素对像素进行分类；由于.RAW图像阵列中R、G、B的数量比为1:2:1，因此，将像素阵列分为4个通道；此时每个通道的空间分辨率为原始图像的一半；1-2.对像素灰度值进行“归零”处理，可使图像中像素的灰度值与光照强度呈线性关系；其具体过程为：首先，将拍摄得到的图像进行检测，检测到该“归零”阈值为“512”；其次，将图像中所有像素的灰度值减去该阈值；最后，将图像中低于零的灰度值设置为零，高于零的灰度值保持不变；步骤2：将预处理后的图像输入U-Net卷积神经网络进行训练；2-1.通过端对端的方式对U-Net网络进行训练，以避免图像中噪声的放大和误差的累计；2-2.在训练中，随机裁剪一个512×512的补丁用于训练，同时对裁剪的补丁随机进行翻转、旋转操作来增强训练数据；步骤3：计算误差并进行迭代训练；3-1.U-Net网络的输出为12通道，并且每个通道的空间分辨率为原始输入图像的一半；3-2.对U-Net网络的输出进行亚像素卷积处理，以生成一幅与输入大小相同的图像；3-3.以输入图像对应的长曝光图像作为参考图像，计算二者的L1范数损失函数；选择Adam算法作为网络的优化器；步骤4：对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。2.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于所述的以.RAW数据作为输入，其形状为H×W×1,对输入数据进行打包，分为四个通道，打包后的形状为H/2×W/2×4；所述的图像阵列中的R、G、B像素等间隔均匀分布。3.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于所述的U-Net卷积神经网络由10个卷积层、4个池化层和4个上采样层组成；其输入的图像为选取的512×512的补丁，并且经过了随机翻转和旋转变换；即输入网络的图像形状为：512×512×4，其卷积实现过程如下：①第一层卷积：对输入图像使用32个大小为3×3×4的卷积核进行卷积，输出为512×512×32；第一层池化：对卷积层的输出使用大小为2×2的模板进行maxpooling，其输出为256×256×32；②第二层卷积：对输入图像使用64个大小为...

【专利技术属性】
技术研发人员：颜成钢，王瑞海，杨洪楠，王兴政，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33