【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别是涉及一种基于自指导学习框架的低照度图像增强方法。
技术介绍
1、低照度图像增强是一个常见的具有挑战性的计算机视觉任务。在真实场景中，不可避免地会出现在不理想的环境下拍摄图像的情况，例如环境光照不足、光照不均、背光等，在这些情况下拍摄的图像往往会存在亮度不足、对比度差、信噪比低、细节丢失等问题，这样的图像不仅人眼视觉效果不佳，而且还会影响后续目标检测、目标识别和语义分割等高级视觉任务的效果，而这些任务经常会被应用到在手机、相机、各类监控摄像头和自动驾驶等方面。
2、低照度图像增强任务的目标就是改善这类低照度图像的质量，以便人眼获得更好的视觉效果，同时帮助提升后续高级视觉任务的准确度。当前研究人员已经提出来了很多基于深度学习的低照度图像增强算法，主要可以分为监督学习、无监督学习和半监督学习三类。目前基于监督学习的算法在指定数据集已经能够获得很好的视觉效果，而基于无监督学习的算法通常具有更快的推理速度，更小的参数或是更好的泛化性能。
3、但是目前的算法在追求指标和计算效率时往往会出现以下问题：基于监督学习的算法因为训练时需要对应的参考图像，所以其性能受数据集影响较大，要在其他未见过数据集获得更好的效果则需要对网络进行微调，但是现实中，获取成对的低照度图像和正常光照图像是一件很困难的事情。现有的计算效率高的算法往往是通过简单的网络设计和根据经验设置的损失函数来获得一个推理速度快，参数量小的低照度图像增强网络，但是这样的网络因为网络简单，损失函数约束不足等问题难以得到很好的效果。p>
技术实现思路
1、本专利技术所要解决的技术问题是提供一种基于自指导学习框架的低照度图像增强方法，能够有效改善现有低照度图像增强算法的效果。
2、本专利技术解决其技术问题所采用的技术方案是：提供一种基于自指导学习框架的低照度图像增强方法，包括以下步骤：
3、获取待增强的低照度图像；
4、将所述待增强的低照度图像进行灰度化处理，并对灰度化处理后的所述待增强的低照度图像进行反转处理，得到反转灰度图像；
5、将所述待增强的低照度图像与所述反转灰度图像输入低照度图像增强网络中，得到增强图像；所述低照度图像增强网络包括生成器；
6、所述生成器包括：
7、特征提取模块，用于采用短程卷积和长程卷积结合的方式对输入的图像进行特征提取；
8、特征恢复模块，用于采用短程卷积和长程卷积结合的方式对所述特征提取模块提取出的特征进行特征重建，得到增强图像。
9、所述特征提取模块包括m组依次连接的长短程特征提取模块和最大池化层；所述特征恢复模块包括m组依次连接的双三次线性插值层和长短程特征细节重建模块；所述m组长短程特征提取模块与m组长短程特征细节重建模块之间进行跳跃连接。
10、所述长短程特征提取模块包括：
11、第一短程卷积操作部分，包括依次设置的卷积单元、selu激活层单元和批量归一化层单元，用于对输入特征进行短程卷积操作，得到局部特征信息；
12、第一长程卷积操作部分，包括依次设置的focus模块单元、卷积单元、上采样操作单元、selu激活层单元和批量归一化层单元，用于对输入特征进行长程卷积操作，得到非局部特征信息；
13、第一融合部分，用于将所述局部特征信息和非局部特征信息进行融合；
14、整理优化部分，用于对融合后的局部特征信息和非局部特征信息进行整理优化。
15、所述长短程特征细节重建模块包括：
16、特征重建部分，用于对输入特征进行重建，得到重建特征；
17、第二短程卷积操作部分，包括依次设置的卷积单元、selu激活层单元和批量归一化层单元，用于将重建特征和对称位的长短程特征提取模块的输出特征进行连接，并将连接后的特征进行短程卷积操作，得到短程特征；
18、第二长程卷积操作部分，包括依次设置的focus模块单元、卷积单元、上采样操作单元、selu激活层单元和批量归一化层单元，用于对重建特征进行长程卷积操作，得到长程特征；
19、第二融合部分，用于将所述短程特征和长程特征进行融合；
20、调整部分，用于对融合后的短程特征和长程特征进行调整。
21、所述低照度图像增强网络还包括判别器；所述判别器包括：
22、全局鉴别器和局部鉴别器，用于保证生成图像更接近正常照度图像；
23、vgg16模型，用于构建特征损失保证生成图像保持原有图像的特征。
24、所述低照度图像增强网络在训练时，包括以下步骤：
25、对低照度训练图像进行两次随机数据增强操作，得到第一输入图像和第二输入图像，所述第一输入图像与所述第二输入图像相似但不同；
26、分别对所述第一输入图像和第二输入图像进行灰度化处理，并对灰度化处理后的所述第一输入图像和第二输入图像进行反转处理，得到第一反转灰度输入图像和第二反转灰度输入图像；
27、将所述第一输入图像和第一反转灰度输入图像输入生成器，得到训练增强图像；
28、将所述第二输入图像和第二反转灰度输入图像输入生成器，得到参考图像；
29、采用vgg16模型分别提取所述训练增强图像、所述参考图像和校正图像的特征图；所述校正图像为对所述低照度训练图像进行gamma校正后得到的图像；
30、利用特征保留损失保证所述训练增强图像和所述校正图像保留所述低照度训练图像的细节特征，并利用特征一致性损失保证所述训练增强图像和所述参考图像的特征一致；
31、采用所述全局鉴别器判别所述训练增强图像和所述参考图像是否为真正的正常照度图像；
32、将所述训练增强图像和所述参考图像进行随机裁剪后，分别得到训练增强图像分片和参考图像分片，将所述训练增强图像分片和参考图像分片输入所述vgg16模型，得到训练增强图像局部特征和参考图像局部特征；
33、采用所述局部鉴别器判别所述训练增强图像局部特征和参考图像局部特征是否为真正的正常光照的特征；
34、根据所述全局鉴别器、局部鉴别器和vgg16模型的输出指导所述生成器训练。
35、所述随机数据增强操作是指，对低照度训练图像进行50％概率的随机亮度调整，得到第一图像；对所述第一图像进行50％概率的颜色调整，得到第二图像；对所述第二图像进行50％概率的噪声增加处理，得到第三图像；对所述第三图像以50％的概率增加一个掩膜，得到输入图像。
36、在训练初期，所述掩膜的覆盖率为75％，被所述掩膜覆盖的点的像素值为该点像素四邻域的均值；每训练预设次数，所述掩膜的覆盖率减少25％，直至覆盖率为0。
37、本专利技术解决其技术问题所采用的技术方案是：提供一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于自指导学习框架的低本文档来自技高网...
【技术保护点】
1.一种基于自指导学习框架的低照度图像增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述特征提取模块包括M组依次连接的长短程特征提取模块和最大池化层；所述特征恢复模块包括M组依次连接的双三次线性插值层和长短程特征细节重建模块；所述长短程特征提取模块与M组长短程特征细节重建模块之间进行跳跃连接。
3.根据权利要求2所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述长短程特征提取模块包括：
4.根据权利要求2所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述长短程特征细节重建模块包括：
5.根据权利要求1所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述低照度图像增强网络还包括判别器；所述判别器包括：
6.根据权利要求5所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述低照度图像增强网络在训练时，包括以下步骤：
7.根据权利要求6所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述随机数据
8.根据权利要求7所述的基于自指导学习框架的低照度图像增强方法，其特征在于，在训练初期，所述掩膜的覆盖率为75％，被所述掩膜覆盖的点的像素值为该点像素四邻域的均值；每训练预设次数，所述掩膜的覆盖率减少25％，直至覆盖率为0。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一所述基于自指导学习框架的低照度图像增强方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述基于自指导学习框架的低照度图像增强方法的步骤。
...【技术特征摘要】
1.一种基于自指导学习框架的低照度图像增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述特征提取模块包括m组依次连接的长短程特征提取模块和最大池化层；所述特征恢复模块包括m组依次连接的双三次线性插值层和长短程特征细节重建模块；所述长短程特征提取模块与m组长短程特征细节重建模块之间进行跳跃连接。
3.根据权利要求2所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述长短程特征提取模块包括：
4.根据权利要求2所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述长短程特征细节重建模块包括：
5.根据权利要求1所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述低照度图像增强网络还包括判别器；所述判别器包括：
6.根据权利要求5所述的基于自指导学习框架的低照度图像增强方法，其特征在于，所述低照度图像增强网络在训练时，包括以下步骤：
7.根据权利要求6所述的基于自指...
【专利技术属性】
技术研发人员：洪澳萍，李宝清，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。