一种基于场景深度的单图像去雨雾方法、设备及存储介质技术

本发明专利技术公开了一种基于场景深度的单图像去雨雾方法、设备及存储介质，包括：构建去雨雾任务训练网络，所述去雨雾任务训练网络包括第一生成器、第二生成器及判别器，所述第一生成器输入为雨图，输出为单通道的场景深度图，所述场景深度图与雨图进行拼接后输入第二生成器，输出去雨雾图片；所述判别器用于判断生成的去雨雾图片与标签雨图是否一致；获取训练样本，所述训练样本包括雨图，雨图对应场景深度图及干净无雨图；对去雨雾任务训练网络进行训练，得到去雨雾生成模型。本发明专利技术对雨水图片处理操作简单，只需要单张雨水图片，经过训练好的生成式网络前向传播就能得到去雨后的干净图片。图片。图片。

【技术实现步骤摘要】
一种基于场景深度的单图像去雨雾方法、设备及存储介质


[0001]本专利技术涉及计算机视觉和图像处理领域，具体涉及一种基于场景深度的单图像去雨雾方法、设备及存储介质。

技术介绍

[0002]随着计算机视觉领域的不断发展，人们越来越广泛的应用到了摄像头进行现实场景的获取，人们使用智能手机进行外景的拍摄；户外视觉系统使用电子眼监控户外的具体情况；辅助驾驶系统利用摄像头获取的道路画面进行驾驶导航。但是，户外工作的摄像头难免会受到雨天等恶劣天气的影响，使获取的图片质量下降，包括拍摄的雨条纹将关键的目标信息遮挡，远处的雨水积累效应造成能见度下降等，因此要得到清晰的图像，需要对雨水图像进行去雨处理。
[0003]现实场景中拍摄的雨天图像雨水形式主要可分为雨条纹，雨滴，雨雾三种形式，过去的研究中大多研究者以雨条纹为主要对象进行去除。图像去雨的方法主要有基于传统的图像处理方法，将雨水看成一种加性噪声进行去噪处理，或者图像分解的方法。近年来随着计算机计算能力的不断提升以及深度学习的发展，使用卷积神经网络提取图像特征在图像恢复领域取得了巨大成功。越来越多研究者从传统图像处理方法转向深度学习的去雨方法研究上。
[0004]生成对抗式的网络是于2014年提出的一种模型训练方法，模型主要由生成器网络G和判别器网络D组成，训练网络参考了博弈论里的MinMax问题的思路，生成器不断训练生成逼近真实样本的样本以骗取判别器，判别器不断迭代训练来提高对真实样本和生成样本的辨别能力，经过不断迭代训练使两个模型的效果都有明显提升。
[0005]目前基于深度学习的图像去雨方法在针对单一样式的雨水上，许多方法已经在实验室阶段取得了较好的测试性能，对于合成的雨水图片都有很好的去除能力。然而现实场景中，拍摄的雨水图片常常伴随着不同形状，尺度，样式的雨水，最常见的便是是近处雨条纹形式叠加上远处雨雾的情况，现有的方法很多能去除近处明显的雨条纹而对远处的雨雾造成的低对比度情况无能为力，难以应付普遍而多样式的雨水情况。

技术实现思路

[0006]为了克服现有技术存在的缺点与不足，本专利技术提供一种基于场景深度的单图像去雨雾方法、设备及存储介质。
[0007]本专利技术通过生成对抗式的学习得到性能较好的场景深度生成器和去雨背景生成器，网络利用两个生成器将一张雨图恢复出去雨图片。
[0008]为了解决上述技术问题，本专利技术采用如下技术方案：
[0009]一种基于场景深度的单图像去雨雾方法，包括：
[0010]构建去雨雾任务训练网络，所述去雨雾任务训练网络包括第一生成器、第二生成器及判别器，所述第一生成器输入为雨图，输出为单通道的场景深度图，所述场景深度图与
雨图进行拼接后输入第二生成器，输出去雨雾图片；所述判别器用于判断生成的去雨雾图片与标签雨图是否一致；
[0011]获取训练样本，所述训练样本包括雨图，雨图对应场景深度图及干净无雨图；
[0012]对去雨雾任务训练网络进行训练，得到去雨雾生成模型。
[0013]进一步，所述去雨雾任务训练网络采用生成对抗网络的模式构建。
[0014]进一步，第一生成器及第二生成器均为U型网络结构。
[0015]进一步，所述判别器包括八个卷积层及一个全连接层，采用sigmoid激活函数的单个神经元，得到一个0
‑
1的值判断生成图片的真伪性，最后一个卷积层的输出也会用于构建损失函数。
[0016]进一步，所述U型网络结构包括16层卷积块，其中六层为编码器，六层为解码器，四层为扩张卷积。
[0017]进一步，四层扩张卷积的扩张率分别设置为2、4、8、16。
[0018]进一步，所述去雨雾任务训练网络的损失函数包括生成损失和对抗损失，具体为：
[0019]生成损失包括第一生成器中输出的深度图之间的误差损失，第二生成器中不同尺度空间下的特征图与对应尺度图片的像素级损失，以及输出图片和真实图片之间的感知损失；
[0020]感知损失为将输出图片和真实图片同时输入到一个预训练好的深度卷积神经网络，计算网络输出的特征图之间的误差损失；
[0021]对抗损失包括GAN生成对抗损失，以及在判别器中间特征图设计的注意力损失，所述注意力损失为：当判别器输入为生成图片时，计算最后一层卷积层的输出Oc与场景深度生成器的输出深度图depth之间的MSE损失；当判别器输入为干净背景图像时，计算特征图Oc与全0特征图之间的MSE损失，最后将上述所有损失函数加权融合，作为整个训练网络的损失函数，利用误差反向传播算法进行整体网络的训练。
[0022]进一步，整个网络的训练损失函数L为：
[0023]L＝λ
m
L
m
+λ
p
L
p
+λ
a
L
a
+λ
d
L
d
[0024]其中，L
a
为判别器最后一层卷积层的输出涉及注意力损失，L
p
为第二生成器的感知损失，Lm为多尺度损失，λ
m
、λ
p
、λ
a
、λ
d
分别是多尺度损失，感知损失，注意损失及对抗损失的权重。
[0025]一种设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行所述的单图像去雨雾方法。
[0026]一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的所述的单图像去雨雾方法。
[0027]本专利技术的有益效果：
[0028]本方法能够有效恢复被雨水覆盖的图片，与现有技术相比，本专利技术恢复干净背景前引入了一个场景深度的估计，并利用场景深度信息引导去雨背景的生成，在保持较好的去雨条纹效果的同时，还能很好的去除图片中残留的雨雾，对多种样式的雨水进行了处理，解决了现有技术忽视的远处雨雾造成的视觉退化问题。其次，本专利技术对雨水图片处理操作简单，只需要单张雨水图片，经过训练好的生成式网络前向传播就能得到去雨后的干净图片。
附图说明
[0029]图1是本专利技术的工作流程图；
[0030]图2是本专利技术的训练网络结构图；
[0031]图3是本专利技术的去雨雾生成模型的测试结构图。
具体实施方式
[0032]下面结合实施例及附图，对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。
[0033]实施例
[0034]如图1及图2所示，一种基于场景深度的单图像去雨雾方法，包括如下步骤：
[0035]S1构建去雨雾任务训练网络，包括两个生成器及一个判别器。
[0036]第一生成器用于场景深度图的生成，输入为雨图，输出为场景深度图；
[0037]第二生成器用于干净背景的恢复，输入为场景深度图与雨图的拼接，输出为干净背景图。
[0038]所述判别器用于判断生成的干净背景与标签雨图是否一致。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景深度的单图像去雨雾方法，其特征在于，包括：构建去雨雾任务训练网络，所述去雨雾任务训练网络包括第一生成器、第二生成器及判别器，所述第一生成器输入为雨图，输出为单通道的场景深度图，所述场景深度图与雨图进行拼接后输入第二生成器，输出去雨雾图片；所述判别器用于判断生成的去雨雾图片与标签雨图是否一致；获取训练样本，所述训练样本包括雨图，雨图对应场景深度图及干净无雨图；对去雨雾任务训练网络进行训练，得到去雨雾生成模型。2.根据权利要求1所述的单图像去雨雾方法，其特征在于，所述去雨雾任务训练网络采用生成对抗网络的模式构建。3.根据权利要求1所述的单图像去雨雾方法，其特征在于，第一生成器及第二生成器均为U型网络结构。4.根据权利要求1所述的单图像去雨雾方法，其特征在于，所述判别器包括八个卷积层及一个全连接层，采用sigmoid激活函数的单个神经元，得到一个0
‑
1的值判断生成图片的真伪性，最后一个卷积层的输出也会用于构建损失函数。5.根据权利要求3所述的单图像去雨雾方法，其特征在于，所述U型网络结构包括16层卷积块，其中六层为编码器，六层为解码器，四层为扩张卷积。6.根据权利要求5所述的单图像去雨雾方法，其特征在于，四层扩张卷积的扩张率分别设置为2、4、8、16。7.根据权利要求1
‑
6任一项所述的单图像去雨雾方法，其特征在于，所述去雨雾任务训练网络的损失函数包括生成损失和对抗损失，具体为：生成损失包括第一生成器中输出的深度图之间的误差损失，第二生成器中不同尺度空间下的特征图与对应尺度图片的像素级损失，以及输出图片和真实图片之间的感知损失；感知损失为将输出图片和真实图片同时输入到一个预训练...

【专利技术属性】
技术研发人员：傅予力，黄锦祥，蔡磊，向友君，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：