一种基于生成对抗网络的单幅图像去天气影响处理方法技术

本发明专利技术提供了一种基于生成对抗网络的单幅图像去天气影响处理方法，方法包括获取用于训练的数据集，所述数据集包括受天气影响的模糊图片以及未受天气影响的清晰图片；构建用于实现学习模糊图片与清晰图片间关系的深度学习网络，其中所述深度学习网络基于生成对抗网络，所述生成对抗网络包括生成受天气影响的模糊图片的第一生成器和生成未受天气影响的清晰图片的第二生成器；使用所获取的用于训练的数据集对所构建的深度学习网络进行训练，以得到最优的所述第二生成器作为所述图片去天气影响模型；将待处理的图片输入图片去天气影响模型；以及处理输入的图片，并输出与输入的图片对应的清晰图片。片对应的清晰图片。片对应的清晰图片。

【技术实现步骤摘要】
一种基于生成对抗网络的单幅图像去天气影响处理方法


[0001]本专利技术涉及计算机视觉领域，更具体地，涉及一种基于生成对抗网络的单幅图像去天气影响处理方法及系统。

技术介绍

[0002]随着计算机视觉及图像处理技术的成熟与不断发展，各种成像系统被广泛的应用在交通、安全监控领域。但是由于恶劣天气的影响，在室外拍摄到的图片往往质量不佳，会出现模糊，对比度降低以及细节信息丢失等情况，影响了对图片的后续处理，降低了对图片分析以及处理的准确性和可靠性。所以，有雾及有雨图像特征的清晰化有着重要的研究意义。
[0003]而常见的恶劣天气可根据其组成颗粒的大小以及视觉特征分为两类：稳态不良天气(如雾、霾)和动态不良天气(如雨雪、沙尘暴)。与稳态不良天气不同的是，类似于雨这样的动态不良天气的组成颗粒较大，其运动轨迹会受风力的影响而产生运动模糊，导致场景的恢复变得更加有挑战。由于稳态不良天气和动态不良天气下场景的恢复有着不一样的处理方式，现有的复原系统大多只能在去雾或者去雨一方面展现出良好的性能，所以现有系统在面对复杂天气的时候要先对天气进行分类，然后对雨、雾分别进行处理。
[0004]目前，图像去雾的方法主要有直方图均衡、暗通道先验法、DehazeNet、MSCNN等；图像去雨的方法主要有颜色先验法、频域滤波法、DerainNet、DID
‑
MDN等。频域滤波法通过去除原始图片中的低频信息并保留其高频信息来复原图像，忽略了图像降质的真正原因，所以对于场景复杂的图片无法提高图片的质量，甚至可能丢失图像的某些信息。对于基于深度学习的DehazeNet、DerainNet等方法，主要学习模糊图片及其清晰图片间的映射，从而更好地进行图片复原，这类方法对数据集的要求较高，而且不能直接由模糊图片得到清晰图片，仍需后续操作，较为繁琐。

技术实现思路

[0005]提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0006]针对上述现有技术中存在的不足，本专利技术提出了一种基于深度学习的单幅图像去天气影响方法和系统，解决了现有技术中要对各种不良天气下的图像需要先进行分类、针对复杂场景无法提高图片质量、细节信息丢失及对数据集要求较高、无法直接由模糊图片得到清晰图片、操作复杂等诸多问题。
[0007]根据本专利技术的一个实施例，提供了一种用于训练图片去天气影响模型的方法，其中所述方法包括：
[0008]获取用于训练的数据集，所述数据集包括受天气影响的模糊图片以及未受天气影响的清晰图片；
[0009]构建用于实现学习模糊图片与清晰图片间关系的深度学习网络，其中所述深度学习网络基于生成对抗网络，所述生成对抗网络包括生成受天气影响的模糊图片的第一生成器和生成未受天气影响的清晰图片的第二生成器；以及
[0010]使用所获取的用于训练的数据集对所构建的深度学习网络进行训练，以得到最优的所述第二生成器作为所述图片去天气影响模型。
[0011]根据本专利技术的进一步实施例，构建用于实现学习模糊图片与清晰图片间关系的深度学习网络进一步包括：
[0012]构建第一编码器E1和第二编码器E2，其中所述第一编码器E1的输入是受天气影响的模糊图片，所述第二编码器E2的输入是未受天气影响的清晰图片，所述第一编码器E1和所述第二编码器E2的输出为共同潜在空间的潜在编码；
[0013]构建第一生成器G1和第二生成器G2，其中所述第一生成器G1和所述第二生成器G2的输入为所述共同潜在空间的潜在编码，所述第一生成器G1的输出为生成的受天气影响的模糊图片，并且所述第二生成器G2的输出为生成的未受天气影响的清晰图片；以及
[0014]构建第一判别器D1和第二判别器D2，其中所述第一判别器D1的输入为真实的受天气影响的模糊图片或者由所述第一生成器G1生成的受天气影响的模糊图片，输出是输入图片是真实图片还是生成图片的概率，所述第二判别器D2的输入为真实的未受天气影响的清晰图片或者由所述第二生成器G2生成的未受天气影响的清晰图片，输出是输入图片是真实图片还是生成图片的概率。
[0015]根据本专利技术的进一步实施例，所述第一生成器G1和第二生成器G2中的每一个被配置成由编码器、转换器和解码器三个部分组成，其中：
[0016]编码器由卷积层构成，用于提取潜在编码中的浅层特征；
[0017]转换器由残差网络构成，用于将源域中图片的特征向量转换到目标域中的特征向量；并且
[0018]解码器由反卷积层构成，用于从特征向量中还原出低级特征。
[0019]根据本专利技术的进一步实施例，使用所获取的用于训练的数据集对所构建的深度学习网络进行训练进一步包括：
[0020]将受天气影响的模糊图片x1输入所述第一编码器E1，以得到潜在编码z1，将所述潜在编码z1作为输入分别传送给所述第一生成器G1和所述第二生成器G2，分别得到图片和将传送给所述第一判别器D1，传送给所述第二判别器D2；
[0021]将未受天气影响的清晰图片x2输入所述第二编码器E2，以得到潜在编码z2，将所述潜在编码z2作为输入分别传送给第一生成器G1和所述第二生成器G2，分别得到图片和将传送给所述第一判别器D1，传送给所述第二判别器D2；以及
[0022]对所述第一编码器E1、所述第二编码器E2、所述第一生成器G1、所述第二生成器G2、所述第一判别器D1以及所述第二判别器D2进行调整，以使得损失函数最小化。
[0023]根据本专利技术的进一步实施例，所述损失函数被设计为：
[0024][0025]其中：
[0026][0027][0028][0029][0030][0031][0032][0033]其中λ0、λ1、λ2、λ3、λ4为可设定参数，为变分自动编码损失，为生成对抗损失，为循环一致损失，并且为感知损失。
[0034]根据本专利技术的进一步实施例，λ0＝10，λ1＝0.1，λ2＝100，λ3＝0.1，并且λ4＝100。
[0035]根据本专利技术的进一步实施例，所述天气影响至少包括雾天影响和雨天影响。
[0036]根据本专利技术的进一步实施例，所述数据集中包括的受天气影响的模糊图片以及未受天气影响的清晰图片不一一对应。
[0037]根据本专利技术的另一方面，提供了一种用于对图片进行去天气影响处理的方法，其中所述方法包括：
[0038]获取待处理的图片；
[0039]将待处理的图片输入图片去天气影响模型，其中所述图片去天气影响模型是根据本专利技术的各实施例中所述的方法预训练的用于生成未受天气影响的清晰图片的生成器；以及
[0040]处理输入的图片，并输出与输入的图片对应的清晰图片。
[0041]根据本专利技术的又一方面，提供了一种图片去模糊系统，其中系统包括：
[0042]存储单元，所述存储单元存储有图片去天气影响模型以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练图片去天气影响模型的方法，其特征在于，所述方法包括：获取用于训练的数据集，所述数据集包括受天气影响的模糊图片以及未受天气影响的清晰图片；构建用于实现学习模糊图片与清晰图片间关系的深度学习网络，其中所述深度学习网络基于生成对抗网络，所述生成对抗网络包括生成受天气影响的模糊图片的第一生成器和生成未受天气影响的清晰图片的第二生成器；以及使用所获取的用于训练的数据集对所构建的深度学习网络进行训练，以得到最优的所述第二生成器作为所述图片去天气影响模型。2.如权利要求1所述的方法，其特征在于，构建用于实现学习模糊图片与清晰图片间关系的深度学习网络进一步包括：构建第一编码器E1和第二编码器E2，其中所述第一编码器E1的输入是受天气影响的模糊图片，所述第二编码器E2的输入是未受天气影响的清晰图片，所述第一编码器E1和所述第二编码器E2的输出为共同潜在空间的潜在编码；构建第一生成器G1和第二生成器G2，其中所述第一生成器G1和所述第二生成器G2的输入为所述共同潜在空间的潜在编码，所述第一生成器G1的输出为生成的受天气影响的模糊图片，并且所述第二生成器G2的输出为生成的未受天气影响的清晰图片；以及构建第一判别器D1和第二判别器D2，其中所述第一判别器D1的输入为真实的受天气影响的模糊图片或者由所述第一生成器G1生成的受天气影响的模糊图片，输出是输入图片是真实图片还是生成图片的概率，所述第二判别器D2的输入为真实的未受天气影响的清晰图片或者由所述第二生成器G2生成的未受天气影响的清晰图片，输出是输入图片是真实图片还是生成图片的概率。3.如权利要求2所述的方法，其特征在于，所述第一生成器G1和第二生成器G2中的每一个被配置成由编码器、转换器和解码器三个部分组成，其中：编码器由卷积层构成，用于提取潜在编码中的浅层特征；转换器由残差网络构成，用于将源域中图片的特征向量转换到目标域中的特征向量；并且解码器由反卷积层构成，用于从特征向量中还原出低级特征。4.如权利要求2所述的方法，其特征在于，使用所获取的用于训练的数据集对所构建的深度学习网络进行训练进一步包括：将受天气影响的模糊图片x1输入所述第一编码器E1，以得到潜在编码z1...

【专利技术属性】
技术研发人员：申东凡，
申请(专利权)人：天翼智慧家庭科技有限公司，
类型：发明
国别省市：