一种基于密集连接亚像素GAN模型的图像去雾方法技术

本发明专利技术涉及图像去雾技术领域，具体涉及一种基于密集连接亚像素GAN模型的图像去雾方法。首先搭建所述密集连接亚像素GAN模型，并对其进行训练；然后获取待处理有雾图像，并将其输入到密集连接亚像素GAN模型的生成器中，输出图像的透射率和大气光照值，最后获取大气散射模型并基于透射率、大气光照值和大气散射模型得到去雾图。本发明专利技术通过估计透射率图和大气光照值，来反解大气散射模型能有效增强去雾效果；在对抗网络模型中加入了亚像素卷积层当做网络结构中的上采样操作，能消除传统采用逆卷积带来的伪影且亚像素卷积层能最大限度利用图像信息来提高图像的分辨率，得到清晰的去雾图片。图片。图片。

【技术实现步骤摘要】
一种基于密集连接亚像素GAN模型的图像去雾方法


[0001]本专利技术涉及图像去雾
，具体涉及一种基于密集连接亚像素GAN模型的图像去雾方法。

技术介绍

[0002]飞机在高空中飞行时，与空中的水蒸气接触会使飞机表面出现结冰现象，而飞机结冰会极大程度影响飞行安全。结冰风洞可以提供低温、低压、高风速以及云雾场等, 从而模拟飞机穿过云层时所遭遇的真实结冰环境，是衡量结冰对飞机飞行性能影响以及验证结冰防护措施有效性的重要手段。但在试验过程中，试验段会存在一定液态水含量的悬浮水滴，试验段内光线经过水滴时，由于光线的散射和吸收等衰减，使得生成的图像模糊，导致图片质量下降。这些图片通常会色彩失真，对比度下降，丢失边缘与纹理信息，不能准确观察到结冰处的情况。因此将图像去雾技术应用于结冰检测的前期处理，提高图片的质量，改善视觉效果，让我们清楚的看到冰结构，为后面的结冰检测做准备。
[0003]图像去雾是一种高度不适定的问题，与高级任务相比，去雾工作中细微的测量误差都会给结果带来很大的差别。目前的去雾方法主要有两类，一类是基于先验的传统方法，一类是基于学习的深度学习方法。
[0004]在基于先验的方法中，需要估计大气光照值和透射率图以降低问题的复杂性，然后使用大气散射模型来推导结果。虽然基于先验的一些方法可以产生能见度不错的图像，但是这些图像视觉上往往与真实无雾图像不同，会在不满足先验的区域引入伪影。
[0005]从单独估计透射率图和大气光照值计算得到无雾图再到直接端到端输出无雾图，以数据为基础的深度学习方法已经被证明了其有效性，但简单的叠加网络层得到的效果并不好。

技术实现思路

[0006]了解决现有技术基于图像去雾对抗网络模型去雾效果不好的技术问题。本专利技术提供一种基于密集连接亚像素GAN模型的图像去雾方法。具体如下：本申请提供一种基于密集连接亚像素GAN模型的图像去雾方法，所述密集连接亚像素GAN模型包括生成器和判别器；所述生成器包括一个编码器和两个解码器，所述两个解码器分别用于估计图像的透射率和大气光照值，所述编码器基于密集连接网络DCN构造，其包括依次连接的基础层、多个第一处理层、第一瓶颈层和传输层；所述第一处理层包括连接在一起的密集链接模块和传输块；所述基础层包括依次连接的卷积层、实例归一化层、激活函数层和池化层；所述解码器包括依次连接的多个第二处理层、第一细化层、亚像素卷积层和第二细化层；所述第二处理层包括依次连接的第二瓶颈层、传输层和两个残差层；所述编码器的传输层与两解码器的第二瓶颈层均连接；所述图像去雾方法包括如下步骤：
S100，搭建所述密集连接亚像素GAN模型，并对其进行训练；S200，获取待处理有雾图像，并将其输入密集连接亚像素GAN模型的生成器中，输出图像的透射率和大气光照值；S300，获取大气散射模型，基于透射率、大气光照值和大气散射模型得到去雾图。
[0007]进一步的是，所述判别器为Patch
‑
GAN判别器。
[0008]进一步的是，第一细化层分别在32
×
32、16
×
16、8
×
8和4
×
4的空间大小上平均池化，然后提取局部平均信息，并通过1
×
1亚像素卷积对输出进行细化。
[0009]进一步的是，步骤S100中，首先分别基于均值损失函数、感知损失函数和二分类交叉熵函数对密集连接亚像素GAN模型进行训练，接着采用总损失函数规范密集连接亚像素GAN模型，，表示感知损失函数的权重，表示二分类交叉熵函数的权重。
[0010]进一步的是，均值损失函数的表达式为：；其中代表输入的有雾图像，代表该图像对应的真实无雾图，代表生成器生成的去雾图，N代表训练数据的数量。
[0011]进一步的是，感知损失函数的表达式为：；其中表示从VGG16网络层中获得的特征图，代表输入的有雾图像，代表该图像对应的真实无雾图，代表生成器生成的去雾图，N代表训练数据的数量。
[0012]进一步的是，二分类交叉熵函数的表达式为：；其中代表输入的有雾图像，代表该图像对应的真实无雾图，代表生成器生成的去雾图，N代表训练数据的数量，表示网络结果中判别器的作用。
[0013]本专利技术的有益效果是：本专利技术通过估计透射率图和大气光照值，来反解大气散射模型能有效增强去雾效果；在对抗网络模型中加入了亚像素卷积层当做网络结构中的上采样操作，能消除传统采用逆卷积带来的伪影且亚像素卷积层能最大限度利用图像信息来提高图像的分辨率，得到清晰的去雾图片。本申请中判别器采用Patch
‑
GAN判别器，有利于驱使生成器捕获图像局部信息、生成相对高分辨率的无雾图。基于本专利技术中基于密集连接亚像素GAN模型的去雾方法，能获得去雾效果较好的无雾图。
附图说明
[0014]图1是本专利技术的方法流程图；
图2是本专利技术的整体结构图；图3是本专利技术的生成器结构图；图4是本专利技术的传输层结构图；图5是本专利技术中第二瓶颈层结构图；图6是本专利技术的残差层结构图；图7是本专利技术的第一细化层结构图；图8是本专利技术的第二细化层结构图；图9是本专利技术的判别器结构图；图10（a）是本专利技术选自JB101左前第6800帧，其评价指标PSNR为23.14且SSIM为0.8的有雾图；图10（b）是10（a）通过本申请图像去雾方法处理后得到的去雾图；图10（c）是10（a）所对应的无雾图；图11（a）是本专利技术选自JB101左中第11175帧，其评价指标PSNR为22.78且SSIM为0.86的测试图；图11（b）是11（a）通过本申请图像去雾方法处理后得到的去雾图；图11（c）是11（a）所对应的无雾图；图12（a）是本专利技术选自JB201左前第37060帧，其评价指标PSNR为24.61且SSIM为0.82的有雾图；图12（b）是12（a）通过本申请图像去雾方法处理后得到的去雾图；图12（c）是12（a）所对应的无雾图；图13（a）是本专利技术选自JB201右前第45600帧，其评价指标PSNR为23.09且SSIM为0.76的有雾图；图13（b）是13（a）通过本申请图像去雾方法处理后得到的去雾图；图13（c）是13（a）所对应的无雾图；图14（a）是本专利技术选自JB204左前第30000帧，其评价指标PSNR为23.04且SSIM为0.80的有雾图；图14（b）是14（a）通过本申请图像去雾方法处理后得到的去雾图；图14（c）是14（a）所对应的无雾图；图15（a）是本专利技术选自JB302右前第30000帧，其评价指标PSNR为20.32且SSIM为0.77的有雾图；图15（b）是15（a）通过本申请图像去雾方法处理后得到的去雾图；图15（c）是15（a）所对应的无雾图；图16（a）是本专利技术选自JB302右中第35250帧，其评价指标PSNR为24.04且SSIM为0.80的有雾图；图16（b）是16（a）通过本申请图像去雾方法处理后得到的去雾图；图16（c）是16（a）所对应的无雾图；图17（a）是本专利技术选自J本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于密集连接亚像素GAN模型的图像去雾方法，其特征在于：所述密集连接亚像素GAN模型包括生成器和判别器；所述生成器包括一个编码器和两个解码器，所述两个解码器分别用于估计图像的透射率和大气光照值；所述编码器基于密集连接网络DCN构造，其包括依次连接的基础层、多个第一处理层、第一瓶颈层和传输层；所述第一处理层包括连接在一起的密集链接模块和传输块；所述基础层包括依次连接的卷积层、实例归一化层、激活函数层和池化层；所述解码器包括依次连接的多个第二处理层、第一细化层、亚像素卷积层和第二细化层；所述第二处理层包括依次连接的第二瓶颈层、传输层和两个残差层；所述编码器的传输层与两解码器的第二瓶颈层均连接；所述图像去雾方法包括如下步骤：S100，搭建所述密集连接亚像素GAN模型，并对其进行训练；S200，获取待处理有雾图像，并将其输入密集连接亚像素GAN模型的生成器中，输出图像的透射率和大气光照值；S300，获取大气散射模型，基于透射率、大气光照值和大气散射模型得到去雾图。2.根据权利要求1所述的一种基于密集连接亚像素GAN模型的图像去雾方法，其特征在于：所述判别器为Patch
‑
GAN判别器。3.根据权利要求1所述的一种基于密集连接亚像素GAN模型的图像去雾方法，其特征在于：第一细化层分别在32
×
32、16
×
16、...

【专利技术属性】
技术研发人员：左承林，赵荣，易贤，熊浩，
申请(专利权)人：中国空气动力研究与发展中心低速空气动力研究所，
类型：发明
国别省市：