一种基于共生双模型的无监督图像去雾方法及其系统技术方案

本发明专利技术公开了一种基于共生双模型的无监督图像去雾方法，包括以下步骤：获取图像，进而得到输入图像；构建图像共生双模型网络，对图像共生双模型网络进行训练，通过训练后图像共生双模型网络对待测图像进行处理，得到去雾结果；本发明专利技术引入了相对去雾的概念，对于一张图像，不区分这张图像是退化了还是没有退化，即不区分一张图像是否是有雾图像还是无雾图像。输出一张图像，当作有雾图像，进行处理，也可以当作是清晰图像进行处理，两个模型互利共生，联合训练，共同进步，通过这样一个模型来摆脱对于成对有雾与无雾数据集的依赖，达到去雾的效果。效果。效果。

【技术实现步骤摘要】
一种基于共生双模型的无监督图像去雾方法及其系统


[0001]本专利技术涉及图像处理的研究领域，特别涉及一种基于共生双模型的无监督图像去雾方法及其系统。

技术介绍

[0002]雾是一种大自然现象，随着工业化时代的到来，雾霾天气在全球范围内快速蔓延。空气中小漂浮颗粒(气溶胶)的存在会导致雾霾的产生，在光的散射和衰减作用下，这些漂浮的颗粒会降低远处物体的可见性。这使得远处物体失去局部对比度，给图像增加了噪声，并导致光谱的选择性衰减。所以在雾霾天气下拍摄的图片有对比度下降，色调偏移，视觉效果差等退化问题。
[0003]这样的退化图片会对现如今广泛应用于众多电子和信息工程领域的计算机视觉系统造成极大的干扰甚至无法工作，城市路口监视系统由于雾霾的存在无法清晰地识别出车牌信息，遥感拍摄系统由于云雾的遮挡无法获取真正的有用信息，在军事侦察中用到的目标跟踪系统由于受到雾霾的干扰会跟错或丢失目标。因此，为了保障计算机视觉系统在交通、航空航天、军事侦察等各方面能够获取有用信息，精准处理图像，需要不断的提高图像去雾算法能力，尽可能恢复有雾图像原本的清晰度与细节信息。
[0004]图像去雾所研究的问题就是在给定一幅由于雾引起的退化图片的输出条件下恢复出原本无雾的图像，自古至今已经存在很多的算法来解决这个问题。根据去雾的原理分类，目前存在三种算法：图像增强；图像复原；深度学习。基于图像增强的方法主要是
[0005]从去除噪声的角度出发，提高图像对比度，从而恢复出无雾清晰图像；基于图像复原的方法主要是基于大气退化模型，进行去雾处理。前两者的方法对于数据依赖性较强，只有符合对应算法的先验知识，才会有比较好的去雾效果。目前主流的基于深度学习的去雾方法有更好的去雾效果和普适性，但是仍然存在这样一个问题，当下大部分的去雾训练都对成对的有雾无雾数据集有很大依赖性，而这种成对的图片难以大量获得，因为在真实场景下保持其他的环境条件相同，只控制是否有雾这一个条件变量，再捕获相同的视觉场景是一件困难的事情。因此，最近的去雾模型使用的都是由清晰图人工合成的有雾图，再构成训练集，导致有的网络在已有数据集上(合成图像)去雾效果好，而在真实的有雾图中几乎没有去雾效果或者去雾后出现过饱和或图像失真的现象。

技术实现思路

[0006]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于共生双模型的无监督图像去雾方法及其系统，引入了相对去雾的概念，对于一张图像，不区分这张图像是退化了还是没有退化，即不区分一张图像是否是有雾图像还是无雾图像；输出一张图像，当作有雾图像，进行处理，也可以当作是清晰图像进行处理，两个模型互利共生，联合训练，共同进步，通过这样一个模型来摆脱对于成对有雾与无雾数据集的依赖，达到去雾的效果。
[0007]本专利技术的第一目的在于提供一种基于共生双模型的无监督图像去雾方法；
[0008]本专利技术的第二目的在于提供一种基于共生双模型的无监督图像去雾系统
[0009]本专利技术的目的通过以下的技术方案实现：
[0010]一种基于共生双模型的无监督图像去雾方法，包括以下步骤：
[0011]获取图像，对所述图像进行预处理，得到输入图像；
[0012]构建图像共生双模型网络，所述图像共生双模型网络包括去雾网络、加雾网络；
[0013]对图像共生双模型网络进行训练，得到训练后图像共生双模型网络；训练如下：通过去雾网络、加雾网络分别对输入图像进行有雾处理和无雾处理，分别得到第一去雾图像、第一输出图像和第二有雾图像、第二输出图像；通过第一判别器对第一有雾图像进行损失计算以及通过第二判别器对第二有雾图像进行损失计算，得到对抗损失函数；将输入图像和第一输出图像、第二输出图像分别进行损失计算，得到第一输出损失函数；通过预训练好的VGG16网络分别对输入图像和第一输出图像、第二输出图像进行损失计算，得到第二输出损失函数；根据对抗损失函数、第一输出损失函数和第二输出损失函数得到总损失函数；
[0014]经过训练后得到图像共生双模型网络，通过去雾网络对待测图像进行处理，得到去雾结果。
[0015]进一步地，所述进行预处理，具体为：对所述获取的图像进行分类，并对分类图像随机裁剪为256x256的图块，
[0016]进一步地，所述分类，具体为，将获取图像依据大气光强和随机参数划分为浓雾图像、薄雾图像、清晰图像。
[0017]进一步地，所述通过去雾网络、加雾网络分别对输入图像进行有雾处理和无雾处理，分别得到第一去雾图像、第一输出图像和第二有雾图像、第二输出图像，具体为：将输入图像作为第一有雾图像，将该第一有雾图像经过去雾网络得到第一去雾图像，将该第一去雾图像经过加雾网络得到第一输出图像；将输入图像作为第二去雾图像，将该第二去雾图像经过加雾网络得到第二有雾图像，将该第二有雾图像经过去雾网络得到第二输出图像。
[0018]进一步地，通过第一判别器对第一去雾图像进行损失计算以及通过第二判别器对第二有雾图像进行损失计算，得到对抗损失函数；将输入图像和第一输出图像、第二输出图像分别进行损失计算，得到第一输出损失函数；通过预训练好的VGG16网络分别对输入图像和第一输出图像、第二输出图像进行损失计算，得到第二输出损失函数，具体为：将输入图像分别与第一输出图像和第二输出图像进行循环一致性损失计算，得到循环一致性损失函数，即第一输出损失函数；通过预训练好的VGG16网络对输入图像分别与第一输出图像和第二输出图像进行循环感知一致性损失计算，得到循环感知一致性损失函数，即第二输出损失函数。
[0019]进一步地，所述循环一致性损失函数，具体如下：
[0020][0021]其中，x为输入图像，G为去雾网络，F为加雾网络，P
data(x)
代表输入图像x的数据分布，为输入图像x数据分布的数学期望，F(G(x))即为输入图像看为有雾图像，经过去雾加雾得到和输出图像一致的图像，即第一输出图像；G(F(x))即为将输入图当作为无雾图像经过加雾去雾得到和输入图像一致的图像，即第二输出图像；
[0022]所述循环感知一致性损失函数，具体如下：
[0023][0024]其中，x为输入图像，G为去雾网络，F为加雾网络，F(G(x))为第一输出图像，G(F(x))为第二输出图像，φ是VGG16的第二和第五个池化层的特征提取器；VGG16为预训练好的特征提取模型，VGG16网络包含13个卷积层，3个全连接层以及5个池化层。
[0025]进一步地，所述根据第一输出损失函数和第二输出损失函数得到总损失函数，具体为：
[0026]将经过去雾网络得到的去雾图像输出到第一判别器中，将经过加雾网络得到的有雾图像输出到第二判别器中，进行对抗损失计算，得到对抗损失函数；
[0027]对第一输出损失函数、第二输出损失函数、对抗损失函数赋予不同的参数，得到总损失函数。
[0028]进一步地，所述对抗损失函数，具体为：
[0029][0030][0031]L
ad本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于共生双模型的无监督图像去雾方法，其特征在于，包括以下步骤：获取图像，对所述图像进行预处理，得到输入图像；构建图像共生双模型网络，所述图像共生双模型网络包括去雾网络、加雾网络；对图像共生双模型网络进行训练，得到训练后图像共生双模型网络；训练如下：通过去雾网络、加雾网络分别对输入图像进行有雾处理和无雾处理，分别得到第一去雾图像、第一输出图像和第二有雾图像、第二输出图像；通过第一判别器对第一有雾图像进行损失计算以及通过第二判别器对第二有雾图像进行损失计算，得到对抗损失函数；将输入图像和第一输出图像、第二输出图像分别进行损失计算，得到第一输出损失函数；通过预训练好的VGG16网络分别对输入图像和第一输出图像、第二输出图像进行损失计算，得到第二输出损失函数；根据对抗损失函数、第一输出损失函数和第二输出损失函数得到总损失函数；经过训练后得到图像共生双模型网络，通过去雾网络对待测图像进行处理，得到去雾结果。2.根据权利要求1所述的一种基于共生双模型的无监督图像去雾方法，其特征在于，所述进行预处理，具体为：对所述获取的图像进行分类，并对分类图像随机裁剪为256x256的图块。3.根据权利要求2所述的一种基于共生双模型的无监督图像去雾方法，其特征在于，所述分类，具体为，将获取图像依据大气光强和随机参数划分为浓雾图像、薄雾图像、清晰图像。4.根据权利要求1所述的一种基于共生双模型的无监督图像去雾方法，其特征在于，所述通过去雾网络、加雾网络分别对输入图像进行有雾处理和无雾处理，分别得到第一去雾图像、第一输出图像和第二有雾图像、第二输出图像，具体为：将输入图像作为第一有雾图像，将该第一有雾图像经过去雾网络得到第一去雾图像，将该第一去雾图像经过加雾网络得到第一输出图像；将输入图像作为第二去雾图像，将该第二去雾图像经过加雾网络得到第二有雾图像，将该第二有雾图像经过去雾网络得到第二输出图像。5.根据权利要求4所述的一种基于共生双模型的无监督图像去雾方法，其特征在于，通过第一判别器对第一去雾图像进行损失计算以及通过第二判别器对第二有雾图像进行损失计算，得到对抗损失函数；将输入图像和第一输出图像、第二输出图像分别进行损失计算，得到第一输出损失函数；通过预训练好的VGG16网络分别对输入图像和第一输出图像、第二输出图像进行损失计算，得到第二输出损失函数，具体为：将输入图像分别与第一输出图像和第二输出图像进行循环一致性损失计算，得到循环一致性损失函数，即第一输出损失函数；通过预训练好的VGG16网络对输入图像分别与第一输出图像和第二输出图像进行循环感知一致性损失计算，得到循环感知一致性损失函数，即第二输出损失函数。6.根据权利要求5所述的一种基于共生双模型的无监督图像去雾方法，其特征在于，所述循环一致性损失函数，具体如下：其中，x为输入图像，G为去雾网络，F为加雾网络，P
data(x)
代表输入图像x的数据分布，为输入图像x数据分布的数学期望，F(G(x))即为输入图像看为有雾图像，经过去雾加雾得到和输入图像一致的图像，即第一输出图像；G(F(x))即为将输入图像当作为无雾图
像经过加雾去雾得到和输入图像一致的图像，即第二输出图像；所述循环感知一致性损失函数，具体如下：其中，x为输...

【专利技术属性】
技术研发人员：李展，康志清，郝佳男，关瑞瑾，
申请(专利权)人：暨南大学，
类型：发明
国别省市：