基于卷积神经网络和先验信息的图像去雾方法技术

本发明专利技术属于图像处理、计算机视觉技术领域，为提出一种能够有效移除图像中雾影响的图像去雾方法，实现基于深度学习和先验信息的图像去雾。本发明专利技术，基于卷积神经网络和先验信息的图像去雾方法，雾天气的成像模型表示为：I(x)＝J(x)t(x)+A(1‑t(x)) 式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率，媒介透射率表示为：t(x)＝exp(‑βd(x)),式中，β为大气衰减因子，d(x)为场景深度，采用深度学习技术结合雾图像先验信息相结合的方式进行估计，再根据成像模型采用反补偿技术恢复出清晰的图像。本发明专利技术主要应用于图像处理场合。

Image fog removal method based on convolutional neural network and prior information

The invention belongs to the technical field of image processing and computer vision, in order to propose an image de fogging method capable of effectively removing fog influence in an image, and realize image de fog based on depth learning and prior information. The present invention, defogging method for image convolution neural network and based on prior information, the model of fog image is expressed as: I (x) = J (x) t (x) +A (1 t (x) type), I (x) is the image fog shooting, J (x) is a clear image, A is a global background light, t (x) and [0,1] for media transmission, media transmission is expressed as: t (x) = exp (beta D (x)), in the beta atmospheric attenuation factor, D (x) to the scene depth, the deep learning technology combination fog image prior information combination is estimated according to the imaging model using reverse compensation technology to restore a clear image. The invention is mainly applied to image processing occasions.

【技术实现步骤摘要】
基于卷积神经网络和先验信息的图像去雾方法
本专利技术属于图像处理、计算机视觉
，涉及一种基于卷积神经网络和先验信息的图像去雾方法。
技术介绍
空气中存在雾、霾、灰尘等悬浮颗粒，因此有雾天气拍摄的图像往往存在低对比度、模糊、颜色失真等退化现象。当有雾图像被用于视频分析、辅助驾驶等实际应用领域中往往展示出一定的局限性。近些年来，图像去雾在计算机应用和消费摄影等研究领域已经成为一个积极的研究方向。然而，图像去雾仍然是一个具有挑战性的不适定问题。在过去的几年里，很多图像去雾方法被提出，主要可以分为以下几类：基于辅助信息的方法、基于非模型的方法，基于先验/假设的方法，基于学习的方法。尽管图像去雾领域已经取得了很大进步，但仍存在一些问题。基于辅助信息的方法具有一些阻碍其实际应用的问题。例如，基于硬件设备的方法往往较贵且操作复杂，同一场景拍摄的多幅图像或者场景深度信息很难获得。基于非模型的方法常常会产生过度增强或者欠增强的区域，甚至产生颜色偏差或者伪影。尽管基于先验/假设的方法已经取得了较大的成功，但这类方法被高计算复杂度、估计的场景深度准确度以及挑战性场景的普适性所限制。最近，基于学习的方法被用来移除图像中的雾影响。然而，这类方法需要提高其训练和处理速度。
技术实现思路
为克服现有技术的不足，本专利技术旨在通过结合卷积神经网络和雾图像的先验信息，研究一种能够有效移除图像中雾影响的图像去雾方法，实现基于深度学习和先验信息的图像去雾。本专利技术采用的技术方案是，基于卷积神经网络和先验信息的图像去雾方法，雾天气的成像模型表示为：I(x)＝J(x)t(x)+A(1-t(x))式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率，媒介透射率表示为：t(x)＝exp(-βd(x)),式中，β为大气衰减因子，d(x)为场景深度，采用深度学习技术结合雾图像先验信息相结合的方式进行估计，再根据成像模型采用反补偿技术恢复出清晰的图像。进一步地具体步骤是，1)先验信息是指像颜色衰减先验亮度与饱和度强度的差值与媒介透射率呈现某种程度的反比关系，表示为：式中，x为图像中的像素位置，c(x)为图像中雾的浓度，v(x)和s(x)分别为图像的亮度分量强度和饱和度分量强度，v(x)-s(x)称为颜色衰减先验；2)端对端的卷积神经网络设计3层的端对端的卷积神经网络，该网络对输入的先验图进行3层卷积处理，分别是块抽取与表示、非线性映射、重构，具体处理流程如下：首先，对先验图进行密集抽取图像块，并且采用适当数目的滤波器代表图像块：F1(P)＝min(max(0,W1*P+B1),1),式中，P为颜色衰减先验图，W1和B1分别是滤波器和偏差量，“*”表示卷积，这里，W1的大小为f1×f1×n1，f1为1个滤波器的大小，n1是滤波器的个数，B1是n1维的向量；接下来，对第1层中每个图像块中n1维特征进行卷积处理，表示为：F2(P)＝min(max(0,W2*F1(P)+B2),1)式中，W2包含n2个大小为n1×f2×f2的滤波器，B2为n2维的向量，最后，对第2层非线性映射的结果进行重构，具体表示为：F3(P)＝W3*F2(P)+B3式中，W3为包含1个大小为n2×f3×f3的滤波器，B3为1维向量，该3层卷积处理过程中，存在较多未知参数，表示为：Θ＝{W1,W2,W3,B1,B2,B3}为获得这些未知的滤波器参数，采用最小均方误差MSE作为损失函数，通过最小化训练颜色衰减先验图样本与对应的媒介透射率图真实结果之间的差距来获得上述未知的网络参数，其在当前未知参数Θ＝{W1,W2,W3,B1,B2,B3}的条件下，损失函数L(Θ)表示为：式中，N为样本个数，ti第i个标签媒介透视率，第i个样本经过三层卷积处理的结果F(Pi；Θ)在当前未知参数Θ＝{W1,W2,W3,B1,B2,B3}条件下所估计的透射率大小，通过上述方式进行深度学习训练，获得自动映射雾图像颜色衰减图到媒介透射率图的卷积神经网络模型，当输入一副有雾图像的颜色衰减先验图输入到训练好的卷积神经网络，该网络直接输出其对应的媒介透射率图；3)反演图像去雾已知一副有雾图像I(x)，首先计算其颜色衰减先验图，将其输入到已训练好的卷积神经网络模型，自动输出其对应的媒介透射率图t(x)，计算有雾图像三个颜色信道RGB中局部最小值，获得对应的暗通道图，对暗通道图中的像素进行从大到小排序，获取排在前0.1％的像素点的位置。将有雾图像对应位置上的像素点的平均像素值作为本专利技术中的全局背景光值，最后，将已经获得的全局背景光A、媒介透射率图t(x)、有雾图像I(x)代入雾图像的成型模型，反演出清晰的图像J(x)，具体表示为：本专利技术的特点及有益效果是：1)本专利技术首次将卷积神经网络与有雾图像的先验信息相结合进行图像去雾，相较以往单纯采用假设条件或者先验知识的方法相比，本专利技术的方法可以更加准确的估计有雾图像的媒介透射率，并且更加有效的去除雾对图像的影响；2)本专利技术专利技术了通过直接映射有雾图像的颜色衰减先验图到对应的媒介透射率图，该方法与现有的基于学习的图像去雾方法相比，具有更快的训练速度；3)本专利技术专利技术了一种基于卷积神经网络与图像先验信息的图像去雾方法，该方法与现有方法相比较，可以获得更好的去雾效果，具有应对挑战性有雾图像更好的鲁棒性，去雾后的图像更加真实自然。附图说明：图1给出了本专利技术图像去雾的流程框图；图2给出了设计的端对端的卷积神经网络结构。具体实施方式本专利技术充分利用深度学习网络框架的学习能力和有雾图像先验信息的有效性，专利技术一种基于卷积神经网络和先验信息的图像去雾方法。雾天气的成像模型可以表示为：I(x)＝J(x)t(x)+A(1-t(x))，式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率。媒介透射率是图像去雾的关键因素，并且其与拍摄场景的深度有关，可表示为：t(x)＝exp(-βd(x)),式中，β为大气衰减因子，d(x)为场景深度。为了恢复出清晰的图像，准确的估计出图像的媒介透射率是至关重要的。本专利技术针对媒介透射率的准确估计展开研究，采用深度学习技术结合雾图像先验信息相结合的方式进行估计。最后，根据成像模型采用反补偿技术恢复出清晰的图像，具体技术方案详述如下：1有雾图像颜色衰减先验大量的统计实验发现，有雾图像的亮度强度和饱和度强度的差值与图像中雾的浓度呈正比。又因为媒介透射率与雾浓度成反比，因此亮度与饱和度强度的差值与媒介透射率呈现某种程度的反比关系，可以表示为：式中，x为图像中的像素位置，t(x)为媒介透射率，c(x)为图像中雾的浓度，v(x)和s(x)分别为图像的亮度分量强度和饱和度分量强度，v(x)-s(x)称为颜色衰减先验。一副有雾图像，我们进行简单的运算就可以获得其颜色衰减先验。因为，我们希望通过卷积神经网络的学习能力，学习到颜色衰减先验和媒介透射率之间的数学表达关系。当输入一副有雾图像的颜色衰减先验图输入到训练好的卷积神经网络，该网络可以直接输出其对应的媒介透射率图。因此本专利技术还设计了一个具有较强学习能力的端对端的卷积神经网络。2端对端的卷积神经网络为了自动映射有雾图像的颜色衰减先验图到其对应的媒本文档来自技高网...

【技术保护点】
一种基于卷积神经网络和先验信息的图像去雾方法，其特征是，雾天气的成像模型表示为：I(x)＝J(x)t(x)+A(1‑t(x))式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率，媒介透射率表示为：t(x)＝exp(‑βd(x))式中，β为大气衰减因子，d(x)为场景深度，采用深度学习技术结合雾图像先验信息相结合的方式进行估计，再根据成像模型采用反补偿技术恢复出清晰的图像。

【技术特征摘要】
1.一种基于卷积神经网络和先验信息的图像去雾方法，其特征是，雾天气的成像模型表示为：I(x)＝J(x)t(x)+A(1-t(x))式中，I(x)是雾天拍摄的图像，J(x)是清晰的图像，A是全局背景光，t(x)∈[0,1]为媒介透射率，媒介透射率表示为：t(x)＝exp(-βd(x))式中，β为大气衰减因子，d(x)为场景深度，采用深度学习技术结合雾图像先验信息相结合的方式进行估计，再根据成像模型采用反补偿技术恢复出清晰的图像。2.如权利要求1所述的基于卷积神经网络和先验信息的图像去雾方法，其特征是，进一步地具体步骤是，1)先验信息是指像颜色衰减先验亮度与饱和度强度的差值与媒介透射率呈现某种程度的反比关系，表示为：式中，x为图像中的像素位置，c(x)为图像中雾的浓度，v(x)和s(x)分别为图像的亮度分量强度和饱和度分量强度，v(x)-s(x)称为颜色衰减先验；2)端对端的卷积神经网络设计3层的端对端的卷积神经网络，该网络对输入的先验图进行3层卷积处理，分别是块抽取与表示、非线性映射、重构，具体处理流程如下：首先，对先验图进行密集抽取图像块，并且采用适当数目的滤波器代表图像块：F1(P)＝min(max(0,W1*P+B1),1),式中，P为颜色衰减先验图，W1和B1分别是滤波器和偏差量，“*”表示卷积，这里，W1的大小为f1×f1×n1，f1为1个滤波器的大小，n1是滤波器的个数，B1是n1维的向量；接下来，对第1层中每个图像块中n1维特征进行卷积处理，表示为：F2(P)＝min(max(0,W2*F1(P)+B2),1)式中，W2包含n2个大小为n1×f2×f2的滤波器，B2为n2...

【专利技术属性】
技术研发人员：李重仪，郭继昌，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12