一种小波滤波结合深层网络的图像去雨方法技术

本发明专利技术公开了一种小波滤波结合深层网络的图像去雨方法，属于图像处理技术领域，该方法包括：采集雨天图像，建立雨天图像集；采用小波滤波从所述雨天图像中提取表征图像高频分量的雨滴模糊特征图；根据

【技术实现步骤摘要】
一种小波滤波结合深层网络的图像去雨方法


[0001]本专利技术涉及图像处理
，具体而言，涉及一种小波滤波结合深层网络的图像去雨方法
。

技术介绍

[0002]视觉系统越来越广泛地应用于智能交通，目标识别等领域，但是受户外阴雨天气环境的影响，计算机视觉系统所捕获的图像质量下降，从而严重影响视觉自动检测，识别和跟踪目标的能力
。
因此，对户外阴雨天气下所捕获图像进行处理，消除天气因素的影响，对一个户外的视觉系统来说意义重大
。
因此，亟需一种小波滤波结合深层网络的图像去雨方法
。

技术实现思路

[0003]本申请的主要目的在于提供一种小波滤波结合深层网络的图像去雨方法
,
以至少解决现有技术中的单幅图像的雨滴检测和去除的问题
。
[0004]为实现上述目的，根据本申请的一个方面，提供了一种小波滤波结合深层网络的图像去雨方法，包括：
[0005]采集雨天图像，建立雨天图像集；
[0006]采用小波滤波从所述雨天图像中提取表征图像高频分量的雨滴模糊特征图；
[0007]根据
HRNet
网络多分辨率提取多阶特征结构，构建多分辨率深层神经网络，通过雨滴模糊特征图对所述多分辨率深层神经网络进行训练，使所述多分辨率深层神经网络输出去雨后的图片；
[0008]采用强化学习方法对所述多分辨率深层神经网络的去雨性能进行优化，通过优化后的多分辨率深层神经网络得到去雨后的图片
。/>[0009]可选地，采用小波滤波从所述雨天图像中提取表征图像高频分量的雨滴模糊特征图，具体包括：
[0010]雨天图像记为：
X
＝
{X
R
，
X
G
，
X
B
}
，其中，
X
R
表示雨天图像的
R
通道信息，
X
G
表示雨天图像的
G
通道信息，
XB
表示雨天图像的
B
通道信息；
[0011]第
i
张雨天图像
X
i
的尺寸大小为
M
×
N
，将图像
X
i
，
i∈[R
，
G
，
B]经小波变换分割成4个不同频率的子图像；
[0012]设和分别表示滤波器
H
和
G
的共轭算子，
k
表示小波分解层数，4个不同频率的子图像为：
[0013]水平和垂直方向的低频子图像公式表示
LL
(k)
(m1，
n1)
为
[0014][0015]其中，
[0016]水平方向的低频和垂直方向的高频子图像
LH
(k)
(m2，
n2)
表示为
[0017][0018]其中，
[0019]水平方向的高频和垂直方向的低频子图像
HL
(k)
(m3，
n3)
表示为
[0020][0021]其中，
[0022]水平和垂直方向的高频子图像
HH
(k)
(m4，
n4)
表示为
[0023][0024]其中，
[0025]可选地，通过雨滴模糊特征图对所述多分辨率深层神经网络进行训练包括：
[0026]雨滴模糊特征图经过多分辨率深层神经网络获取细节特征图；
[0027]将细节特征图和多分辨率深层神经网络其它层雨滴特征图相合成，获取雨滴信息特征图；
[0028]根据所述雨滴信息特征图对雨滴模糊特征图进行去雨价值计算，输出去雨后的图片
。
[0029]可选地，所述细节特征图包含雨痕及与雨痕纹理相似的物体结构信息
。
[0030]可选地，所述雨滴信息特征图
T
的表达式为：
[0031]T
＝
A+B
b
[0032]其中，
A
表示雨滴特征图，
B
b
表示多分辨率模块
b
输出的细节特征图
。
[0033]可选地，采用强化学习方法对所述多分辨率深层神经网络的去雨性能进行优化包括：
[0034]判断去雨价值计算后的图片是否满足预测价值，若满足，则输出去雨后的图片；反之，通过多分辨率分支数调节
。
[0035]可选地，预测价值通过多分辨率深层网络的回报函数值进行判断，判断去雨价值计算后的图片是否满足预测价值包括：
[0036]采用
SSIM
图像质量评估指标作为多分辨率深层网络的奖励函数，则多分辨率深层网络的回报函数
P
表示为：
[0037]P
＝
γ
ω
‑1Q
ω
[0038]Q
ω
＝
l(x,y)
α
·
c(x,y)
β
·
s(x,y)
θ
[0039][0040][0041]s(x,y)
θ
＝
(
σ
xy
+C3)(
σ
x
σ
y
+C3)
[0042]其中，
Q
ω
表示在第
ω
次反馈过程中，模型的奖励值；
γ
表示衰减系数；
x
和
y
表示特征图的像素值，
u
x
是
x
的平均值，
u
y
是
y
的平均值，为
x
的方差，为
y
的方差，
σ
xy
为
x
和
y
的
协方差；
α
＝
β
＝
θ
＝1，
C1、C2和
C3为参数，
C2＝
2C3；
[0043]根据输入多分辨率深层神经网络训练，计算多分辨率深层神经网络汇报函数值
P
，若
P
满足设定的阈值，则满足预测价值，训练结束；反之，则增加网络多分辨率分支数，重新训练多分辨率深层神经网络
。
[0044]根据本申请的再一方面，还提供了一种小波滤波结合深层网络的图像去雨装置，包括：
[0045]数据采集模块，用于采集雨天图像，建立雨天图像集；
[0046]滤波模块，用于采用小波滤波从所述雨天图像中提取表征图像高频分量的雨滴模糊本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种小波滤波结合深层网络的图像去雨方法，其特征在于，包括：采集雨天图像，建立雨天图像集；采用小波滤波从所述雨天图像中提取表征图像高频分量的雨滴模糊特征图；根据
HRNet
网络多分辨率提取多阶特征结构，构建多分辨率深层神经网络，通过雨滴模糊特征图对所述多分辨率深层神经网络进行训练，使所述多分辨率深层神经网络输出去雨后的图片；采用强化学习方法对所述多分辨率深层神经网络的去雨性能进行优化，通过优化后的多分辨率深层神经网络得到去雨后的图片
。2.
根据权利要求1所述的小波滤波结合深层网络的图像去雨方法，其特征在于，采用小波滤波从所述雨天图像中提取表征图像高频分量的雨滴模糊特征图，具体包括：雨天图像记为：
X
＝
{X
R
,X
G
,X
B
}
，其中，
X
R
表示雨天图像的
R
通道信息，
X
G
表示雨天图像的
G
通道信息，
X
B
表示雨天图像的
B
通道信息；第
i
张雨天图像
X
i
的尺寸大小为
M
×
N
，将图像
X
i
,i∈[R,G,B]
经小波变换分割成4个不同频率的子图像；设和分别表示滤波器
H
和
G
的共轭算子，
k
表示小波分解层数，4个不同频率的子图像为：水平和垂直方向的低频子图像公式表示
LL
(k)
(m1,n1)
为其中，水平方向的低频和垂直方向的高频子图像
LH
(k)
(m2,n2)
表示为其中，水平方向的高频和垂直方向的低频子图像
HL
(k)
(m3,n3)
表示为其中，水平和垂直方向的高频子图像
HH
(k)
(m4,n4)
表示为其中，
3.
根据权利要求1所述的小波滤波结合深层网络的图像去雨方法，其特征在于，通过雨滴模糊特征图对所述多分辨率深层神经网络进行训练包括：雨滴模糊特征图经过多分辨率深层神经网络获取细节特征图；将细节特征图和多分辨率深层神经网络其它层雨滴特征图相合成，获取雨滴信息特征图；
根据所述雨滴信息特征图对雨滴模糊特征图进行去雨价值计算，输出去雨后的图片
。4.
根据权利要求3所述的小波滤波结合深层网络的图像去雨方法，其特征在于，所述细节特征图包含雨痕及与雨痕纹理相似的物体结构信息
。5.
根据权利要求3所述的小波滤波结合深层网络的图像去雨方法，其特征在于，所述雨滴信息特征图
T
的表达式为：
T
＝
A+B
b
其中，
A
表示雨滴特征图，
B
b
表示多分辨率模块
b
输出的细节特征图
。6.
根据权利要求1所述的小波滤波结合深层网络的图像去雨方法，其特征在于，采用强化学习方法对所述...

【专利技术属性】
技术研发人员：廖建敏，苏爱斌，李中汉，陈涛，杨宇冬，蒋锦权，梁海杰，雷方韵，卢润涵，
申请(专利权)人：广西邕洲高速公路有限公司，
类型：发明
国别省市：