一种基于边缘信息引导的上下文聚合图像去雨方法技术

本发明专利技术公开了一种基于边缘信息引导的上下文聚合图像去雨方法，旨在解决现阶段去雨方法忽略图像本身的纹理信息以及边缘信息的问题，其新颖之处在于设计了一个多尺度信息网络，其中包括了用于获取粗调图像去雨信息的上分支图像去雨网络和用于获取图像边缘信息的下分支边缘信息检测网络，且包括了上下文聚合模块，此模块用于聚合处理上下文信息，并利用聚合处理后的信息对粗调图像去雨信息进行引导，增强上分支图像去雨网络对图像细节信息的表征能力。实验结果表明该方法在完成图像去雨的同时使图像获得更加丰富的纹理信息和边缘信息。信息。信息。

【技术实现步骤摘要】
一种基于边缘信息引导的上下文聚合图像去雨方法


[0001]本专利技术属于图像处理和深度学习领域，具体涉及一种基于边缘信息引导的上下文聚合图像去雨方法。

技术介绍

[0002]图像边缘是图像的重要特征，是图像中特性(如像素灰度、纹理等)分布的不连续处，图像的边缘部分集中了图像的大部分信息，一幅图像的边缘结构与特点往往是决定图像特质的重要部分。目前阶段，深度学习已经在图像去雨任务上取得优异的表现，但是在对图像进行去雨的过程中往往忽略边缘信息，在去除雨纹、雨滴的过程中将图像中的边缘信息也去除掉，以至于丢失一些重要的边缘信息导致不能完整恢复出原始图像。因此，去雨的同时能对边缘信息进行恢复也至关重要。
[0003]现有的大多数图像去雨的方法往往忽略了对图像边缘信息恢复，或直接用一个主干网络处理图像去雨和图像细节修复，虽然基于深度学习的图像去雨的方法日渐成熟，但是在去雨的同时把重要的边缘信息恢复也有待解决。所以本专利技术提出一种基于边缘信息引导的上下文聚合图像去雨方法，设计了一个多尺度信息网络，其中包括了用于获取粗调图像去雨信息的上分支图像去雨网络和用于获取图像边缘信息的下分支边缘信息检测网络，且包括了上下文聚合模块，此模块用于聚合处理上下文信息，并利用聚合处理后的信息对粗调图像去雨信息进行引导，增强上分支图像去雨网络对图像细节信息的表征能力。实验结果表明该方法在完成图像去雨的同时使图像获得更加丰富的纹理信息和边缘信息，在不会丢失分辨率的同时，获得更丰富的边缘信息和更好的去雨效果。

技术实现思路

[0004]本专利技术的目的在于提供一种基于边缘信息引导的上下文图像去雨方法，实现去雨的同时对边缘信息进行恢复的目的，该方法能够获得更丰富的边缘信息和更好的去雨效果，使最终结果更加接近无雨原图。
[0005]实现本专利技术目的的技术解决方案为：一种基于边缘信息引导的上下文图像去雨方法，包括以下步骤：
[0006]步骤1、选择Rain200L合成图像去雨数据中的N张图像，100＜N＜10000，进行归一化处理，将图像大小统一，即高
×
宽为h
×
w，作为训练样本集S，转入步骤2；
[0007]步骤2、构建多尺度信息网络，多尺度信息网络包括编码器Enc_P、第一解码器Dnc_R、第二解码器Dnc_E、一个图像输出层以及三个上下文聚合模块EGCA
k
，k＝1，2，3，转入步骤3；
[0008]步骤3、利用训练样本集S对多尺度信息网络进行训练，得到训练好的多尺度信息网络：
[0009]步骤3
‑
1、将训练样本集S输入编码器Enc_P，提取其图像特征信息，再分别利用第一解码器Dnc_R、第二解码器Dnc_E，对应得到粗调图像去雨信息和图像边缘信息；
[0010]步骤3
‑
2、利用三个上下文聚合模块EGCA
k
对粗调图像去雨信息和图像边缘信息进行上下文聚合处理，得到聚合处理后的信息
[0011]步骤3
‑
3、利用聚合处理后的信息对粗调图像去雨信息进行引导，得到边缘信息引导的图像去雨信息，将边缘信息引导的图像去雨信息送入图像输出层，得到去雨图像，进而得到训练好的多尺度信息网络，转入步骤4；
[0012]步骤4、重新选择Rain200L合成图像去雨数据中的M张图像，100＜M＜10000，通过归一化处理，将图像大小统一为h
×
w，构成测试样本集T，转入步骤5；
[0013]步骤5、将测试样本集T中的含雨图像输入到训练好的多尺度信息网络，得到去雨图像，在去除雨纹信息的同时使图像具有更加丰富的纹理信息和边缘信息，且去雨结果更加真实化。
[0014]与现有技术相比，本专利技术的优点在于：
[0015](1)现存的图像去雨方法在去除雨纹、雨滴等信息的同时，往往造成图像细节的丢失，导致去雨结果图与原图存在偏差，本专利技术注重对图像边缘信息和细节信息的恢复，利用边缘信息指导整个去雨过程，去雨的同时又能对边缘信息以及图像细节进行恢复，使结果更接近原图像。
[0016](2)现存的图像去雨方法直接用一个主干网络处理图像去雨和图像细节修复，结果不佳。本专利技术利用上下文聚合模块将上分支图像去雨网络获取的粗调图像去雨信息和下分支边缘信息检测网络获取的图像边缘信息聚合和处理，并利用聚合处理后的信息增强上分支的图像去雨网络对图像细节信息的表征能力，在完成图像去雨的同时使图像获得更加丰富的纹理信息和边缘信息。
附图说明
[0017]图1为本专利技术一种基于边缘信息引导的上下文聚合图像去雨方法的流程图。
[0018]图2为本专利技术一种基于边缘信息引导的上下文聚合图像去雨方法的模型图。
[0019]图3为两种半监督图像去雨算法SIRR和Syn2Real在合成域含雨图像样本上与本专利技术提出方法的对比实验结果图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0021]结合图1和图2，一种基于边缘信息引导的上下文聚合图像去雨方法，包括以下步骤：
[0022]步骤1、选择Rain200L合成图像去雨数据库中的N张图像，100＜N＜10000，进行归一化处理，将图像大小统一，即高
×
宽为h
×
w，作为训练样本集S，转入步骤2。
[0023]步骤2、构建多尺度信息网络，多尺度信息网络包括编码器Enc_P、第一解码器Dnc_R、第二解码器Dnc_E、一个图像输出层以及三个上下文聚合模块EGCA
k
，k＝1，2，3，具体如下：
[0024]1)、编码器Enc_P含有四个卷积块，分别定义为E1、E2、E3、E4，编码器Enc_P网络定义
如下：
[0025][0026]其中，表示经编码器中第m个卷积块所提取的图像特征信息，S表示输入编码器的训练样本集，的图像特征信息大小即高
×
宽
×
通道数为h
m
×
w
m
×
c
m
，其中h
m
＝h/2
m
‑1，w
m
＝w/2
m
‑1，c
m
＝32
×2m
‑1。
[0027]2)、第一解码器Dnc_R含有三个卷积块，分别被定义为D
r1
、D
r2
、D
r3
，将编码器Enc_P提取的图像特征信息输入第一解码器Dnc_R，获取粗调图像去雨信息，第一解码器Dnc_R网络定义如下：
[0028][0029]其中，表示经第一解码器Dnc_R的第i个卷积块后获取的粗调图像去雨信息，的图像特征信息大小即高
×
宽
×
通道数为h
i
×
w<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘信息引导的上下文聚合图像去雨方法，其特征在于，包括以下步骤：步骤1、选择Rain200L合成图像去雨数据库中的N张图像，100＜N＜10000，进行归一化处理，将图像大小统一，即高
×
宽为h
×
w，作为训练样本集S，转入步骤2；步骤2、构建多尺度信息网络，多尺度信息网络包括编码器Enc_P、第一解码器Dnc_R、第二解码器Dnc_E、一个图像输出层以及三个上下文聚合模块EGCA
k
，k＝1,2,3，转入步骤3；步骤3、利用训练样本集S对多尺度信息网络进行训练，得到训练好的多尺度信息网络：步骤3
‑
1、将训练样本集S输入编码器Enc_P，提取其图像特征信息，再分别利用第一解码器Dnc_R、第二解码器Dnc_E，对应得到粗调图像去雨信息和图像边缘信息，转入步骤3
‑
2；步骤3
‑
2、利用三个上下文聚合模块EGCA
k
对粗调图像去雨信息和图像边缘信息进行上下文聚合处理，得到聚合处理后的信息转入步骤3
‑
3；步骤3
‑
3、利用聚合处理后的信息对粗调图像去雨信息进行引导，得到边缘信息引导的图像去雨信息，将边缘信息引导的图像去雨信息送入图像输出层，得到去雨图像，进而得到训练好的多尺度信息网络，转入步骤4；步骤4、重新选择Rain200L合成图像去雨数据库中的M张图像，100＜M＜10000，通过归一化处理，将图像大小统一为h
×
w，构成测试样本集T，转入步骤5；步骤5、将测试样本集T中的含雨图像输入到训练好的多尺度信息网络，得到去雨图像，在去除雨纹信息的同时使图像具有更加丰富的纹理信息和边缘信息，且去雨结果更加真实化。2.根据权利要求1所述的一种基于边缘信息引导的上下文聚合图像去雨方法，其特征在于，步骤2中，构建多尺度信息网络，多尺度信息网络包括编码器Enc_P、第一解码器Dnc_R、第二解码器Dnc_E、一个图像输出层以及三个上下文聚合模块EGCA
k
，上下文聚合模块序号k＝1,2,3，具体如下：1)、编码器Enc_P含有四个卷积块，分别定义为E1、E2、E3、E4，编码器Enc_P网络定义如下：其中，表示经编码器中第m个卷积块所提取的图像特征信息，S表示输入编码器的训练样本集，的图像特征信息大小即高
×
宽
×
通道数为h
m
×
w
m
×
c
m
，其中h
m
＝h/2
m
‑1，w
m
＝w/2
m
‑1，c
m
＝32
×2m
‑1；2)、第一解码器Dnc_R含有三个卷积块，分别被定义为D
r1
、D
r2
、D
r3
，将编码器Enc_P提取的图像特征信息输入第一解码器Dnc_R，获取粗调图像去雨信息，第一解码器Dnc_R网络定义如下：其中，表示经第一解码器Dnc_R的第i个卷积块后获取的粗调图像去雨信息，的图像特征信息大小即高
×
宽
×
通道数为h
i
×
w
i
×
c
i
，其中h
i
＝h/2
i
‑1，w
i
＝w/2
i
‑1，c
i
＝32
×2i
‑1；3)、第二解码器Dnc_E含有三个卷积块，分别定义为D
e1
、D
e2
、D
e3
，将编码器Enc_P提取的图像特征信息输入第二解码器Dnc_E，获取图像边缘信息，第二解码器Dnc_E网络定义如下：
其中，表示经第二解码器Dnc_E中第j个卷积块所获取的图像边缘信息，的图像特征信息大小即高
×
宽
×
通道数为h
j
×
w
j
×
c
j
，其中h
j
＝h/2
j
‑1，w
j
＝w/2
j
‑1，c
j
＝32
×2j
‑1；4)、三个上下文聚合模块EGCA
k
，k＝1,2,3，即EGCA1、EGCA2、EGCA3。3.根据权利要求2所述的一种基于边缘信息引导的上下文聚合图像去雨方法，其特征在于，h
m
＝h
i
＝h
j
，w

【专利技术属性】
技术研发人员：王军，左慧园，潘在宇，韩淑雨，李玉莲，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：