基于曝光成像模型和模块化深度网络的图像去雨雪方法技术

本发明专利技术属于图像复原技术领域，公开了一种基于曝光成像模型和模块化深度网络的图像去雨雪方法。针对现有的基于深度学习的单幅图像去雨方法中简化的线性叠加雨模型会合成出不真实的训练和测试雨图像数据集，进而影响基于模型的网络架构设计和雨去除的效果。本发明专利技术提出了一个非线性的雨雪曝光成像模型，该模型考虑了雨雪成像的曝光因素，它可以更准确地描述雨雪的成像特性和图像中从半透明到不透明的雨雪遮挡。利用该模型合成了具有不同曝光时间的多样化雨雪数据集，并设计了一个新颖的雨雪去除网络。由于网络融合了对曝光时间的估计，因此与现有的雨雪去除网络相比，它可以更有效地去除具有不同遮挡的雨雪。地去除具有不同遮挡的雨雪。地去除具有不同遮挡的雨雪。

【技术实现步骤摘要】
基于曝光成像模型和模块化深度网络的图像去雨雪方法


[0001]本专利技术属于图像复原
，具体涉及一种基于曝光成像模型和模块化深度网络的图像去雨雪方法。

技术介绍

[0002]图像是视觉的基础，是计算机视觉系统完成环境自主感知和理解的数据之源。在室外非结构化的视觉感知系统中，恶劣天气(雨、雪、雾)会对背景物体成像形成遮挡和影响物体的成像特征，这就使得恶劣天气下拍摄的图像在视觉和信息上都出现了一定的退化，严重影响了室外机器人的许多高层视觉任务的鲁棒性和环境适应性，如语义分割、目标识别与跟踪、无人驾驶机器视觉感知与导航等，使视觉系统的可靠性难以满足实际要求。因此，恶劣天气条件下图像复原对提高机器视觉的鲁棒性和环境适应性具有重要的理论意义和应用价值。如何从恶劣天气下的大量视觉观测数据中恢复出清晰的图像数据，提高机器人对环境的自主感知和适应能力，已成为机器人、模式识别、计算机视觉等领域的研究热点。
[0003]雨雪图像技术通常是仅根据雨雪退化图像数据来复原清晰图像，在数学建模和求解上属于病态问题，即属于图像盲复原。由于缺乏足够的信息来唯一确定真实的清晰图像，通常需要对雨雪进行定性和定量分析形成先验约束条件，图像复原就是在满足这些约束条件的前提下求取真实图像在某种约束准则下的最佳估计值。恶劣天气下的图像复原已成为目前机器视觉及其应用中亟待突破的关键问题，其研究进展对于提高机器视觉方法及系统的鲁棒性和环境适应能力具有重要的理论意义和应用价值。目前该雨雪复原技术主要分为两类：基于先验信息的优化型复原方法和基于深度学习的复原方法。基于先验优化的图像复原技术主要是在先验信息约束下获得清晰图像的最佳估计。这类方法有一个共同的局限性：它们的有效性很大程度上依赖于先验信息的准确性，通常只能处理一些符合特定先验的雨雪降质图像。基于深度学习的图像复原技术是利用深度网络建立从降质雨雪图像到清晰图像的映射关系。目前这些基于深度学习的方法通常在复原效果上优于先验优化型方法。
[0004]现有基于深度学习的雨雪图像复原方法主要包括：完全数据驱动的深度去雨雪网络和模型与数据双驱动的深度去雨网络。完全数据驱动型深度去雨雪网络虽然能够得到清晰的无雨雪图像，但由于这些方法大多是通过引入了新的网络结构以取得更好的去雨/雪性能。这就导致现有的去雨雪网络结构越来越复杂，但去雨雪效果并没有明显提升。引入新的网络结构对于基于深度网络的去雨雪方法在理论意义和实际效果上都出现了瓶颈。另一类雨雪模型和数据双驱动的深度去雨网络中认为雨条纹图像的模型是线性叠加模型。该模型将雨条纹图像分离为干净的背景图像和雨条纹图的线性叠加。线性叠加雨模型来合成雨条纹图像，像素的直接叠加会使背景的偏灰白色像素饱和，这就使雨条纹图像数据不真实，直接影响数据驱动的去雨网络的鲁棒性。

技术实现思路

[0005]现有的雨雪模型和数据双驱动的去雨深度网络方法中，多数都是基于简化的线性叠加雨模型设计去雨网络，简化的线性叠加雨模型会合成出不真实的训练和测试雨图像数据集，进而影响基于模型的网络架构设计和雨去除的效果。本专利技术提出了一个基于物理成像的非线性雨雪曝光成像模型，可以更准确地描述雨雪成像特性和图像中从半透明到不透明的雨雪遮挡。基于此模型合成了一个具有不同曝光时间的多样化雨雪数据集，并设计了一个新颖的雨雪去除网络。该网络包含局部和全局U型雨/雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络。局部和全局U型雨/雪检测子网络不仅使用残差密集连接的U型自编码结构来充分利用所有层级特征，而且还在编码器与解码器之间引入了局部全局关注块提高像素级估计精度。堆叠式多尺度残差雨雪去除子网络采用层间残差的方式融合了多尺度特征，并通过堆叠的结构方式分阶段地逐步恢复出雨雪图像。该方法鲁棒性较好，泛化能力较强，处理速度较快，在多个公开雨雪图像数据集上均能表现出良好的适应能力。
[0006]为了达到上述目的，本专利技术采用了下列技术方案：
[0007]一种基于曝光成像模型和模块化深度网络的图像去雨雪方法，包括以下步骤：
[0008]步骤1，建立一个非线性雨雪曝光成像模型，该模型可以表示为：
[0009][0010]其中，I
rs
表示雨/雪图像强度，I
c
是干净背景图像，K表示雨/雪的平均辐照度，雨/雪图像强度I
rs
是干净背景图像I
c
、动态雨/雪图M和曝光时间T的非线性组合；
[0011]步骤2，建立深度去雨雪网络，所述网络包括局部和全局U型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络；该网络采用一个多分支网络同时估计雨雪图和曝光时间，应用曝光成像模型获取初步的无雨雪图像后，利用强化子网络，即堆叠式多尺度残差雨雪去除子网络获取精细的去雨雪图像；
[0012]步骤3，将雨/雪图像输入到局部和全局U型雨/雪检测子网络，提取雨/雪图像的全局和局部性特征，估计出雨/雪条纹图；
[0013]步骤4，将雨/雪图像输入到收缩型曝光时间估计子网络，将全局信息采样到单一变量值获得曝光时间估计值，然后将估计值上采样到与输入图像相同的尺寸以便进行损失估计；
[0014]步骤5，将步骤3和步骤4获得的雨/雪条纹图和曝光时间，通过步骤1的非线性雨雪曝光成像模型获得初步复原的雨/雪图像。
[0015]步骤6，将步骤4获得的初步复原的雨/雪图像输入到堆叠式多尺度残差雨雪去除子网络进一步去除不同程度的雨/雪遮挡，获得最终的精细化无雨/雪图像；
[0016]步骤7，设定局部和全局U型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络的损失函数，在损失函数约束下，通过在雨雪数据集上对各子网络进行阶梯型迭代训练学习网络模型参数，直至网络收敛；
[0017]步骤8，在合成和真实雨/雪图像上对算法去除雨雪的有效性进行定量和定性的验证，并与典型算法进行对比。
[0018]进一步，所述步骤1中非线性雨雪曝光成像模型建立的具体过程为：
[0019]在曝光时间T期间，雨雪图像的强度I
rs
是静态雨条纹或雪花的强度R
s
与背景的强度R
b
的线性组合：
[0020][0021]其中τ表示雨条纹或雪花降落通过一个像素的时间，由于背景在曝光时间T内几乎是静止的，R
b
可以近似为一个常数，因此将上式重写为：
[0022][0023]在等式中，时间τ和雨/雪降落的速度相关，其不确定性直接导致雨雪成像结果的多样性；因此，静态的雨/雪随时间τ的积分可以被视为动态的雨/雪图M，它丰富了雨雪成像透明度的多样性，并引入了运动模糊；TR
b
是干净的背景图像I
c
；这样上述方程可以改写为：
[0024][0025]其中表示雨/雪的平均强度，代表动态雨/雪图M；为了使等式的每一项都具有一定的物理意义，进一步将等式改写为如下形式：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于曝光成像模型和模块化深度网络的图像去雨雪方法，其特征在于，包括以下步骤：步骤1，建立如下的非线性雨雪曝光成像模型：其中，I
rs
表示雨/雪图像强度，I
c
是干净背景图像，K表示雨/雪的平均辐照度，雨/雪图像强度I
rs
是干净背景图像I
c
、动态雨/雪图M和曝光时间T的非线性组合；步骤2，建立深度去雨雪网络，所述网络包括局部和全局U型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络；步骤3，将雨/雪图像输入到局部和全局U型雨雪检测子网络，提取雨/雪图像的全局和局部性特征，估计出雨/雪条纹图；步骤4，将雨/雪图像输入到收缩型曝光时间估计子网络，将全局信息采样到单一变量值获得曝光时间估计值，然后将估计值上采样到与输入图像相同的尺寸以便进行损失估计；步骤5，将步骤3和步骤4获得的雨/雪条纹图和曝光时间，通过步骤1的非线性雨雪曝光成像模型获得初步复原的雨/雪图像；步骤6，将步骤4获得的初步复原的雨/雪图像输入到堆叠式多尺度残差雨雪去除子网络进一步去除不同程度的雨/雪遮挡，获得最终的精细化无雨/雪图像；步骤7，设定局部和全局U型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络的损失函数，在损失函数约束下，通过在雨雪数据集上对各子网络进行阶梯型迭代训练学习网络模型参数，直至网络收敛；步骤8，在合成和真实雨/雪图像上对算法去除雨雪的有效性进行定量和定性的验证，并与典型算法进行对比。2.根据权利要求1所述的一种基于曝光成像模型和模块化深度网络的图像去雨雪方法，其特征在于：所述步骤1中非线性雨雪曝光成像模型建立的具体过程为：在曝光时间T期间，雨雪图像的强度I
rs
是静态雨条纹或雪花的强度R
s
与背景的强度R
b
的线性组合：其中τ表示雨条纹或雪花降落通过一个像素的时间，由于背景在曝光时间T内几乎是静止的，R
b
可以近似为一个常数，因此将上式重写为：在等式中，时间τ和雨/雪降落的速度相关，其不确定性直接导致雨雪成像结果的多样性；因此，静态的雨/雪随时间τ的积分可以被视为动态的雨/雪图M，它丰富了雨雪成像透明度的多样性，并引入了运动模糊；TR
b
是干净的背景图像I
c
；这样上述方程可以改写为：其中表示雨/雪的平均强度，代表动态雨/雪图M；为了使等式的每一项都具有一定的物理意义，进一步将等式改写为如下形式：
其中*表示逐元素乘，因为代表动态雨/雪图M，TR
b
是干净的背景图像I
c
，所以上面的等式被写为：由于雨/雪的平均辐照度是由雨/雪自身的特性决定的，因此可以近似为常数K；设k＝KT，等式进一步写为：其中，I
rs
表示雨雪图像强度，I
c
是干净背景图像，K表示雨/雪的平均辐照度，在该雨雪模型中，雨/雪图像强度I
rs
是干净背景图像I
c
、动态雨/雪图M和曝光时间T的非线性组合。3.根据权利要求1所述的一种基于曝光成像模型和模块化深度网络的图像去雨雪方法，其特征在于：所述步骤2中局部和全局U型雨雪检测子网络为残差密集U型自编码器，包括由四阶段残差密集块和降采样层组成的编码器以及由全局局部注意力模块、四阶段残差密集块和上采样层组成的解码器；所述步骤2中收缩型曝光时间估计子网络由八阶段下采样操作和自适应池化层构成；所述步骤2中堆叠式多尺度残差雨雪去除子网络为两个以残差方式堆叠的并行残差多尺度块。4.根据权利要求3所述的一种基于曝光成像模型和模块化深度网络的图像去雨雪方法，其特征在于：所述编码器用于捕获上下文信息，例如密度、方向；所述解码器用于捕获低层信息，例如位置、透明度和边缘；所述全局局部注意力模块用于提取编码器的全局和局部语义特征，进一步提高网络的特征表示能力；所述残差密集块作为特征提取单元，以充分利用所有卷积层的特征，包含分层特征融合和残差学习，...

【专利技术属性】
技术研发人员：李鹏越，刘元铭，张金柱，王涛，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：