一种图像去雨方法及系统技术方案

本发明专利技术属于图像处理技术领域，尤其涉及一种图像去雨方法及系统。所述图像去雨方法包括：步骤a：利用光流法对视频帧图像进行运动区域估计；步骤b：对运动区域进行分割，得到所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域及纯运动物体区域；步骤c：对所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域以及纯运动物体区域分别进行去雨操作，得到去雨视频帧图像。本发明专利技术通过光流法对视频帧图像进行运动区域估计，结合雨滴光学色彩特性进行运动区域分割，对于不同运动区域的雨滴进行不同的算法去除。通过本发明专利技术的实施，有利于提高去雨算法的使用范围，大大提高了去雨算法的有效性和适用性，增加了去雨算法的准确度和鲁棒性。

【技术实现步骤摘要】

本专利技术属于图像处理
，尤其涉及一种图像去雨方法及系统。
技术介绍
雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从2003年Starik等(Starik S,Werman M.Simulation of rainin videos[C]Proceeding of Texture Workshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，偏度计算、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、HSV空间、光流法及运动分割等很多方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提高。Garg等最先提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直线性和方向一致的特点进一步筛选，最后根据前后帧的像素亮度去除雨滴影响，可以较好地满足雨滴不覆盖连续帧图像情况下的雨滴检测与去除；Zhang等将雨滴给像素带来的色彩影响考虑在内，从而提高雨滴检测的准确性，改善了基于亮度变化的去雨算法在彩色图像上的应用效果；Liu 等将雨滴的亮度影响和色彩影响同时应用在算法中，用两帧检测雨滴并去除；Tripathi等先研究雨滴像素亮度变化的概率统计特性，然后利用雨滴像素亮度变化的对称性实现雨滴检测，仅基于时域和另外考虑空间位置的影响时效果不完全相同；Kang等首先利用双边滤波将雨图分成高频部分和低频部分，并对高频部分进一步处理得到非雨成分，结合低频部分得到去雨图；Huang等首先利用上下文约束进行图像分割，并利用上下文感知进行单幅图像去雨，并在此基础上提出了改进算法，文中首先用到了超完备的字典对高频部分进行处理。特别是最近几年，视频图像去雨技术已成为新的研究热点。如何在保证高鲁棒性的前提下提高去雨的准确率和实时性，是目前视频图像去雨领域的焦点。目前存在的算法中，应用于静态场景视频雨滴检测与去除的算法有较为成熟的研究成果，但是应用在动态场景中的视频上时，算法考虑的是视频中出现运动物体所带来的干扰，对于与雨滴特性区别度不高的运动物体无法达到理想的检测效果。此外，实时处理在多项技术应用的自动导航系统、安全监控系统等场合中有很大的应用需求。这些应用场合中往往需要及时得到处理结果，反馈给用户，视频处理的滞后有可能导致用户做出错误的判断。因此视频中雨滴检测与去除不仅需要提高精度，也需要提高处理速度，而且需要找到二者之间最佳平衡点。但是当前算法还无法兼顾各种场景的处理速度和精度，实现去雨算法的实时性是当前研究面对的一个重要课题。综上所述，现有的图像去雨技术存在的缺点在于：一、目前存在的图像去雨算法中，算法复杂度和算法实时性不能很好地兼顾；二、现有的图像去雨技术虽然能处理视频和图像，但是对于动态场景的去雨效果不是很理想。
技术实现思路
本专利技术提供了一种图像去雨方法及系统，旨在解决现有的图像去雨技术不能兼顾算法复杂度和算法实时性，且对于动态场景的去雨效果存在误判的技术问题。本专利技术是这样实现的，一种图像去雨方法，包括：步骤a：利用光流法对视频帧图像进行运动区域估计；步骤b：对运动区域进行分割，得到所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域及纯运动物体区域；步骤c：对所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域以及纯运动物体区域分别进行去雨操作，得到去雨视频帧图像。本专利技术实施例采取的技术方案还包括：在所述步骤b中，所述对运动区域进行分割的分割方式为：对所述运动区域进行差分阀值处理，并结合雨滴光学色彩特性对所述运动区域进行分割。本专利技术实施例采取的技术方案还包括：所述对运动区域进行分割的分割公式包括：在上述公式中，Ir(x,y)表示像素位置(x,y)的图像亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，Er(x,y)表示雨滴经过像素位置(x,y)的辐照度，Eb(x,y)为背景像素的平均辐照度；Exu+Eyv+Et＝0在上述公式中，Ex、Ey和Et分别是图像亮度I(x,y,t)对x,y和t的偏导数， 本专利技术实施例采取的技术方案还包括：在所述步骤c中，所述对视频帧 图像的纯雨滴区域进行去雨的去雨方式为：通过时域空间前后帧的亮度值加权平均代替雨滴像素点的亮度值，所述加权系数为：Fb(t)＝[1,2,4,0,4,2,1]。本专利技术实施例采取的技术方案还包括：在所述步骤c中，所述对视频帧图像的雨滴和运动物体重叠区域进行去雨的去雨方式为：在时域上选取前后各一帧取平均值，在同一帧像素的八邻域进行加权平均，综合时空相关性进行雨滴去除；空间系数矩阵为：本专利技术实施例采取的另一技术方案为：一种图像去雨系统，包括运动估计模块、图像分割模块和图像去雨模块；所述运动估计模块用于利用光流法对视频帧图像进行运动区域估计；所述图像分割模块用于对运动区域进行分割，得到所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域及纯运动物体区域；所述图像去雨模块用于对所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域以及纯运动物体区域分别进行去雨操作，得到去雨视频帧图像。本专利技术实施例采取的技术方案还包括：所述图像分割模块对运动区域进行分割的分割方式为：对所述运动区域进行差分阀值处理，并结合雨滴光学色彩特性对所述运动区域进行分割。本专利技术实施例采取的技术方案还包括：所述图像分割模块对运动区域进行分割的分割公式包括：在上述公式中，Ir(x,y)表示像素位置(x,y)的图像亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，Er(x,y)表示雨滴经过像素位置(x,y)的辐照度，Eb(x,y)为背景像素的平均辐照度；Exu+Eyv+Et＝0在上述公式中，Ex、Ey和Et分别是图像亮度I(x,y,t)对x,y和t的偏导数， 本专利技术实施例采取的技术方案还包括：所述图像去雨模块还包括第一去雨单元，所述第一去雨单元用于对视频帧图像的纯雨滴区域进行去雨；所述第一去雨单元的去雨方式为：通过时域空间前后帧的亮度值加权平均代替雨滴像素点的亮度值，所述加权系数为：Fb(t)＝[1,2,4,0,4,2,1]。本专利技术实施例采取的技术方案还包括：所述图像去雨模块还包括第二去雨单元，所述第二去雨单元用于对视频帧图像的雨滴和运动物体重叠区域进行去雨；所述第二去雨单元的去雨方式为：在时域上选取前后各一帧取平均值，在同一帧像素的八邻域进行加权平均，综合时空相关性进行雨滴去除；空间系数矩阵为：相对于现有技术，本专利技术产生的有益效果在于：本专利技术实施例的图像去雨方法及系统通过光流法对视频帧图像进行运动区域估计，结合雨滴光学色彩特性进行运动区域分割，对于不同运动区域的雨滴进行不同的算法去除。通过本专利技术的实施，有利于提高去雨算法的使用范围，大大提高了去雨算法的有效性和适用性，增加了本文档来自技高网...

【技术保护点】
一种图像去雨方法，包括：步骤a：利用光流法对视频帧图像进行运动区域估计；步骤b：对运动区域进行分割，得到所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域及纯运动物体区域；步骤c：对所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域以及纯运动物体区域分别进行去雨操作，得到去雨视频帧图像。

【技术特征摘要】
1.一种图像去雨方法，包括：步骤a：利用光流法对视频帧图像进行运动区域估计；步骤b：对运动区域进行分割，得到所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域及纯运动物体区域；步骤c：对所述视频帧图像的纯雨滴区域、雨滴和运动物体重叠区域以及纯运动物体区域分别进行去雨操作，得到去雨视频帧图像。2.根据权利要求1所述的图像去雨方法，其特征在于，在所述步骤b中，所述对运动区域进行分割的分割方式为：对所述运动区域进行差分阀值处理，并结合雨滴光学色彩特性对所述运动区域进行分割。3.根据权利要求2所述的图像去雨方法，其特征在于，所述对运动区域进行分割的分割公式包括： I r ( x , y ) = ∫ 0 τ E r ( x , y ) d t + ∫ τ T E b ( x , y ) d t ]]>在上述公式中，Ir(x,y)表示像素位置(x,y)的图像亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，Er(x,y)表示雨滴经过像素位置(x,y)的辐照度，Eb(x,y)为背景像素的平均辐照度； ∂ I ∂ x d x d t + ∂ I ∂ y d y d t + d I d t = 0 ]]>Exu+Eyv+Et＝0在上述公式中，Ex、Ey和Et分别是图像亮度I(x,y,t)对x,y和t的偏导数，4.根据权利要求3所述的图像去雨方法，其特征在于，在所述步骤c中，所述对视频帧图像的纯雨滴区域进行去雨的去雨方式为：通过时域空间前后帧的亮度值加权平均代替雨滴像素点的亮度值，所述加权系数为：Fb(t)＝[1,2,4,0,4,2,1]。5.根据权利要求4所述的图像去雨方法，其特征在于，在所述步骤c中，所述对视频帧图像的雨滴和运动物体重叠区域进行去雨的去雨方式为：在时域上选取前后各一帧取平均值，在同一帧像素的八邻域进行加权平均，综合时空相关性进行雨滴去除；空间系数矩阵为： F m ( x , y , t ) = 1 2 1 2 0 2 1 2 1 . ]]>6.一种图像去雨系统，其特征在于，包括运动估计模块、图像分割模块和图像去雨模块；所述运动估计模块用于利...

【专利技术属性】
技术研发人员：朱青松，李佳恒，王磊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44