一种基于时-空-频三域联合处理的雨天视频复原方法技术

本发明专利技术提供种基于时-空-频三域联合的雨天视频复原方法，包括以下步骤：将输入视频序列转换到YCbCr空间；采用时域中值滤波法进行背景建模；计算帧间差序列，获得每帧图像对应的雨景区域；计算每帧图像雨景区域内各雨滴的最小外接矩形，计算每个雨滴的下落方向，构建雨滴下落方向直方图特征，得到每帧图像的雨滴下落方向特征；将每帧图像的Y通道变换到频域。根据雨滴下落方向特征，选取合适的楔形方向滤波器对图像的幅度谱进行滤波处理；将频域滤波结果反变换回空域，并结合原始图像帧的Cb和Cr通道图像，重新组合得到彩色图像。本发明专利技术能够明显提高视频视觉效果。

【技术实现步骤摘要】
【专利摘要】本专利技术提供种基于时-空-频三域联合的雨天视频复原方法，包括以下步骤：将输入视频序列转换到YCbCr空间；采用时域中值滤波法进行背景建模；计算帧间差序列，获得每帧图像对应的雨景区域；计算每帧图像雨景区域内各雨滴的最小外接矩形，计算每个雨滴的下落方向，构建雨滴下落方向直方图特征，得到每帧图像的雨滴下落方向特征；将每帧图像的Y通道变换到频域。根据雨滴下落方向特征，选取合适的楔形方向滤波器对图像的幅度谱进行滤波处理；将频域滤波结果反变换回空域，并结合原始图像帧的Cb和Cr通道图像，重新组合得到彩色图像。本专利技术能够明显提高视频视觉效果。【专利说明】所属
本专利技术涉及恶劣天气情况下的视频复原技术，特别涉及一种雨天视频的雨滴去除方法。
技术介绍
恶劣的天气会严重干扰户外视觉系统的正常工作。比如雾、霾、雨、雪之类的天气，视觉系统将无法根据户外图像或视频提供的信息对场景进行可靠的目标检测、物体识别和跟踪、特征提取等基本操作，这是因为恶劣的天气因素导致所捕获的图像或视频产生严重的退化。因此，为了提高户外监视系统的稳定性和实用性，必须对受天气影响的图像进行复原，消除不良天气对图像应用的影响，以保证系统能够良好地工作。随着计算机视觉系统应用越来越广泛，恶劣气象条件下图像的复原技术研究日益成为了当前该领域的热点之一，成功地解决该问题必然会给目标识别、遥感导航及军事国防等领域都带来巨大的实用价值。目前相关的国内外研究已开展了近二十年，研究者提供了各种方法。针对雨景视频的复原的方法大致可以分为两大类:空域-时域联合处理法和频域处理法。Starik等根据雨在视频中的时空特性对视频进行时间维上的中值滤波，成功复原了那些污染程度比较小的雨景视频，但该方法同时也增加了视频中动态目标的模糊程度。Garg等总结出雨滴形状、速度、大小以及雨的光度的相应规律，阐述了视频中雨的时空上的分布情况以及图像中雨滴的视像，并建立了雨的动态模型和光度模型，然后基于所建物理模型，提出了雨检测和去除方法，最终复原出清晰的场景图像。但是该方法使用的模型限制性条件太多。Zhang等从雨景图像的时间特性和色度特性入手，提出了一种对稳态场景进行处理的雨景复原方法。利用K均值聚类和雨区的色度判别方程，检测出视频中的雨区。实验结果表明，对于场景静止且色度分布满足条件的雨景视频来说，用这种方法就比简单的时间中值滤波效果好得多。Peng等基于视频中雨景视频的色度特性构建雨景退化模型，该模型不考虑雨滴的速度和时空信息，有效地检测出视频所有的雨区，即使视频中存在动态的物体，其检测函数也是可以有效检测出图像中的雨区，从而为雨景视频中运动目标的有效检测去除了雨滴的干扰。张颖翔根据雨滴的物理光学模型，分析了雨滴对视频中单帧图像的光强影响，利用改进的帧差法来检测视频中的雨区，并对其进行了帧间距扩展以适应雨点更加密集的情况。刘鹏通过分析雨滴的物理成像模型，结合人类视觉系统对雨滴的分辨原理，发现受雨影响的像素与背景像素具有相同的色相值，为了兼顾到那些色相分量同时发生退化的图像，他在HSV空间建立了区分雨区和非雨区的度量函数，克服了已有模型的辨识局限性，有效抑制了雨滴对图像的干扰。Barnum等在雨带物理特性和雨景统计特性分析的基础上，从频域的角度去考察雨景的整体特性，基于模糊高斯估计雨景频域模式，建立全局雨景的频域模型，并基于该频域模型开发出雨景的检测和去除方法，成功获得了清晰的视频。该方法与空域方法有着明显的区别，其频域模型并不关心图像中各个雨带的大小和位置，而是通过对雨的映射形状、场景景深以及雨的方向的估计建立针对具体雨景的频域模型，开发出基于该频域模型的雨景检测和去除算法，完成图像复原。但这种频域方法并不能够处理掉那些未知频率上的类似雨的信息，从而导致检测结果不正确，最终影响了复原效果。参考文献:K.Starik, Μ.fferman.Si mu lation of Rain in Videos.TextureWorkshop, in Proceeding of ICCV,2002K.Garg, S.K.Nayar.Detection and Removal of Rain from Videos .1nProceeding of CVPR, 2004.X.Zhang, H.Li, Y.Qi et al.Rain removal in video by combining temporaland chromatic properties.1n Proceeding of ICME, 2006Peng Liu, Jing Xu, Jiafeng Liu, Xianglong Tang.Pixel Based TemporalAnalysis using Chromatic Property for Removing Rain from Videos.Computer andInformation Science, 2009.张颖翔，陈强，刘允才.视频图像中雨滴检测与去除方法研究.微型电脑应用，2007，23(12)，16-20刘鹏，徐晶等.一种受雨滴污染视频的快速分析方法.自动化学报，2010，36(10)，1371-1378P.C.Barnum, S.G.Narasimhan, Takeo Kanade.Analysis of Rain and Snow inFrequency Space.1nternational Journal of Computer Vision, 2010:256-274.梁莉莉，任意方向选择性滤波器组及其对图像表示的研究，西安电子科技大学博士论文，2012.
技术实现思路
本专利技术的目的是克服现有技术的上述不足，提出一种综合利用时域、空域和频域互补特征的雨天视频复原方法。本专利技术解决上述技术问题的方案如下:一种基于时-空-频三域联合的雨天视频复原方法，包括以下步骤:步骤1:将输入视频序列各帧图像由RGB颜色空间转换到YCbCr颜色空间，对Y通道图像序列进行步骤2至10的处理，对Cb和Cr两通道的图像进行步骤10的处理。步骤2:采用时域中值滤波法进行背景建模，对于第k帧图像Ik，(x, y)位置上像素点灰度值用Ik (X，y)表示，经过时域中值滤波后得到对应的模板图像为Bk。步骤3:利用背景图像，计算帧间差图像:预设帧间差阈值!\，根据Ik和Bk，计算帧间差二值图Dk步骤4:设定面积阈值，考察Dk(X，y)中各连通区域的面积，将面积小于面积阈值的区域作为干扰区域并去除，处理后的二值图像记为Rk，将Rk中取值为I的区域判为潜在的雨景区域，设总个数为S。步骤5:对于Rk中的每一个子区域Rk(s) (s=l, 2，...，S)，S计算Rk(S)对应的最小外接矩形(MBR)，用MBRk(S)表示。按逆时针方向，计算水平坐标轴到该外接矩形长边的角度，记为ANGk(S)。ANGk(S)的取值范围在0°~180°之间。步骤6:根据第k帧图像中各ANGk(S)的取值，计算方向直方图，用HISTk( Θ )，将Θ的取值分为8种情况，分别对应着区间[0°，22.5° )、[22.5° ,45° )、[45° ,67.5° )、[67.5 ° ,90 ° 本文档来自技高网...

【技术保护点】
一种基于时‑空‑频三域联合的雨天视频复原方法，包括以下步骤：步骤1：将输入视频序列各帧图像由RGB颜色空间转换到YCbCr颜色空间，对Y通道图像序列进行步骤2至10的处理，对Cb和Cr两通道的图像进行步骤10的处理；步骤2：采用时域中值滤波法进行背景建模，对于第k帧图像Ik，(x,y)位置上像素点灰度值用Ik(x,y)表示，经过时域中值滤波后得到对应的模板图像为Bk；步骤3：利用背景图像，计算帧间差图像：预设帧间差阈值T1，根据Ik和Bk，计算帧间差二值图Dk；步骤4：设定面积阈值，考察Dk(x,y)中各连通区域的面积，将面积小于面积阈值的区域作为干扰区域并去除，处理后的二值图像记为Rk，将Rk中取值为1的区域判为潜在的雨景区域，设总个数为S；步骤5：对于Rk中的每一个子区域Rk(s)(s=1,2,...,S)，S计算Rk(s)对应的最小外接矩形（MBR），用MBRk(s)表示，按逆时针方向，计算水平坐标轴到该外接矩形长边的角度，记为ANGk(s)，ANGk(s)的取值范围在0°～180°之间；步骤6：根据第k帧图像中各ANGk(s)的取值，计算方向直方图，用HISTk(θ)，将θ的取值分为8种情况，分别对应着区间[0°,22.5°)、[22.5°,45°)、[45°,67.5°)、[67.5°,90°)、[90°,112.5°)、[112.5°,135°)、[135°,157.5°)、[157.5°,180°)，考察HISTk(θ)中8个方向的取值，将取值最大的区间作为第k帧图像中雨滴下落的方向；步骤7：使用二维傅里叶变换，将Ik变换到频率域，其幅度谱图像用Fk表示，相位谱用Pk表示，按照步骤6的8个方向在频域构造楔形滤波器；步骤8：对于某一帧频域图像，根据前面步骤得到的雨滴下落方向特征，从步骤7得到的楔形滤波器中选择合适的一个，对Fk进行滤波处理，处理结果用F′k表示；步骤9：使用F′k和Pk，通过二维傅里叶逆变换，反变换到空域，处理结果用I′k表示；步骤10：使用I′k以及原始的Cb和Cr通道图像，重新组合得到彩色图像。...

【技术特征摘要】

【专利技术属性】
技术研发人员：庞彦伟，刘长波，王建，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12