视频去雨的方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种视频去雨的方法、装置、设备及计算机可读存储介质。该方法包括：搭建进行视频去雨的循环深度神经网络模型；对循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。由于循环深度神经网络模型能够编码相邻帧之间的背景信息，抽取更具有表示性的特征，能够整合含雨视频中的时域和空域上的冗余信息，所以能够达到很好的视频去雨的效果，使恢复出的视频更加准确和清晰。

Methods, devices, equipment and computer-readable storage media of video rain removal

The invention provides a method, device, device and computer-readable storage medium for removing rain from video. The method includes: building a cyclic depth neural network model for video rain removal; training the cyclic depth neural network model to obtain the optimized cyclic depth neural network model; using the optimized cyclic depth neural network model to deal with the rain video for rain removal. Because the cyclic depth neural network model can encode the background information between adjacent frames, extract more representational features, and integrate the redundant information in time domain and space domain in the rain video, it can achieve a good effect of video rain removal, and make the recovered video more accurate and clear.

【技术实现步骤摘要】
视频去雨的方法、装置、设备及计算机可读存储介质
本专利技术实施例涉及视频处理
，尤其涉及一种视频去雨的方法、装置、设备及计算机可读存储介质。
技术介绍
恶劣天气条件下拍摄的视频通常面临着图像模糊、图像内容覆盖等一系列问题。雨滴作为最常见的影响含雨视频的因素，通常会造成局部区域的遮挡和模糊。这种信号失真与细节损失会影响许多以高质量视频作为输入的户外视觉应用的性能。因此，视频中雨滴的检测和去除具有重要的意义。现有的视频去雨的方法利用空域和时域的信息冗余，基于物理建模的方法，如利用雨滴的有向性与颜色特性进行视频去雨。或者利用动态时域信息，如视频背景的连续性与雨滴的随机性进行视频去雨。但这些方法没有充分考虑时域和空域冗余信息之间的联系，导致现有的视频去雨方法恢复出的视频并不准确和清晰。
技术实现思路
本专利技术实施例提供一种视频去雨的方法、装置、设备及计算机可读存储介质，该方法解决了现有技术中的视频去雨的方法恢复出的视频并不准确和清晰的技术问题。第一方面，本专利技术实施例提供一种视频去雨的方法，包括：搭建进行视频去雨的循环深度神经网络模型；对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。进一步地，如上所述的方法，所述搭建进行视频去雨的循环深度神经网络模型，具体包括：搭建卷积神经网络，所述卷积神经网络提取所述含雨视频当前帧图像的空域特征；搭建降质判别子网络，所述降质判别子网络根据所述当前帧图像的空域特征和前一帧图像的整合时域特征获得当前帧图像的预测雨滴遮挡区域图；搭建融合子网络，所述融合子网络根据所述当前帧图像的空域特征，所述前一帧图像的整合时域特征及所述当前帧图像的预测雨滴遮挡区域图的约束特征获得当前帧图像的整合时域特征；搭建去雨子网络，所述去雨子网络根据所述当前帧图像的空域特征生成当前帧图像的预测雨滴图；搭建重建子网络，所述重建子网络根据所述当前帧图像的整合时域特征获得当前帧图像的预测细节特征图；搭建去雨重建联合子网络，所述去雨重建联合子网络根据所述当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图；所述卷积神经网络，所述降质判别子网络，所述融合子网络，所述去雨子网络，所述重建子网络，及所述去雨重建联合子网络依次为循环深度神经网络模型的一部分。进一步地，如上所述的方法，所述对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型，具体包括：将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入所述混合雨滴模型的每个视频为所述训练集中的每个训练样本；将所述每个训练样本输入到所述循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对所述循环深度神经网络模型进行训练，以对所述循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。进一步地，如上所述的方法，所述混合雨滴模型具体为：Ot＝(1-αt)(Bt+St)+αtAt；其中，Ot表示所述含雨视频中第t帧图像，Bt表示第t帧图像对应的无雨背景图，St表示第t帧图像对应的雨滴图，At表示第t帧图像对应的低透明度雨滴遮挡图；αt则表示第t帧图像对应的雨滴遮挡区域图；所述组合损失函数具体为：Lall＝Ljoint+λdLdetect+λcLrect+λrLremoval；其中，Ljoint为联合损失函数，Ldetect为雨滴遮挡去雨探测损失函数，Lrect为重建损失函数，Lremoval为去雨损失函数，λd，λc和λr分别为雨滴遮挡去雨探测损失函数，重建损失函数和去雨损失函数对应的权重。进一步地，如上所述的方法，所述采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作之后，还包括：对所述待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频。第二方面，本专利技术实施例提供一种视频去雨的装置，包括：搭建模块，用于搭建进行视频去雨的循环深度神经网络模型；训练模块，用于对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；去雨模块，用于采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。进一步地，如上所述的装置，所述搭建模块，具体用于：搭建卷积神经网络，所述卷积神经网络提取所述含雨视频当前帧图像的空域特征；搭建降质判别子网络，所述降质判别子网络根据所述当前帧图像的空域特征和前一帧图像的整合时域特征获得当前帧图像的预测雨滴遮挡区域图；搭建融合子网络，所述融合子网络根据所述当前帧图像的空域特征，所述前一帧图像的整合时域特征及所述当前帧图像的预测雨滴遮挡区域图的约束特征获得当前帧图像的整合时域特征；搭建去雨子网络，所述去雨子网络根据所述当前帧图像的空域特征生成当前帧图像的预测雨滴图；搭建重建子网络，所述重建子网络根据所述当前帧图像的整合时域特征获得当前帧图像的预测细节特征图；搭建去雨重建联合子网络，所述去雨重建联合子网络根据所述当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图；所述卷积神经网络，所述降质判别子网络，所述融合子网络，所述去雨子网络，所述重建子网络，及所述去雨重建联合子网络依次为循环深度神经网络模型的一部分。进一步地，如上所述的装置，所述训练模块，具体用于：将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入所述混合雨滴模型的每个视频为所述训练集中的每个训练样本；将所述每个训练样本输入到所述循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对所述循环深度神经网络模型进行训练，以对所述循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。进一步地，如上所述的装置，所述混合雨滴模型具体为：Ot＝(1-αt)(Bt+St)+αtAt；其中，Ot表示所述含雨视频中第t帧图像，Bt表示第t帧图像对应的无雨背景图，St表示第t帧图像对应的雨滴图，At表示第t帧图像对应的低透明度雨滴遮挡图；αt则表示第t帧图像对应的雨滴遮挡区域图；所述组合损失函数具体为：Lall＝Ljoint+λdLdetect+λcLrect+λrLremoval；其中，Ljoint为联合损失函数，Ldetect为雨滴遮挡去雨探测损失函数，Lrect为重建损失函数，Lremoval为去雨损失函数，λd，λc和λr分别为雨滴遮挡去雨探测损失函数，重建损失函数和去雨损失函数对应的权重。进一步地，如上所述的装置，还包括：整合模块，用于对所述待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频。第三方面，本专利技术实施例提供一种视频去雨的设备，包括：存储器，处理器以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述任一项所述的方法。...

【技术保护点】
1.一种视频去雨的方法，其特征在于，包括：/n搭建进行视频去雨的循环深度神经网络模型；/n对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；/n采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。/n

【技术特征摘要】
1.一种视频去雨的方法，其特征在于，包括：
搭建进行视频去雨的循环深度神经网络模型；
对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；
采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。


2.根据权利要求1所述的方法，其特征在于，所述搭建进行视频去雨的循环深度神经网络模型，具体包括：
搭建卷积神经网络，所述卷积神经网络提取所述含雨视频当前帧图像的空域特征；
搭建降质判别子网络，所述降质判别子网络根据所述当前帧图像的空域特征和前一帧图像的整合时域特征获得当前帧图像的预测雨滴遮挡区域图；
搭建融合子网络，所述融合子网络根据所述当前帧图像的空域特征，所述前一帧图像的整合时域特征及所述当前帧图像的预测雨滴遮挡区域图的约束特征获得当前帧图像的整合时域特征；
搭建去雨子网络，所述去雨子网络根据所述当前帧图像的空域特征生成当前帧图像的预测雨滴图；
搭建重建子网络，所述重建子网络根据所述当前帧图像的整合时域特征获得当前帧图像的预测细节特征图；
搭建去雨重建联合子网络，所述去雨重建联合子网络根据所述当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图；
所述卷积神经网络，所述降质判别子网络，所述融合子网络，所述去雨子网络，所述重建子网络，及所述去雨重建联合子网络依次为循环深度神经网络模型的一部分。


3.根据权利要求2所述的方法，其特征在于，所述对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型，具体包括：
将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入所述混合雨滴模型的每个视频为所述训练集中的每个训练样本；
将所述每个训练样本输入到所述循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对所述循环深度神经网络模型进行训练，以对所述循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。


4.根据权利要求3所述的方法，其特征在于，所述混合雨滴模型具体为：Ot＝(1-αt)(Bt+St)+αtAt；
其中，Ot表示所述含雨视频中第t帧图像，Bt表示第t帧图像对应的无雨背景图，St表示第t帧图像对应的雨滴图，At表示第t帧图像对应的低透明度雨滴遮挡图；αt则表示第t帧图像对应的雨滴遮挡区域图；
所述组合损失函数具体为：Lall＝Ljoint+λdLdetect+λcLrect+λrLremoval；
其中，Ljoint为联合损失函数，Ldetect为雨滴遮挡去雨探测损失函数，Lrect为重建损失函数，Lremoval为去雨损失函数，λd，λc和λr分别为雨滴遮挡去雨探测损失函数，重建损失函数和去雨损失函数对应的权重。


5.根据权利要求1-4中任一项所述的方法，其特征在于，所述采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作之后，还包括：
对所述待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频。


6.一种视频去雨的装置，其特征在于，包括：
搭建模块，用于搭建进行视频去雨的循环深度神经...

【专利技术属性】
技术研发人员：刘家瑛，杨文瀚，魏晨，杨帅，郭宗明，
申请(专利权)人：北京大学，北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11