一种视频去模糊方法及计算机可读存储介质技术

本发明专利技术提供一种视频去模糊方法及计算机可读存储介质，方法包括：获取待处理视频并提取所述待处理视频的视频特征；将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图；将所述视频特征和所述光流图输入自注意力网络获得残差视频；将所述残差视频与所述待处理视频进行相加得到去模糊的清晰视频。通过光流引导的自注意力机制，高效建模长距离依赖关系，在全局范围内捕获像素间的自相似性，解决了当前视频去模糊算法无法建模全局依赖关系的问题，有着更好的去模糊效果和鲁棒性。性。性。

【技术实现步骤摘要】
一种视频去模糊方法及计算机可读存储介质


[0001]本专利技术涉及视频去模糊
，尤其涉及一种视频去模糊方法及计算机可读存储介质。

技术介绍

[0002]视频作为一种重要的信息载体，在人类生活和生产活动中有着重要的作用。然而，由于相机抖动、镜头散焦、物体运动等原因，获取得到的视频往往会发生模糊，导致质量下降。视频去模糊算法则能将退化的模糊视频进行重建，得到高质量的清晰视频，是计算机视觉中一个非常重要且基础的任务，在视频稳定、手机拍照、跟踪和自动驾驶任务中起到十分重要的作用。传统的视频去模糊算法主要是基于人工设计的先验规则和假设，然而这些算法的表达能力和泛化性较差，因此无法取得令人满意的视频去模糊效果。而新兴的基于卷积神经网络的算法，可以取得更好的重建效果，然而，受限于卷积神经网络有限的感受野，目前的算法无法捕获视频序列中的长距离依赖关系，难以对相距较远的特征进行信息融合，导致无法取得理想的去模糊效果，鲁棒性欠佳。
[0003]因此，本专利技术中缺乏一种高效、鲁棒的视频去模糊方法。
[0004]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0005]本专利技术为了解决现有的问题，提供一种视频去模糊方法及计算机可读存储介质。
[0006]为了解决上述问题，本专利技术采用的技术方案如下所述：r/>[0007]一种视频去模糊方法，包括如下步骤：S1：获取待处理视频并提取所述待处理视频的视频特征；S2：将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图；S3：将所述视频特征和所述光流图输入自注意力网络获得残差视频；S4：将所述残差视频与所述待处理视频进行相加得到去模糊的清晰视频。
[0008]优选地，将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图具体包括如下：将所述待处理视频的两个视频帧作为所述光流网络的输入，提取到两个所述视频帧之间的运动信息，具体为:
[0009]O＝F
o
(f1,f2)，
[0010]其中，F
o
代表光流网络，f1,f2代表相邻视频帧，O代表光流图。
[0011]优选地，采用空间金字塔网络或光场卷积神经网络作为所述光流网络对所述待处理视频帧进行特征提取，将所述待处理视频的视频信息从彩色空间映射到特征空间，按照从粗到细的方式学习每个金字塔水平的光流，最终算出两个所述视频帧之间精确的光流图。
[0012]优选地，将所述视频特征和所述光流图输入光流引导自注意力网络获得残差视
频，所述光流引导自注意力网络使用光流对自注意力机制进行引导，融合视频帧间信息。
[0013]优选地，所述光流引导自注意力网络使用光流对自注意力机制进行引导，融合视频帧间信息标识为：
[0014][0015]其中，q代表查询元素，Ω代表地址元素的集合，通过光流信息来进行引导选取得到；A
nqk
代表索引元素和地址元素之间的相似度，通过自相似机制计算得到，W
n
和W'
n
为映射矩阵，是可学习参数，自相似机制的计算公式为：
[0016]A
nqk
＝softmax(q
T
U
T
Vk)
[0017]其中，U,V为映射矩阵，是可学习参数。
[0018]优选地，将所述视频特征和所述光流图输入光流引导自注意力网络获得残差视频，所述光流引导自注意力网络使用光流对窗口注意力机制进行引导融合视频帧间信息。
[0019]可选地，将所述视频特征切分成均匀分布的窗口，对于所述窗口中的每一个查询元素，不仅参考所述查询元素对应的地址元素，也会参考所述窗口中其它查询元素对应的地址元素，该过程用以下公式表示：
[0020]FGSW
‑
MSA(Φ,Ψ)＝{FGS
‑
MSA(q,Ψ)|q∈Φ}
[0021]其中，q代表查询元素，Φ代表窗口中的查询元素集合，Ψ代表所述查询元素集合对应的地址元素。
[0022]优选地，所述自注意力网络还包括：循环嵌入机制，所述循环嵌入机制在计算所述光流引导所述自注意力网络前，将前一视频帧信息存于循环嵌入特征中，与当前帧的查询元素进行拼接，再进行所述注意力机制计算，实现将信息传递给后续视频帧，逐帧迭代，进而建立时间维度长距离依赖。
[0023]优选地，在所述循环嵌入机制中，需将上一视频帧的特征对齐到当前帧，再与当前视频帧信息在通道维度进行连接，作为查询元素，输入自注意力机制中，该过程可通过以下式子进行表示：
[0024][0025][0026]其中，x
f
‑1,x
f
分别代表第f
‑
1和f个视频帧特征，F
w
,F
c
代表对齐和拼接操作。
[0027]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
[0028]本专利技术的有益效果为：提供一种视频去模糊方法及计算机可读存储介质，通过光流引导的自注意力机制，建模长距离依赖关系，在全局范围内捕获像素间的自相似性，解决了当前视频去模糊算法无法建模全局依赖关系的问题，有着更好的去模糊效果和鲁棒性。
[0029]进一步地，本专利技术提出了一种全新的利用光流信息的模式，不采用双线性插值操作对特征进行对齐，而是将运动补偿与特征融合进行有机结合，对光流图进行更加灵活的应用，因此不会破坏视频帧原有的先验信息，保留了特征的自相似性和清晰纹理。
附图说明
[0030]图1是本专利技术实施例中一种视频去模糊方法的示意图。
[0031]图2是本专利技术实施例中一种光流引导的稀疏自注意力模块的示意图。
[0032]图3是本专利技术实施例中一种循环嵌入机制的示意图。
[0033]图4是本专利技术实施例中由由自注意力机制和循环嵌入机制构成的网络的示意图。
具体实施方式
[0034]为了使本专利技术实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0035]需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
[0036]需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频去模糊方法，其特征在于，包括如下步骤：S1：获取待处理视频并提取所述待处理视频的视频特征；S2：将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图；S3：将所述视频特征和所述光流图输入自注意力网络获得残差视频；S4：将所述残差视频与所述待处理视频进行相加得到去模糊的清晰视频。2.如权利要求1所述的视频去模糊方法，其特征在于，将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图具体包括如下：将所述待处理视频的两个视频帧作为所述光流网络的输入，提取到两个所述视频帧之间的运动信息，具体为:O＝F
o
(f1,f2)，其中，F
o
代表光流网络，f1,f2代表相邻视频帧，O代表光流图。3.如权利要求2所述的视频去模糊方法，其特征在于，采用空间金字塔网络或光场卷积神经网络作为所述光流网络对所述待处理视频帧进行特征提取，将所述待处理视频的视频信息从彩色空间映射到特征空间，按照从粗到细的方式学习每个金字塔水平的光流，最终算出两个所述视频帧之间精确的光流图。4.如权利要求3所述的视频去模糊方法，其特征在于，将所述视频特征和所述光流图输入光流引导自注意力网络获得残差视频，所述光流引导自注意力网络使用光流对自注意力机制进行引导融合视频帧间信息。5.如权利要求4所述的视频去模糊方法，其特征在于，所述光流引导自注意力网络使用光流对自注意力机制进行引导融合视频帧间信息标识为：其中，q代表查询元素，Ω代表地址元素的集合，通过光流信息来进行引导选取得到；A
nqk
代表索引元素和地址元素之间的相似度，通过自相似机制计算得到，W
n
和W'
n
为映射矩阵，是可学习参数，自相似机制的计算公式为：A
nqk
＝softmax(q
T
U
T

【专利技术属性】
技术研发人员：王好谦，林靖，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：