一种基于模糊度的视频去模糊方法、装置及设备制造方法及图纸

本发明专利技术适用于计算机视觉和图像处理技术领域，一种基于模糊度的视频去模糊方法、装置及设备，包括：计算视频帧的模糊度；根据所述模糊度确定清晰帧和模糊帧；根据所述清晰帧和所述模糊帧生成参考帧；对所述模糊帧和所述参考帧进行图像块提取；根据所述图像块中的像素点对应的权重进行加权融合，得到融合后的图像块；将所述融合后的图像块进行重组，得到输出图像。由于本实施例不需要估计模糊核，而是通过计算视频帧的模糊度，并根据模糊度来确定清晰帧和模糊帧，有效地降低了计算的复杂度，使得计算速度得以提升；并且考虑到了参考帧的权重，根据所提取到的图像块中像素点对应的权重进行加权融合，使得最终输出的图像清晰度较高。

A method, device and equipment of video deblurring based on fuzzy degree

【技术实现步骤摘要】
一种基于模糊度的视频去模糊方法、装置及设备
本专利技术属于计算机视觉和图像处理
，尤其涉及一种基于模糊度的视频去模糊方法、装置及设备。
技术介绍
视频序列受视频捕获设备主体姿态变化或运动干扰会出现无规律的运动，如设备的抖动、行驶道路高低不平、以及手抖等因素的影响，使得成像后得到的视频画面模糊。模糊的视频不仅带来了极差的观看体验，而且不利于观察和提取视频中的有用信息，因此需要对模糊的视频进行去模糊处理。目前，对视频进行去模糊处理的方法主要是利用模糊核进行视频去模糊。根据模糊核的性质，可分为非盲去模糊和盲去模糊。非盲去模糊需要在模糊核已知的情况下进行，但是在不同场景下的视频编辑中，是无法预先知道模糊核的。而盲去模糊需要对模糊核进行估计，而对模糊核的估计需要进行大量的运算，使得计算复杂度太高。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于模糊度的视频去模糊方法、装置及终端设备，以解决现有技术中视频去模糊的计算复杂度太高的问题。本专利技术实施例的第一方面提供了一种基于模糊度的视频去模糊方法，包括：计算视频帧的模糊度；根据所述模糊度确定清晰帧和模糊帧；根据所述清晰帧和所述模糊帧生成参考帧；对所述模糊帧和所述参考帧进行图像块提取；根据所述图像块中的像素点对应的权重进行加权融合，得到融合后的图像块；将所述融合后的图像块进行重组，得到输出图像。本专利技术实施例的第二方面提供了一种模糊度的视频去模糊装置，包括：模糊度计算模块，用于计算视频帧的模糊度；清晰帧和模糊帧确定模块，用于根据所述模糊度确定清晰帧和模糊帧；参考帧生成模块，用于根据所述清晰帧和所述模糊帧生成参考帧；图像块提取模块，用于对所述模糊帧和所述参考帧进行图像块提取；加权融合模块，用于根据所述图像块中的像素点对应的权重进行加权融合，得到融合后的图像块；图像块重组模块，用于将所述融合后的图像块进行重组，得到输出图像。一种视频去模糊设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。本专利技术实施例与现有技术相比存在的有益效果是：由于本实施例不需要估计模糊核，而是通过计算视频帧的模糊度，并根据模糊度来确定清晰帧和模糊帧，有效地降低了计算的复杂度，使得计算速度得以提升；并且考虑到了参考帧的权重，根据所提取到的图像块中像素点对应的权重进行加权融合，使得最终输出的图像清晰度较高。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种基于模糊度的视频去模糊方法的示意流程图；图2是根据所述清晰帧和所述模糊帧生成参考帧的具体步骤示意图；图3是将一幅图像进行图像块提取后得到的图像块；图4是本专利技术实施例提供的一种基于模糊度的视频去模糊装置的示意图；图5是本专利技术实施例提供的一种视频去模糊设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一：请参见图1，图1为本专利技术实施例提供的一种基于模糊度的视频去模糊方法的示意流程图，详述如下：步骤S101：计算视频帧的模糊度。优选地，在计算视频帧的模糊度之前，包括：获取待处理的视频。在获取到待处理的视频之后，将该视频按照一定的帧率例如50fps解析成视频帧。具体地，所述计算视频帧的模糊度具体包括：对视频帧进行灰度化处理，得到灰度图像；对所述灰度图像进行滤波，得到滤波图像；计算所述滤波图像的方差，得到所述视频帧的模糊度。通常情况下，由于解析出来的视频帧是彩色图像，为了减少计算量，需要先对视频帧进行灰度化处理，即将彩色图像转化成灰度图像。当然，如果视频帧本身就是灰度图像，则不需要进行灰度化处理。将灰度化处理之后得到的灰度图像进行滤波，以实现计算图像边缘梯度的目的。通常情况下，可选择拉普拉斯滤波方法来对灰度图像进行滤波，经过拉普拉斯滤波之后得到滤波图像。计算所述滤波图像的方差，可根据如下方差函数计算每幅图像的方差：D(f)＝ΣyΣx|f(x，y)-μ|2上式中，D(f)为计算得到的方差，f(x，y)为图像中某一像素点的灰度值即像素值，μ为整幅图像的平均灰度值，x为像素点的横坐标，y为像素点的纵坐标。将方差用来表示所述滤波图像的模糊度，便得到视频帧的模糊度。需要说明的是，由于清晰的图像比模糊的图像的边缘梯度具有更大的差异，因此方差和模糊度之间的关系是负相关的，即方差越大，说明对应的滤波图像模糊度越小，即清晰度越高；方差越小，说明对应的滤波图像模糊度越大，即清晰度越低。步骤S102：根据所述模糊度确定清晰帧和模糊帧。具体地，所述根据模糊度确定清晰帧和模糊帧具体包括：根据所述模糊度对所述视频帧进行排序，得到排序后的图像序列；从所述图像序列中选取模糊度较大的多个视频帧作为模糊帧，模糊度较小的多个视频帧作为清晰帧。根据得到的模糊度对所述视频帧进行排序，具体的排序方式可以按照模糊度从大到小排序，也可以是从小到大排序。以便说明，本实施例选择将模糊度从大到小排序，选取模糊度较大的多个视频帧作为模糊帧，即选取模糊度排名前a位的a个视频帧作为模糊帧，选取模糊度最小的视频帧作为清晰帧，即选取排名后b位的b个视频帧作为清晰帧。其中，a和b可以根据需要设定，为方便说明，本实施例选取的a为3，b为2，即选取模糊度排名前3位的三个视频帧作为模糊帧，模糊度排名后2位的两个视频帧作为清晰帧。步骤S103：根据所述清晰帧和所述模糊帧生成参考帧。优选地，在根据所述清晰帧和所述模糊帧生成参考帧之前，为了减少计算量，加快处理速度，需要先对所述清晰帧和所述模糊帧进行下采样操作，即降低图像的分辨率。其中，下采样的原理是：假设一副图像的尺寸为M*N(M和N为像素点的数量)，则按照采样率s对该图像进行下采样，得到的图像分辨率则为(M/s)*(N/s)。结合图2所示，图2为根据所述清晰帧和所述模糊帧生成参考帧的具体步骤，根据所述清晰帧和所本文档来自技高网...

【技术保护点】
1.一种基于模糊度的视频去模糊方法，其特征在于，包括：/n计算视频帧的模糊度；/n根据所述模糊度确定清晰帧和模糊帧；/n根据所述清晰帧和所述模糊帧生成参考帧；/n对所述模糊帧和所述参考帧进行图像块提取；/n根据所述图像块中的像素点对应的权重进行加权融合，得到融合后的图像块；/n将所述融合后的图像块进行重组，得到输出图像。/n

【技术特征摘要】
1.一种基于模糊度的视频去模糊方法，其特征在于，包括：
计算视频帧的模糊度；
根据所述模糊度确定清晰帧和模糊帧；
根据所述清晰帧和所述模糊帧生成参考帧；
对所述模糊帧和所述参考帧进行图像块提取；
根据所述图像块中的像素点对应的权重进行加权融合，得到融合后的图像块；
将所述融合后的图像块进行重组，得到输出图像。


2.如权利要求1所述的方法，其特征在于，所述计算视频帧的模糊度具体包括：
对视频帧进行灰度化处理，得到灰度图像；
对所述灰度图像进行滤波，得到滤波图像；
计算所述滤波图像的方差，得到所述视频帧的模糊度。


3.如权利要求2所述的方法，其特征在于，所述根据模糊度确定清晰帧和模糊帧具体包括：
根据所述模糊度对所述视频帧进行排序，得到排序后的图像序列；
从所述图像序列中选取模糊度较大的多个视频帧作为模糊帧，模糊度较小的多个视频帧作为清晰帧。


4.如权利要求1所述的方法，其特征在于，所述根据所述清晰帧和所述模糊帧生成参考帧，具体包括：
利用光流法计算相邻两帧之间的前向光流和后向光流；其中，所述相邻两帧包括清晰帧和模糊帧；
取所述模糊帧的某一像素点作为当前像素点，所述前向光流是指所述当前像素点从所述模糊帧指向所述清晰帧的前向运动矢量；
根据所述前向光流，计算所述当前像素点的前向光流指向所述清晰帧的像素点，即前向像素点；所述后向光流则是指所述前向像素点从所述清晰帧指向所述模糊帧的后向运动矢量；
根据所述后向光流，计算所述前向像素点的后向光流指向所述模糊帧的像素点，即后向像素点；
计算所述当前像素点和所述后向像素点的位置误差；
根据所述位置误差生成参考帧。


5.如权利要求4所述的方法，其特征在于，所述根据所述位置误差生成参考帧，具体包括：
根据所述位置误差构建掩膜，具体为：若所述位置误差小于第一预设值，则将所述当前像素点标记为1，反之则将所述当前像素点标记为0；
若所述位置误差小于第二预设值，则将所述前向像素点作为所述当前像素点的参考点；
根据所述参考点生成参考对齐帧；
根据所述掩膜、...

【专利技术属性】
技术研发人员：王雪松，
申请(专利权)人：深圳市炜博科技有限公司，
类型：发明
国别省市：广东;44