一种基于像素流和时间先验信息的单视频帧率复原方法技术

本发明专利技术公开了一种基于像素流和时间先验信息的单视频帧率复原方法，首先获取待复原的单视频和构造观测像素流，并将单视频表示为观测像素流的矩阵形式；然后建立观测像素流的退化模型和原始像素流的概率估计式，由此导出含时间先验信息的原始像素流的复原式；再对观测像素流进行逐一复原，复原中采用的时间先验模型均通过数据驱动方式确定；最后将逐一复原的复原像素流以矩阵形式组合成复原视频，作为最终复原的高帧率视频。本发明专利技术复原方法采用单视频，使得视频采集便捷、复原环节简洁；帧率复原基于像素流概率统计框架，并引入时间先验信息，以及采用数据驱动方式确定时间先验模型，不仅提高视频保真度，还有效消除视频帧的拖尾现象。

【技术实现步骤摘要】

本专利技术涉及一种视频复原方法，特别是涉及一种基于像素流和时间先验信息的单视频帧率复原方法，属于计算机图像与视频处理

技术介绍
传统的视频复原方法，大多针对视频空间分辨率较低的问题，通过对单视频逐帧进行空间复原或对多视频进行空间信息互补重建，来提高视频空间分辨率、恢复视频空间细节信息。广大科研人员在多年广泛深入研究的基础上，提出的各类视频复原方法，均能在一定程度上解决空间分辨率低的问题，或满足基本应用需求。但是，上述有针对性的视频复原方法即使恢复了视频空间细节信息，却仍存在时间分辨率低、帧信息缺失等问题，以至于可能出现视频闪烁、停顿或抖动效应。因此，不同于常用的视频复原技术，除了涉及空间分辨率提高和空间细节信息恢复，视频复原还应关注时间分辨率(也即帧率)和时间细节信息，以进一步提高视频质量或视觉效果。目前，国内外已有一些学者注意到这一问题，并提出了视频的帧率复原方法。现有的视频帧率复原方法通常遵循两种路径。一种是采集同时段同场景的多部视频，通过融合多视频冗余/互补的帧信息，来实现视频帧率的复原。然而，此路径会受到视频采集条件的约束，如设备数量是否充足、型号是否统一等条件；且涉及多视频的同步和时间配准问题，实现起来较为复杂。另一种较为简洁的帧率复原遵循的路径，只需一部视频，通过帧间内插，实现视频帧率的复原。但是，单视频的帧间内插所需内插函数(例如线性函数、样条函数、二次函数等)的假定具有较大的随意性，使得内插帧的保真度不高；而即使采用最小均方误差实现内插，却仍解决不了视频帧的拖尾现象，这种现象主要因采集设备曝光时间较长而导致，使高速运动物体在图像中表现为沿其运动轨迹的模糊现象。
技术实现思路
本专利技术的主要目的在于，克服现有技术中的不足，提供一种基于像素流和时间先验信息的单视频帧率复原方法，特别适用于高速运动物体的视频图像复原。本专利技术所要解决的技术问题是提供视频采集便捷、复原环节简洁、复原结果可靠、实用性强的基于像素流和时间先验信息的单视频帧率复原方法，不仅可摆脱使用多视频复原所涉及到的同步采集或时间配准的复杂程序过程，而且大幅提高视频保真度，以及有效消除因曝光时间长而导致的拖尾现象，极具有产业上的利用价值。为了达到上述目的，本专利技术所采用的技术方案是：一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于，包括以下步骤：步骤(1)获取待复原视频：通过视频采集得到单视频I＝{I(i)|i∈N本文档来自技高网...

【技术保护点】
一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于，包括以下步骤：步骤(1)获取待复原视频：通过视频采集得到单视频I＝{I(i)|i∈N}作为待复原视频，其中，I(i)为视频的帧，i为按时间顺序对每帧进行的编号；步骤(2)设计待复原像素流的构造方法：按帧排序，将单视频每帧位于同一坐标(m,n)的像素Imn(i)进行串联，形成观测像素流Imn＝{Imn(i)|i∈N}作为待复原像素流；步骤(3)将单视频表示为观测像素流的矩阵形式：根据步骤(2)的构造方法，按单视频每帧内的坐标顺序逐一构造出观测像素流，将构造的观测像素流进行组合，可使单视频以观测像素流的矩阵形式表示为其矩阵中的每一个元素均为一个构造的观测像素流；步骤(4)建立观测像素流的退化模型：Imn＝DBHmn+E，其中，D为时间降采样矩阵，B为时间模糊矩阵、用来模拟曝光时间，Hmn为原始像素流，E为加入的高斯分布的噪声向量；步骤(5)计算得出原始像素流Hmn的概率估计式：根据贝叶斯概率统计法则，计算得出原始像素流Hmn的概率估计式为H^mn=argmaxHmnP(Hmn|Imn)=argmaxHmn[P(Imn|Hmn)P(Hmn)];]]>步骤(6)计算得出原始像素流Hmn的复原式：根据步骤(4)中所建观测像素流的退化模型和步骤(5)所得原始像素流Hmn的概率估计式，通过对数计算得出原始像素流Hmn的复原式为H^mn=arg maxHmn(logP(Hmn)-α||Imn-DBHmn||22),]]>其中，为复原像素流，logP(Hmn)代表原始像素流的时间先验信息项，α为优化参数；步骤(7)对观测像素流进行复原：利用步骤(6)所得原始像素流Hmn的复原式，将步骤(3)所得以观测像素流的矩阵形式表示的单视频按下标顺序逐一进行复原，矩阵中每个Imn均以如下步骤进行复原得到复原像素流步骤(7‑1)确定观测像素流的时间先验模型P(Hmn)并判断其是高斯型或拉普拉斯型：根据观测像素流Imn，采用数据驱动的方式，确定观测像素流的时间先验模型P(Hmn)是高斯型还是拉普拉斯型其中，Γ表示信号的高通算子；步骤(7‑2)基于原始像素流Hmn的复原式导出偏导方程：确定时间先验模型P(Hmn)后，基于步骤(6)所得原始像素流Hmn的复原式H^mn=arg maxHmn(logP(Hmn)-α||Imn-DBHmn||22),]]>导出偏导方程为∂∂Hmn[logP(Hmn)]+αBTDT(Imn-DBHmn)=0;]]>步骤(7‑3)对观测像素流Imn进行线性插值，得到像素流作为迭代初始值；步骤(7‑4)利用共轭梯度法对步骤(7‑2)所得偏导方程进行迭代求解，得到复原像素流步骤(8)组合获得复原视频：将步骤(7)逐一复原的复原像素流以矩阵形式组合成复原视频H作为输出，复原视频H以矩阵形式表示为...

【技术特征摘要】
1.一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于，
包括以下...

【专利技术属性】
技术研发人员：徐枫，蒋德富，王慧斌，石爱业，张振，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32