一种基于信号相关性的自适应视频重建方法技术

本发明专利技术公开了一种基于信号相关性的自适应视频重建方法。在基于压缩感知的高时间分辨率视频重建过程中，考虑到视频图像中各运动物体运动速度不一致的情况，针对匹配追踪等基于字典(稀疏域)的重建方法，首先在构建字典时将训练样本根据运动量的不同分为多个样本集并分别进行训练，从而得到对应不同运动量的字典；在视频重建阶段，先将需要重建的观测图像进行不叠加的分块重建，然后计算各帧图像块之间的相关系数，通过相关系数大小确定局部图像运动量，最后根据运动量的大小有针对地选择字典并重建图像。本发明专利技术方法能在重建视频信号的同时区分视频中各物体的运动量，并根据运动信息针对性地重建图像，在提高重建视频效果的同时降低了重建时间。

【技术实现步骤摘要】

本专利技术属于图像处理领域，尤其涉及一种基于信号相关性的自适应高时间分辨率视频重建方法。
技术介绍
基于压缩感知的高时间分辨率视频重建技术，是通过对像素进行单像素曝光编码得到经过编码的观测图像，再利用重建算法对观测图像重建获得一系列视频序列图像，即由二维图像获取三维视频的时间分辨率拓展技术。由于压缩感知是对低于奈奎斯特采样率的采样信号进行恢复重建，因此重建信号的精确程度以及重建速度是人们关注的重点。重建算法一般可分为基于l1范数最小化法、迭代阈值法、匹配追踪法、凸规化法、基于贝叶斯理论的重建方法等，其中匹配追踪法以及部分迭代阈值法认为待恢复的信号在某字典或稀疏域下的表示系数是稀疏的，从而通过估计稀疏系数来重建信号，字典通常使用DCT基、小波基等，为了得到更好的重建效果，也可利用已知的视频信号对字典进行训练。实际的视频中往往有多个不同运动速度的物体，同一区域不同帧间的图像信号间有着相似性，如果该区域无运动，那么各帧信号相关性等于1，即完全相同，如果运动越大，信号相关稀疏就越小。在一些特定的编码方式下(如各像素曝光时间相同)，观测图像中静止背景部分是清晰的，不需要重建或不需要使用训练的字典。与此同时，大多数情况人们更关心的是视频中的运动区域，因此如果对图像全部区域按照相同方式进行重建，不仅浪费时间，而且无法获得物体的运动信息。传统的自适应重建方法一般是针对基于贝叶斯理论的重建方法或是对特定编码的观测图像进行区域搜索。
技术实现思路
本专利技术的目的是在基于压缩感知的高时间分辨率视频重建过程中，自适应地估算视频中各物体的运动量大小，并根据运动信息针对性地重建图像，从而在提高重建视频效果的同时降低重建时间。本专利技术的目的是通过以下技术方案来实现的：一种基于信号相关性的自适应视频重建方法，该方法包括以下步骤：(1)样本分类，具体是：(1.1)利用光流法计算样本视频中相邻帧图像的运动矢量图；(1.2)对样本视频进行随机采样，样本块大小为8×8×T，T为视频帧数；(1.3)根据(1.1)中的运动矢量图计算各个样本块的平均运动量，并依据运动量将样本块分类，得到不同运动量的样本集，其中l为样本集个数，N为样本个数。(2)字典训练，具体是：(2.1)利用K-SVD算法对不同运动量的样本集分别进行训练，得到对应于不同运动量的完备字典Ψl；(2.2)将(2.1)中训练的字典合并为一个字典Ψ，Ψ＝[Ψ1,Ψ2,…]。(3)初步分块重建，具体是；(3.1)将观测图像分为不叠加的图像块，图像块大小为8×8；(3.2)构建三维完备字典Ψ0，其中空间维为64×64的二维余弦基，时间维为T×T的一维小波基；(3.3)利用OMP算法以及字典Ψ0对各图像块重建，得到重建视频块。(4)运动区域分类，具体是：(4.1)计算初步重建的视频块中各帧图像块间的相关系数；(4.2)将相关系数取均值后作为对应图像块区域的相关系数，从而得到整幅图像的相关系数图；(4.3)按照阈值分割相关系数图，得到运动分布图。(5)视频信号重建，具体是：(5.1)计算重建时图像块在(4.3)所得运动分布图中对应区域内各元素的个数，并分别乘上权重系数，根据个数值选择训练字典Ψ的不同区域用于重建；(5.2)利用OMP算法以及(5.1)中选择的字典区域对信号块进行有叠加的块重建，每次移动1个像素。进一步地，步骤1.3中，所述样本个数N＝40000。进一步地，步骤1.3中，所述不同运动量为[0,0.1]，[0.1,1.5]，[1.5,3]三个区域。进一步地，步骤4.3中，所述经验阈值为0.85和0.95，并根据阈值将图像像素值分割为0、0.5和1。进一步地，步骤5.1中，所述权重系数分别为2、2、1。进一步地，步骤5.1中，所述选择规则为，区域内元素1个数最多则选择Ψ1，元素0.5个数最多则选择Ψ2，元素0个数最多则选择Ψ3。本专利技术的有益效果：在基于压缩感知的高时间分辨率视频重建过程中，考虑到视频图像中各运动物体运动速度不一致的情况，首先通过样本分类训练的方式，得到对应不同运动速度的字典，使字典更具针对性；其次，在视频信号重建时，利用初步重建视频信号的相关性判断所重建区域的运动量，进而获得运动分布图，由于初步重建为非叠加的块重建，并且使用的是简单的完备字典，因此初步重建时间仅为使用过完备字典完整重建时的百分之一；根据判断结果选择字典区域更有针对性地重建视频，能在提高重建质量的同时降低重建时间。附图说明图1为本专利技术方法示意图。图2(a)为示例样本视频。图2(b)为示例样本视频由光流法计算得到的帧间运动矢量图。图3为初步分块重建示意图。图4为高时间分辨率视频重建过程示意图。图5为相关系数图。图6运动分布图。图7为根据运动分布图自适应选择字典示意图。图8(a)为等长曝光模式时的观测图像。图8(b)为图8(a)所示观测图像由OMP算法、使用普通完备字典重建视频(8帧)中的第5帧。图8(c)为图8(a)所示观测图像由本专利技术方法重建视频(8帧)中的第5帧。具体实施方式以下结合附图对本专利技术作进一步说明。本专利技术提供的一种基于信号相关性的自适应重建方法，主要包括样本分类、字典训练、初步分块重建、运动量估计和视频重建等几个步骤，如图1所示。步骤1.样本分类1-1利用光流法计算样本视频中相邻帧图像的运动矢量图，如附图2所示，对于T帧的视频，则有T-1张矢量图，运动矢量图中各点的运动量大小为该点矢量的模，这里取T＝8；1-2对样本视频进行随机采样，样本块大小为8×8×T；1-3根据1-1中的运动矢量图计算各个样本块的平均运动量：d={Σi=17Σj=132Bij本文档来自技高网...

【技术保护点】
一种基于信号相关性的自适应视频重建方法，其特征在于，该方法包括以下步骤：(1)样本分类，具体是：(1.1)利用光流法计算样本视频中相邻帧图像的运动矢量图；(1.2)对样本视频进行随机采样，样本块大小为8×8×T，T为视频帧数；(1.3)根据(1.1)中的运动矢量图计算各个样本块的平均运动量，并依据运动量将样本块分类，得到不同运动量的样本集其中l为样本集个数，N为样本个数。(2)字典训练，具体是：(2.1)利用K‑SVD算法对不同运动量的样本集分别进行训练，得到对应于不同运动量的完备字典Ψl；(2.2)将(2.1)中训练的字典合并为一个字典Ψ，Ψ＝[Ψ1,Ψ2,…]。(3)初步分块重建，具体是；(3.1)将观测图像分为不叠加的图像块，图像块大小为8×8；(3.2)构建三维完备字典Ψ0，其中空间维为64×64的二维余弦基，时间维为T×T的一维小波基；(3.3)利用OMP算法以及字典Ψ0对各图像块重建，得到重建视频块。(4)运动区域分类，具体是：(4.1)计算初步重建的视频块中各帧图像块间的相关系数；(4.2)将相关系数取均值后作为对应图像块区域的相关系数，从而得到整幅图像的相关系数图；(4.3)按照阈值分割相关系数图，得到运动分布图。(5)视频信号重建，具体是：(5.1)计算重建时图像块在(4.3)所得运动分布图中对应区域内各元素的个数，并分别乘上权重系数，根据个数值选择训练字典Ψ的不同区域用于重建；(5.2)利用OMP算法以及(5.1)中选择的字典区域对信号块进行有叠加的块重建，每次移动1个像素。...

【技术特征摘要】
1.一种基于信号相关性的自适应视频重建方法，其特征在于，该方法包括以下步骤：(1)样本分类，具体是：(1.1)利用光流法计算样本视频中相邻帧图像的运动矢量图；(1.2)对样本视频进行随机采样，样本块大小为8×8×T，T为视频帧数；(1.3)根据(1.1)中的运动矢量图计算各个样本块的平均运动量，并依据运动量将样本块分类，得到不同运动量的样本集其中l为样本集个数，N为样本个数。(2)字典训练，具体是：(2.1)利用K-SVD算法对不同运动量的样本集分别进行训练，得到对应于不同运动量的完备字典Ψl；(2.2)将(2.1)中训练的字典合并为一个字典Ψ，Ψ＝[Ψ1,Ψ2,…]。(3)初步分块重建，具体是；(3.1)将观测图像分为不叠加的图像块，图像块大小为8×8；(3.2)构建三维完备字典Ψ0，其中空间维为64×64的二维余弦基，时间维为T×T的一维小波基；(3.3)利用OMP算法以及字典Ψ0对各图像块重建，得到重建视频块。(4)运动区域分类，具体是：(4.1)计算初步重建的视频块中各帧图像块间的相关系数；(4.2)将相关系数取均值后作为对应图像块区域的相关系数，从而得到整幅图像的相...

【专利技术属性】
技术研发人员：陈跃庭，唐超影，徐之海，李奇，冯华君，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33