一种基于贝叶斯理论的视频拼接方法技术

本发明专利技术提出了一种基于贝叶斯理论的视频拼接方法。该方法通过对视频对应帧估计流场，同时考虑流场不精确引起的图像配准误差；通过在时间上和空间上应用贝叶斯原理，将图像误差作为自适应可靠性，得到视频拼接的后验概率模型；通过优化方法求解最大后验模型，得到稳定的高质量视频输出结果。本文提出的方法能够在空间上有效的去除由于流场估计不准确产生的奇异点，时间上保证视频稳定性，从而得到高质量的视频输出结果。

【技术实现步骤摘要】

本专利技术涉及一种基于贝叶斯理论的视频拼接方法。
技术介绍
视频拼接，就是给定一系列有限重叠区域的视频图像序列，通过算法处理，拼接成一个高分辨率、宽视角的全景视频图像。一般来说，全景视频拼接技术根据获取方式不同，可分为两类：一类是通过单个特殊摄像机镜头获得全景视频图像；另一类是通过普通摄像机获取不同视角的视频，再通过拼接算法获得全景图像。前者虽然能够快速的获得全景视频图像，但是价格昂贵，并且输出的视频质量不高；后者对场景和拍摄者的约束较少，实用性更强，因此更多用户使用多个视角的视频流创建全景视频图像。目前，全景视频拼接技术已经广泛用在军队监视，航空拍摄，视频会议等。全景视频拼接在时间和空间上需要质量保证:时间上要保证视频输出的稳定性，确保亮度恒定，不会出现闪烁或者是抖动。空间上需要保证视频拼接的质量，尽量消除奇异点。在视频拼接过程中，产生奇异点的原因有很多种，例如，相机标定误差，遮挡现象，运动目标的移动，归根结底是视频配准不精确。图像配准矩阵的获取方法大致可以分为两种，一种通过特征点配准获取，一种直接通过像素点获取。传统的方法通过对图像进行几何校正，精确计算变换矩阵，去除特征点匹配中错误匹配对来减小配准误差，但是，误差不可能被完全消除，去除由配准误差引起的奇异点仍然是当今的挑战性问题。视频拼接可以看成重叠区域图像重构问题，通常可以模拟到MAP的框架中。H.Y.Shumetal.将合成图像看成一个可以从新的视角观测到的图像，同时应用图像先验条件控制新的视角能够产生于文理比较稳定的输入视频序列。LuYangetal.提出基于可靠性理论消除自由视点合成图像中的奇异点。通过正确标注不同视点可靠与不可靠区域，将由一个视点的不可靠像素点通过另一个视点的可靠像素代替，从而消除奇异点。另外，有人提出了一种基于概率可靠性推理的考虑深度误差的自由视点的虚拟视角合成方法，通过近似深度误差，将新视角图像的恢复通过求解最大后验概率实现。光流是反映时序连续的两幅图像的像素之间的对应关系矢量场。光流计算是计算机视觉领域的一个基本问题，它在运动分析、立体视觉、增强现实、医学成像等方面有广泛的应用。有许多方法可以估计这些矢量场。这些方法着力计算从时序上稍早的一幅图像到时序上稍晚的另一幅图像的有向配准图，也就是时序上的前向光流。传统的光流矢量估计需要稠密采样，当然由粗到精的变换在某种程度上降低了这种限制，但是人物运动的细节问题一直没有解决。ThomasBrox等人将大量的描述符整合到变分光流中。能够估计高精确度的密集光流场，同时能够实现运动分析的新区域，不再需要满足密集采样的需求。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种高质量的基于贝叶斯理论的视频拼接方法，对重叠区域少的视频有更好的鲁棒性，从而实现高质量视频的稳定的输出。本专利技术的目的是通过以下技术方案来实现的：一种基于贝叶斯理论的视频拼接方法，它包括以下步骤：S1：获取视频流对应帧重叠区域，并分别以两幅图像作为基准图，估计前向后向流场：令ItL和ItR分别是两幅当前待拼接视频对应帧图像的重叠区域，通过分别对带拼接视频帧作用前向流场和后向流场，获得四个虚拟视角：It1=Htf1ItL,It2=(-Htf2)ItL,It3-Htf3ItR,It4=(-Htf4)ItR;]]>其中，与分别为作用在左图的前向流场与后向流场，与分别为作用在右图上的前向流场与后向流场；S2：构建基于贝叶斯原理的视频融合能量函数结构：分别对视频在空间和时间上进行贝叶斯推理，提出基于贝叶斯模型的视频拼接框架，通过优化后验概率能量函数获得拼接结果；其中，在空间上保证视频拼接奇异点的有效消除，质量较高，在时间上去除视频闪烁，保证视频稳定输出，同时采用先验概率支持最近邻平滑，包括以下子步骤：S21：获得后验概率能量函数ELikelihood(V)：根据步骤S1通过变换得到的四个虚拟视角，采用贝叶斯原理重新生成视频对应帧的融合部分，理想的融合结果V构建成如下形式：ELikelihood(V)＝ω1(Vti-I(t1)i)2+ω2(Vti-I(t2)i)2+ω3(Vti-I(t3)i)2+ω4(Vti-I(t4)i)2+ω5(Vti-V(t-1)i)2其中，前四项函数的建立是基于流场估计误差所产生的像素强度差值；为了消除视频输出的闪烁，增强视频的稳定性，将时间域的平滑即第五项函数加入似然能量函数数据项，其中Vt-1为视频流对应前一帧拼接结果，式中ω表示待拼接图像中每个像素对应的可靠性，i表示图像中对应的像素点，具体地：ω1＝a/((ItRi-I(t1)i)2+b)；ω2＝a/((ItRi-I(t2)i)2+b)；ω3＝a/((ItLi-I(t3)i)2+b)；ω4＝a/((ItLi-I(t4)i)2+b)；ω5＝a/((V(t-1)i-V(t-2)i)2+b)；式中a和b取决于Gamma分布中的高阶参数α，β，在本专利中，根据实验，取值为a＝b＝160。S22：获得图像先验能量函数Eprior(V)：Eprior(V)=Σi=1n|Vti-Vtj|(j∈Ni);]]>S23：根据步骤S31和S32得到能量函数E(V)：E(V)＝ELikelihood(V)+EPrior(V)；S3：将能量函数等效为标签问题最小化，构件图模型，采用graph-cuts进行求解；S4：视频拼接输出显示：对视频每一对应帧拼接，获得连续的全景视频序列。在步骤S1的配准过程中，选择计算时序上的后向光流，即获得时序上稍晚的图像的像素点到时序上稍早的图像像素点之间的对应关系的矢量场。一种基于贝叶斯理论的视频拼接方法还包括一个步骤S0：视频帧进行预处理，对图像进行矫正，使得图像中心在同一个水平线上。本专利技术的有益效果是：本专利技术采用对应帧估计的流场作为视频配准矢量矩阵，同时考虑流场估计不精确引起的图像误差；通过在时间上和空间上应用贝叶斯原理，将图像误差作为自适应可靠性，得到后验概率模型；通过优化方法求解最大后验模型，得到稳定的高质量视频输出结果。本文提出的方法能够在空间上有效的去除由于流场估计不准确产生的奇异点，时间上保证视频稳定性，从而得到高质量的视频输出结果。附图说明图1为本专利技术方法流程图；图2为本专利技术为步骤S1待拼接变换示意图。具体实施方式下面结合附图进一步详细描述本专利技术的技术方案：如图1所示，一种基于贝叶斯理论的视频拼接方法，它包括以下步骤：S0：视频帧进行预处理，对图像进行矫正，使得图像中心在同一个本文档来自技高网...

【技术保护点】
一种基于贝叶斯理论的视频拼接方法，其特征在于：它包括以下步骤：S1：获取视频流对应帧重叠区域，并分别以两幅图像作为基准图，估计前向后向流场：令ItL和ItR分别是两幅当前待拼接视频对应帧图像的重叠区域，通过分别对带拼接视频帧作用前向流场和后向流场，获得四个虚拟视角：It1=Htf1ItL,It2=(-Htf2)ItL,It3=Htf3ItR,It4=(-Htf4)ItR;]]>其中，与分别为作用在左图的前向流场与后向流场，与分别为作用在右图上的前向流场与后向流场；S2：构建基于贝叶斯原理的视频融合能量函数结构：分别对视频在空间和时间上进行贝叶斯推理，提出基于贝叶斯模型的视频拼接框架，通过优化后验概率能量函数获得拼接结果；其中，在空间上保证视频拼接奇异点的有效消除，质量较高，在时间上去除视频闪烁，保证视频稳定输出，同时采用先验概率支持最近邻平滑，包括以下子步骤：S21：获得后验概率能量函数ELikelihood(V)：根据步骤S1通过变换得到的四个虚拟视角，采用贝叶斯原理重新生成视频对应帧的融合部分，理想的融合结果V构建成如下形式：ELikelihood(V)＝ω1(Vti‑I(t1)i)2+ω2(Vti‑I(t2)i)2+ω3(Vti‑I(t3)i)2+ω4(Vti‑I(t4)i)2+ω5(Vti‑V(t‑1)i)2其中，前四项函数的建立是基于流场估计误差所产生的像素强度差值；为了消除视频输出的闪烁，增强视频的稳定性，将时间域的平滑即第五项函数加入似然能量函数数据项，其中Vt‑1为视频流对应前一帧拼接结果，式中ω表示待拼接图像中每个像素对应的可靠性，i表示图像中对应的像素点，具体地：ω1＝a/((ItRi‑I(t1)i)2+b)；ω2＝a/((ItRi‑I(t2)i)2+b)；ω3＝a/((ItLi‑I(t3)i)2+b)；ω4＝a/((ItLi‑I(t4)i)2+b)；ω5＝a/((V(t‑1)i‑V(t‑2)i)2+b)；式中a和b取决于Gamma分布中的高阶参数α，β；S22：获得图像先验能量函数Eprior(V)：Eprior(V)=Σi=1n|Vti-Vtj|,(j∈Ni);]]>S23：根据步骤S31和S32得到能量函数E(V)：E(V)＝ELikelihood(V)+EPrior(V)；S3：将能量函数等效为标签问题最小化，构件图模型，采用graph‑cuts进行求解；S4：视频拼接输出显示：对视频每一对应帧拼接，获得连续的全景视频序列。...

【技术特征摘要】
1.一种基于贝叶斯理论的视频拼接方法，其特征在于：它包括以下步骤：
S1：获取视频流对应帧重叠区域，并分别以两幅图像作为基准图，估计前向后向流场：
令ItL和ItR分别是两幅当前待拼接视频对应帧图像的重叠区域，通过分别对带拼接视频帧作用
前向流场和后向流场，获得四个虚拟视角：
It1=Htf1ItL,It2=(-Htf2)ItL,It3=Htf3ItR,It4=(-Htf4)ItR;]]>其中，与分别为作用在左图的前向流场与后向流场，与分别为作用在右
图上的前向流场与后向流场；
S2：构建基于贝叶斯原理的视频融合能量函数结构：分别对视频在空间和时间上进行贝
叶斯推理，提出基于贝叶斯模型的视频拼接框架，通过优化后验概率能量函数获得拼接结果；
其中，在空间上保证视频拼接奇异点的有效消除，质量较高，在时间上去除视频闪烁，保证
视频稳定输出，同时采用先验概率支持最近邻平滑，包括以下子步骤：
S21：获得后验概率能量函数ELikelihood(V)：根据步骤S1通过变换得到的四个虚拟视角，
采用贝叶斯原理重新生成视频对应帧的融合部分，理想的融合结果V构建成如下形式：
ELikelihood(V)＝ω1(Vti-I(t1)i)2+ω2(Vti-I(t2)i)2+ω3(Vti-I(t3)i)2+ω4(Vti-I(t4)i)2+ω5(Vti-V(t-1)i)2其中，前四项函数的建立是基于流场估计误差所产生的像素强度差值；为了消除视频输
出的闪烁，增强视频的稳定性，将时间域的...

【专利技术属性】
技术研发人员：杨路，苏建美，王泽，程洪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51