一种视频的时域一致性半透明边缘提取方法技术

本发明专利技术公开了一种视频的时域一致性半透明边缘提取方法。对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分割；根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自动膨胀分割边缘生成三色图；利用三色图和视频像素在时域上的光流信息进行时域一致性抠图。本发明专利技术能够提取视频物体的时域一致性半透明边缘，还能够得到时域一致性分割结果，在影视2D转3D制作中合成立体新视图时避免边缘的抖动和黑边现象，保证了立体视频的高质量转制。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了。对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分割；根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自动膨胀分割边缘生成三色图；利用三色图和视频像素在时域上的光流信息进行时域一致性抠图。本专利技术能够提取视频物体的时域一致性半透明边缘，还能够得到时域一致性分割结果，在影视2D转3D制作中合成立体新视图时避免边缘的抖动和黑边现象，保证了立体视频的高质量转制。【专利说明】
本专利技术涉及一种视频提取方法，特别是涉及3D立体影视转制
的一种视 频的时域一致性半透明边缘提取方法。
技术介绍
自2009年《阿凡达3D》上映以来，3D立体影视成为电影制作的主流，但是用立体 摄像机直接拍摄3D立体影视的成本高、时间长、立体效果调整难度大，因此如何将2D影视 转制成3D立体影视成为3D立体影视制作领域的研究热点。 2D影视转制成3D立体影视的基础技术流程包括：1、镜头分解；2、深度反求；3、 立体合成。其中最关键的是深度反求技术，即直接恢复视频图像上每一个像素到摄像机的 距离。由于视频图像是一个2D平面，而且影视场景中的物体复杂多变，视频深度的反求是 很困难的技术问题。很多研究者提出了机器学习方法恢复单目视频深度，从而实现立体化 ，该方法虽然有较高 的自动化，但得到的3D立体影视的质量无法保证。另外一种基于视频分割的3D立体视频 转制方法虽然需要较多的人工交互，但是能够得到更好的立体效果。 基于视频分割的3D立体视频转制流程细化如下：1、镜头分解；2、图层预置；3、图 层分割；4、图层深度反求；5、图层立体合成；6、视频立体合成。其中，图层就是视频分割的 结果，根据后期制作人员的需求，将视频中的物体分割成独立的图层，然后分别对每一个图 层进行立体化。对于边缘比较锐利、明显的物体，简单的分割前景背景就可以做到无缝的立 体化，但是在出现毛发、运动模糊等半透明边缘时，简单的分割往往会在图层背景上残留前 景，或者前景上残留背景，导致立体效果大打折扣。因此3D立体影视转制必须采用半透明 边缘提取方法，将半透明区域的前景和背景彻底分离，才能避免立体视觉上的明显瑕疵。 现有的视频分割方法一般采用半交互半自动的方式，如用户在第一帧交互分割， 然后将分割结果传递到下一帧，并根据分割结果继续交互优化。为了得到更好的效果，在 最后分割完成之后，现有技术还在分割结果的边缘上计算半透明边缘，如和，但是现有技术都没有充 分考虑时域上的一致性，而是直接逐帧进行抠图，因此无法保证半透明边缘在时域上的一 致性。而如何使半透明边缘求解结果在时域上具有高度的一致性，视觉上不会闪烁，在3D 立体影视制作中是至关重要的。目前的视频半透明边缘方法在时域的一致性上做得还不够 理想，普遍存在严重的抖动现象，亟待进一步突破。 总而言之，现有的方法无法很好地对毛发等半透明物体进行时域一致性抠图，导 致3D立体影视的转制效果很差。因此，需要， 解决以上问题。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供了一种视频的时域一致性半透明边缘 提取方法，以在影视2D转3D制作过程中实现时域一致性视频图层分割，并能够提取视频的 时域一致性半透明边缘。 本专利技术采用的技术方案包括： A)对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分 割； B)根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自 动膨胀分割边缘生成三色图； C)利用三色图和视频像素在时域上的光流信息进行时域一致性抠图。 所述的步骤A)具体包括： al)对视频的图像帧进行逐帧半交互式分割，生成前景视频图像和背景视频图 像； a2)由以上步骤得到的半交互式分割结果通过优化进行视频时域一致性分割。 所述的步骤a2)中半交互式分割结果通过以下分割目标函数Ε(α，ζ)进行优化， 完成视频时域一致性分割： 【权利要求】1. ，其特征在于，包括以下步骤： A) 对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分割； B) 根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自动膨 胀分割边缘生成三色图； C) 利用三色图和视频像素在时域上的光流信息进行时域一致性抠图。2. 根据权利要求1所述的，其特征在于： 所述的步骤A)具体包括： al)对视频的图像帧进行逐帧半交互式分割，生成前景视频图像和背景视频图像； a2)由以上步骤得到的半交互式分割结果通过优化进行视频时域一致性分割。3. 根据权利要求2所述的，其特征在于： 所述的步骤a2)中半交互式分割结果通过以下分割目标函数Ε(α，ζ)进行优化，完成视频 时域一致性分割：式中，ζ表示视频图像的所有像素的颜色集合，α为视频分割标记，λ λ 2, λ 3分别为 数据项权重、控制空域平滑权重和控制时域平滑权重，D(a，z)为分割数据项，V(a，z)为 分割空域平滑项，Τ(α，ζ)为分割时域平滑项。4. 根据权利要求3所述的，其特征在于： 所述的分割数据项D ( α，ζ)采用以下公式计算：式中，pt(zx)是像素点X在第t帧背景视频图像的概率函数，ζχ为像素点X的颜色值， 其定义为RGB的颜色空间，α χ为像素点X的视频分割标记，Γ为第t巾贞视频图像,Κ为视频 图像的总帧数。5. 根据权利要求3所述的，其特征在于： 所述的分割空域平滑项V ( α，ζ)采用以下公式计算：式中，C是视频图像中以两个相邻像素为一组组成的所有像素组集合，相邻像素定义为 像素的四邻域上，（m，η)为所有像素组集合C中的一组像素组，m、n表示像素组（m，η)中的 两个像素点，απ、α η分别为像素点m和像素点η的视频分割标记，|.|表示绝对值函数， d(.)是像素在图像上的位置之间的欧拉距离函数。6. 根据权利要求3所述的，其特征在于： 所述的分割时域平滑项T ( α，z)采用以下公式计算：式中，η表示时域平滑项要往前和往后计算的η帧相邻图像，W(x)是以像素点χ为中心 的3X3局部窗口中的9个像素集合，y为局部窗口 W(x)中的任一像素点，<7二为像素点y 在第k帧的对应像素点/的光流置信度，分别表示位置、颜色的控制系数，k为像素点yk所 在的图像帧，是第k帧图像在像素点yk的分割标记，exp ()是以自然常数e为底的指数 函数。7. 根据权利要求1所述的，其特征在于： 所述的步骤C)中时域一致性抠图具体采用以下抠图目标函数F(i3，z)进行抠图：式中，β表示像素点的半透明值集合，υ(Γ)表示图像Γ的三色图中待求解的未知区 域包含的像素集合，λ Q，λ ρ，λ Η，λ e为抠图数据项权重、控制抠图时域平滑权重、控制抠图 空域局部平滑权重和控制抠图空域平滑权重，Q(i3，z，x)为抠图数据项，G(i3，z)为抠图空 域平滑项，以0， 2，1)为抠图空域局部平滑项，？〃+1(12，1)为第七帧视频图像到后一帧视 频图像的正向抠图时域平滑项，ρ?Η(β，z，X)为第t帧视频图像到前一帧视频图像的反向 抠图时域平滑项。8. 根据权利要求7所述的，其特征在于： 所述本文档来自技高网...

【技术保护点】
一种视频的时域一致性半透明边缘提取方法，其特征在于，包括以下步骤：A)对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分割；B)根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自动膨胀分割边缘生成三色图；C)利用三色图和视频像素在时域上的光流信息进行时域一致性抠图。

【技术特征摘要】

【专利技术属性】
技术研发人员：董子龙，
申请(专利权)人：杭州道玄影视科技有限公司，
类型：发明
国别省市：浙江;33