一种二维视频转三维视频的方法及系统技术方案

本发明专利技术揭示了一种二维视频转三维视频的方法及系统，所述方法包括如下步骤：对输入的二维视频进行镜头分割，把视频序列分割成镜头；提取镜头的关键帧；对视频帧进行场景分割，将视频帧分割为背景和前景；根据背景的运动信息建立全局运动模型；对关键帧的背景进行深度赋值，根据全局运动模型计算后续视频帧的背景深度信息，进行视频帧背景的三维重建；对关键帧的前景深度赋值，对后续视频帧的前景进行全局运动补偿，然后根据前景各目标在前后帧中的时域相关性计算前景深度信息，进行视频帧前景的三维重建；将重建得到的三维背景和三维前景合成为三维视频输出。本发明专利技术可实现高精度高效率的3D转换，产生逼真的3D效果。

【技术实现步骤摘要】

本专利技术属于立体视频处理
，涉及一种三维视频转换方法，尤其涉及一种二维视频转三维视频的方法；同时，本专利技术还涉及一种二维视频转三维视频的系统。
技术介绍
随着三维显示技术的成熟与推广，三维内容逐渐成为三维产业发展的瓶颈。三维内容主要有两个来源3D拍摄与2D转3D，利用3D摄像机拍摄新的3D视频是一种提供内容的可行方式，但这种方式成本较高，并且无法利用已经存在的海量2D视频内容。因此将已有的2D视频转换为3D视频的技术有着巨大的市场需求。 2D视频转换成3D视频的方法和装置已经有不少，例如中国台湾的广达电脑股份有限公司申请的专利“可自动将二维影像转换为三维影像的方法”(公开号CN101211463)利用在2D影像中圈选对象、设定基线、给予物件位移量等操作转换3D视频，没有有效利用视频的时空相关性，人工干预工作量大，效率较低。上海交通大学申请的专利“二维图像序列三维重建方法”(公开号CN1588452)从二维图像序列中分割出感兴趣的对象并构造三维体数据，最终采用计算机绘制手段将三维物体绘制出来，但该方法的最终输出是图形数据，而不是3D视频。福州华映视讯有限公司申请的专利“将二维影像转换为三维影像的方法”(公开号CN101593349)将二维影像转换为灰阶影像再提取深度值，其缺陷在于利用的信息量小，适用范围比较有限。美国奥拉西伊公司的专利“用于自动进行二维和三维转换的方法”(公开号CN1524249)提供了一种用于控制已知的光学原理来将单个主图像转换成多个图像的方法，该专利是针对图像的技术，没有利用视频的相关性信息。日本三洋电机株式会社的专利“将二维图像转换成三维图像的方法”(公开号CN1126344)同样是关于图像的转换方法，没有利用视频信息。韩国三星电子株式会社的专利“从二维图像产生三维图像的装置及其方法”(公开号CN1426024)，根据图像的照明特征利用滤波器生成三维图像。荷兰皇家飞利浦电子股份有限公司申请的专利“将二维视频转换为三维视频的方法和系统”(公开号CN101563935)，根据对场景的音频信息的分析来制定该场景的视觉深度。美国切克梅特国际公司的专利“用于从二维视频源中合成出三维视频的系统和方法”(公开号CN1244278)对来自二维视频源的帧进行数字化并将其分解为多个场，随后对这些场单独进行处理并对其进行变换以引入在与其它场组接在一起时可被观察者理解为三维图像的视觉线索。本专利技术与上述已有的专利相比具有不同之处。自动二维视频转三维视频的技术，效果极其有限，缺乏实用性；人工二维视频转三维视频技术，人工干预工作量大，效率低。本专利技术的优点是对无结构的视频序列进行结构化，将视频序列用镜头与关键帧来描述；由于关键帧数目远小于非关键帧数目，因此对关键帧2D转3D实施人工干预，提高3D转换效果；对非关键帧，利用镜头内视频的强相关性和关键帧的3D转换结果进行自动处理，提升3D转换效率。本专利技术不仅可以实现高质量的3D效果，还可以节约时间，提高效率。
技术实现思路
本专利技术所要解决的技术问题是提供一种二维视频转三维视频的方法，可实现高精度高效率的3D转换，产生逼真的3D效果。此外，本专利技术还提供一种_■维视频转二维视频的系统，可实现闻精度闻效率的3D转换，产生逼真的3D效果。为解决上述技术问题，本专利技术采用如下技术方案一种二维视频转三维视频的方法，所述方法包括如下步骤 步骤SI、对输入的二维视频进行镜头分割，把视频序列分割成镜头；步骤S2、提取镜头的关键巾贞；步骤S3、对视频帧进行场景分割，将视频帧分割为背景和前景；步骤S4、根据背景的运动信息建立全局运动模型；步骤S5、对关键帧的背景进行深度赋值，根据全局运动模型计算后续视频帧的背景深度信息，进行视频帧背景的三维重建；步骤S6、对关键帧的前景深度赋值，对后续视频帧的前景进行全局运动补偿，然后根据前景各目标在前后帧中的时域相关性计算前景深度信息，进行视频帧前景的三维重建；步骤S7、将步骤S5重建得到的三维背景和步骤S6重建得到的三维前景合成为三维视频输出。作为本专利技术的一种优选方案，所述步骤SI中，所述镜头指一次摄像机操作连续拍下的不间断帧序列，同一个镜头内的帧具有强相关性；镜头分割使用基于区域或边界的镜头分割方法。所述步骤S3中，场景分割利用基于彩色信息或基于运动信息的分割方法。作为本专利技术的一种优选方案，所述关键帧为镜头中具有最显著内容的代表帧，可描述镜头内容；所述步骤S2中，提取每个镜头的第一帧及其它具有显著运动信息的帧为关键帧。作为本专利技术的一种优选方案，所述步骤S4中，背景的全局运动由摄像机操作引起，采用基于先验模型的方法计算全局运动模型。作为本专利技术的一种优选方案，所述步骤S6中，对视频关键帧的前景进行深度赋值，并基于全局运动模型对视频关键帧的前景进行全局运动补偿，基于其后帧的时域相关性计算非关键帧的前景运动信息，进行视频帧前景的三维重建。一种二维视频转三维视频的系统，所述系统包括镜头分割模块，用以对输入的二维视频进行镜头分割，把视频序列分割成镜头；关键巾贞提取|吴块，用以提取镜头的关键巾贞；场景分割模块，对视频帧进行场景分割，将视频帧分割为背景和前景；全局运动模型建立模块，用以根据背景的运动信息建立全局运动模型；背景三维重建模块，用以对关键帧的背景进行深度赋值，根据全局运动模型计算后续视频帧的背景深度信息，进行视频帧背景的三维重建；前景三维重建模块，用以对关键帧的前景深度赋值，对后续视频帧的前景进行全局运动补偿，然后根据前景各目标在前后帧中的时域相关性计算前景深度信息，进行视频帧前景的三维重建；三维视频输出模块，用以将所述背景三维重建模块重建得到的三维背景、前景三维重建模块重建得到的三维前景合成为三维视频输出。作为本专利技术的一种优选方案，所述镜头指一次摄像机操作连续拍下的不间断帧序列，同一个镜头内的帧具有强相关性；所述镜头分割模块使用基于区域或边界的镜头分割方法分割镜头；所述关键帧提取模块利用基于彩色信息或基于运动信息的分割方法进行场景分割。作为本专利技术的一种优选方案，所述关键帧为镜头中具有最显著内容的代表帧，可描述镜头内容；所述关键帧提取模块提取每个镜头的第一帧及其它具有显著运动信息的帧为关键中贞。作为本专利技术的一种优选方案，所述背景的全局运动由摄像机操作引起，采用基于先验模型的方法计算全局运动模型。作为本专利技术的一种优选方案，所述前景三维重建模块对视频关键帧的前景进行深度赋值，并基于全局运动模型对视频关键帧的前景进行全局运动补偿，基于其后帧的时域相关性计算非关键帧的前景运动信息，进行视频帧前景的三维重建。本专利技术的有益效果在于本专利技术提出的二维视频转三维视频的方法及系统，利用有限的人工干预处理视频关键帧进行深度初始赋值，可实现高精度的3D转换，产生逼真的3D效果；同时充分利用视频的时空相关性基于视频关键帧的结果自动处理非关键帧，可以充分利用现代计算设备强大的计算能力自动完成大部分非关键帧的2D转3D计算工作量，减少人工工作量，大幅提高3D转换效率。附图说明图I为本专利技术二维视频转三维视频方法的流程图。具体实施例方式下面结合附图详细说明本专利技术的优选实施例。实施例一请参阅图1，本专利技术揭示了一种二维视频转三维视频的方法，所述方法包括如下步骤步骤SI对输入的二维视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种二维视频转三维视频的方法，其特征在于，所述方法包括如下步骤 步骤Si、对输入的二维视频进行镜头分割，把视频序列分割成镜头； 步骤S2、提取镜头的关键巾贞； 步骤S3、对视频帧进行场景分割，将视频帧分割为背景和前景； 步骤S4、根据背景的运动信息建立全局运动模型； 步骤S5、对关键帧的背景进行深度赋值，根据全局运动模型计算后续视 频帧的背景深度信息，进行视频帧背景的三维重建； 步骤S6、对关键帧的前景深度赋值，对后续视频帧的前景进行全局运动补偿，然后根据前景各目标在前后帧中的时域相关性计算前景深度信息，进行视频帧前景的三维重建；步骤S7、将步骤S5重建得到的三维背景和步骤S6重建得到的三维前景合成为三维视 频输出。2.根据权利要求I所述的二维视频转三维视频的方法，其特征在于 所述步骤SI中，所述镜头指一次摄像机操作连续拍下的不间断帧序列，同一个镜头内的帧具有强相关性；镜头分割使用基于区域或边界的镜头分割方法； 所述步骤S3中，场景分割利用基于彩色信息或基于运动信息的分割方法。3.根据权利要求I所述的二维视频转三维视频的方法，其特征在于 所述关键帧为镜头中具有最显著内容的代表帧，可描述镜头内容；所述步骤S2中，提取每个镜头的第一帧及其它具有显著运动信息的帧为关键帧。4.根据权利要求I所述的二维视频转三维视频的方法，其特征在于 所述步骤S4中，背景的全局运动由摄像机操作引起，采用基于先验模型的方法计算全局运动模型。5.根据权利要求I所述的二维视频转三维视频的方法，其特征在于 所述步骤S6中，对视频关键帧的前景进行深度赋值，并基于全局运动模型对视频关键帧的前景进行全局运动补偿，基于其后帧的时域相关性计算非关键帧的前景运动信息，进行视频帧前景的三维重建。6.一种二维视频转三维视频的系统，其特征...

【专利技术属性】
技术研发人员：方勇，
申请(专利权)人：上海易维视科技有限公司，
类型：发明
国别省市：