立体视频制作方法、立体视图制作方法和制作系统技术方案

本发明专利技术公开了一种立体视频制作方法、立体视图制作方法和制作系统，视频制作方法包括：选取源视频中部分视频帧作为关键帧；在关键帧中选取部分区域进行颜色深度调整；将关键帧中未进行颜色深度调整的区域进行颜色深度扩展形成深度视图；对源视频中除了关键帧之外的非关键帧进行深度传播，得到非关键帧的深度图层；将深度图层进行像素移位得到虚拟视图，根据虚拟视图与原始图进行立体渲染得到所有视频帧的立体视图；将立体视图组合形成立体视频。本发明专利技术具有如下优点：高效快速、可靠稳定，弥补了全自动平面转立体转换质量较差、适用范围小，和人工平面转立体成本过高的缺陷，具有广泛的市场需求和科学研究意义。

【技术实现步骤摘要】
立体视频制作方法、立体视图制作方法和制作系统
本专利技术属于计算机视觉
，具体涉及一种立体视频制作方法、立体视图制作方法和制作系统。
技术介绍
立体电影因为具备着较为强烈的视觉冲击，可以带给消费者一种身临其境的感觉，已经成为影视行业和科技领域的关注焦点。然而，立体视频产品面临着一个主要问题，即立体视频资源匮乏，不能满足消费者的大量需求。这是因为立体电影其制作周期通常较长，而且其拍摄成本也十分高昂。然而实际上，自19世纪末电影摄影机诞生以来，无数的平面电影或视频已经而且正在被积累下来。平面视频转立体视频(简称平面转立体)技术也因此应运而生。通过平面转立体技术，不仅仅可以解决立体视频片源匮乏的瓶颈问题，还可以大大降低立体视频的制作成本，从而为影视行业、医疗仪器、移动终端等领域创造大量的发展契机。国内外对于平面转立体视频技术提出了各种各样的方法，根据是否包含人机交互功能，平面转立体视频技术可以分为人工、半自动和全自动三个领域。目前市场上常用的平面转立体技术是以重复性的机械性的人工劳动为主，需要投入大量的人力物力，结合特定的计算机软件，逐帧绘制每幅画面的轮廓线，逐像素点的进行精确的深度赋值，并对由遮挡导致的空洞区域进行图像修补和立体视图合成，因此需要耗费极高的人力物力成本。全自动平面转立体视频技术可以直接生成立体视频，而不需加入任何人机交互的元素。它能自动挖掘单个图像或多个连续图像中的深度线索，进而将深度线索转化成深度视频。缺点是得到的深度图质量不高，算法的针对性较强，目前还没有一种普适性的算法能针对所有视频场景都得到一个较好的立体效果。半自动平面转立体视频技术则是在同时考虑人工参与程度和立体转换效果的前提下提出的，该系统只需要用户少量的人工操作，就能得到高质量的深度图。大多数半自动平面转立体的技术是将视频按照场景内容分为几个视频片段，将片段之间的边缘顿设为关键帧，两个关键帧之间的帧为非关键帧。采用人机交互式的方法获得关键帧的深度图，而其他非关键帧的深度图是在关键帧深度图的基础上自动生成。非关键帧的深度图一般通过运动物体跟踪或深度传播获得。目前较为经典的半自动平面转立体算法有MosheGuttmann提出的机器学习算法、ChengleiWu等人提出的LazySnapping算法和XunCao等人提出的位移双边滤波算法。机器学习算法采用全局优化的方法，计算量比较大，并且只有针对分辨率很低的视频该算法的有效性才比较高。LazySnapping算法的本质在于GraphCut算法，对于低分辨率的简单图像具有快速的分割速度，但是若图像分辨率较高，速度将大打折扣，并且需要用户提供大量的人机交互操作来对图像进行分割，这对于不具备图像处理能力的普通大众来说并不实用。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的第一个目的在于提出一种立体视频制作系统。本专利技术的第二个目的在于提出一种立体视频制作方法。本专利技术的第三个目的在于提出一种立体视图制作方法。为了实现上述目的，本专利技术的实施例公开了一种立体视频制作系统，包括：显示模块，用于显示视频编辑信息和音频编辑信息；加载输出模块，用于对视频或图片进行加载并输出；视频播放编辑模块，所述视频播放编辑模块包括视频帧标记模块、视频帧导出模块和视频播放模块，所述视频帧标记模块用于选取源视频中部分视频帧标记为关键帧，所述视频帧导出模块用于导出选定的视频帧，所述视频播放模块用于播放视频；深度图绘制模块，用于根据所述关键帧绘制相应的深度图；视频帧传播模块，用于根据所述深度图传播给所述源视频中除所述关键帧之外的剩余视频帧；深度图查看添加模块，用于实时查看所述深度图，并将所述深度图添加到时间轴；立体图查看添加模块，用于根据所述深度图进行立体渲染，并将立体渲染结果添加到所述时间轴上，所述立体图查看添加模块还用于实时查看所述立体渲染结果；以及结果输出模块，用于输出所述立体渲染结果和音频。根据本专利技术实施例的立体视频制作系统，高效快速、可靠稳定，弥补了全自动平面转立体转换质量较差、适用范围小，和人工平面转立体成本过高的缺陷，具有广泛的市场需求和科学研究意义。另外，根据本专利技术上述实施例的立体视频制作系统，还可以具有如下附加的技术特征：进一步地，所述视频编辑信息包括视频名称、分辨率、时长、帧率和编码格式，所述音频编辑信息包括音频采样频率、比特数和声道模式。进一步地，所述时间轴包括：源视频轨道：用于通过源视频轨道所述播放源视频；深度视频轨道，用于通过所述深度视频轨道播放由所述深度图形成的深度视频；立体视频轨道；用于通过所述深度视频轨道播放所述立体渲染结果；以及音频轨道，用于通过所述音频轨道播放音频。进一步地，所述源视频、所述深度视频、所述立体视频和所述音频同步播放或单独播放。进一步地，所述深度图绘制模块包括：深度画笔绘制模块，用于在所述关键帧上选取局部区域绘制出局部深度图像；深度画笔扩展模块，用于将所述局部深度图像扩散到整个所述关键帧形成所述深度图；以及深度模式选择模块，用于对所述深度图的图层进行深度模式的赋值，所述深度模式包括：图像深度从左至右逐渐增加、图像深度从左下至右上逐渐增加、图像深度从下至上逐渐增加、图像深度从右下至左上逐渐增加和图像深度从右至左逐渐增加。为了实现上述目的，本专利技术的实施例公开了一种立体视频制作方法，包括以下步骤：S1：选取源视频中部分视频帧作为关键帧；S2：在所述关键帧中选取部分区域进行颜色深度调整，将进行颜色深度调整后的所述区域的颜色深度信息转换为相对深度值；S3：根据所述相对深度值将所述关键帧中未进行颜色深度调整的区域进行颜色深度扩展形成深度视图，显示具有不同深度值的深度图层；S4：对所述深度图层进行深度模式的赋值；S5：将所述源视频中除了所述关键帧之外的非关键帧进行深度传播，得到所述非关键帧的深度视图；S6：将所述关键帧和非关键帧的深度视图进行像素移位得到虚拟视图，根据所述关键帧和非关键帧的虚拟视图与所述关键帧或非关键帧对应的原始图进行立体渲染得到立体视图；以及S7：将所述立体视图组合形成立体视频。根据本专利技术实施例的立体视频制作方法，高效快速、可靠稳定，弥补了全自动平面转立体转换质量较差、适用范围小，和人工平面转立体成本过高的缺陷，具有广泛的市场需求和科学研究意义。另外，根据本专利技术上述实施例的立体视频制作方法，还可以具有如下附加的技术特征：进一步地，在所述关键帧中选取部分区域进行颜色深度调整进一步包括：在所述关键帧中选取所述部分区域绘制具有颜色的笔画以表示所述部分区域像素在所述关键帧中的相对深度；对所述关键帧进行缩放或改变所述笔画线条的粗细。进一步地，在步骤S3中，所述深度扩展包括以下步骤：S301：逐行将所述关键帧的像素的位置信息和像素的RGB三个通道的值均变换为一维信号，其中，变换后像素间距＝变换前像素间距+权值*像素间RGB差距；S302：采用卷积运算对所述一维信号进行滤波；S303：逐行对所述关键帧的像素进行滤波后，进而对所述关键帧的像素进行逐列滤波，如此迭代进行n次。为了实现上述目的，本专利技术的实施例公开了一种立体视图制作方法，包括以下步骤：A：在源视图上选取部分区域绘制具有颜色的笔画，形成所述区域在源视图中的相对深度，将所述区域的颜色深度信息转换为本文档来自技高网...

【技术保护点】
一种立体视频制作系统，其特征在于，包括：显示模块，用于显示视频编辑信息和音频编辑信息；加载输出模块，用于对视频或图片进行加载并输出；视频播放编辑模块，所述视频播放编辑模块包括视频帧标记模块、视频帧导出模块和视频播放模块，所述视频帧标记模块用于选取源视频中部分视频帧标记为关键帧，所述视频帧导出模块用于导出选定的视频帧，所述视频播放模块用于播放视频；深度图绘制模块，用于根据所述关键帧绘制相应的深度图；视频帧传播模块，用于根据所述深度图传播给所述源视频中除所述关键帧之外的剩余视频帧；深度图查看添加模块，用于实时查看所述深度图，并将所述深度图添加到时间轴；立体图查看添加模块，用于根据所述深度图进行立体渲染，并将立体渲染结果添加到所述时间轴上，所述立体图查看添加模块还用于实时查看所述立体渲染结果；以及结果输出模块，用于输出所述立体渲染结果和音频。

【技术特征摘要】
1.一种立体视频制作方法，其特征在于，包括以下步骤：S1：选取源视频中部分视频帧作为关键帧；S2：在所述关键帧中选取部分区域进行颜色深度调整，将进行颜色深度调整后的所述区域的颜色深度信息转换为相对深度值；S3：根据所述相对深度值将所述关键帧中未进行颜色深度调整的区域进行颜色深度扩展形成深度视图，显示具有不同深度值的深度图层，在步骤S3中，所述深度扩展包括以下步骤：S301：逐行将所述关键帧的像素的位置信息和像素的RGB三个通道的值均变换为一维信号，其中，变换后像素间距＝变换前像素间距+权值*像素间RGB差距；S302：采用卷积运算对所述一维信号进行滤波；S303：逐行对所述关键帧的像素进行滤波后，进而对所述关键帧的像素进行逐列滤波，如此迭代进行n次；S4：对所述深度图层进行深度模式的赋值；S5：对所述源视频中除了所述...

【专利技术属性】
技术研发人员：戴琼海，蔡雅雯，索津莉，刘烨斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11