一种360度全景视频的实现方法技术

本发明专利技术公开了一种360度全景视频的实现方法，它涉及视频处理技术领域。它使用现有的视频压缩标准来压缩和并行传输每个相机采集的视频内容，单个相机拍摄的视频是二维平面视频，适合使用现存的是视频压缩标准，在并视频码流中记录相机的标记信息，在接收端，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，将其拼接融合并显示。本发明专利技术视频数据处理高效，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度。

A realization method of 360 degree panoramic video

The invention discloses a method for realizing 360 degree panoramic video, which relates to the technical field of video processing. It uses the existing video content video compression standard to compress and parallel transmission of each camera, a single camera video is a 2-D video, suitable for the use of the existing video compression standard, record label information in camera and video stream, in the receiver can decode and display all video, can also according to the in the viewer, using the camera mark information, select the corresponding video camera, the mosaic and display. The video data processing is efficient, and the splicing work is transferred from the encoding end to the decoding end. The video mosaic and projection transformation process is not needed before encoding, which reduces the complexity of the 360 degree video coding and improves the encoding speed.

【技术实现步骤摘要】
一种360度全景视频的实现方法
本专利技术涉及的是视频处理
，具体涉及一种360度全景视频的并行编码以及解码端拼接显示的数据处理流程。
技术介绍
在虚拟现实(VR)应用中，360度全景视频是以人眼为中心点，围绕上下180度、水平360度无缝衔接的视频影像，影像通过全景播放器用户可以通过点击鼠标、触摸屏幕、陀螺仪等方式实现上下、左右、放大、缩小无死角浏览或者通过虚拟现实头盔观看的视频模式。通过多个相机同时拍摄不同角度的视频，后期通过专用的软件输出，或者通过专门的视频拼接软件进行同步、拼接、调整、输出，最后得到2：1比例的全景视频文件，为一个球面视频。拼接后的360度视频图像可以表示在一个球体表面上，但不适于存储、传输和压缩等处理。而目前的视频编码方法都是针对平面矩形区域，所以需要将球面视频投影变换到二维平面上。目前有多种投影方式，常用的有球面投影，立方体投影，正方棱台投影等。球面投影是把每条经线展开成一条直线段，并沿赤道线绕一圈形成一个圆柱体，然后展开为一个矩形，该方法被广泛地应用于全景视频编码过程中，其优点是矩形有利于用既有的视频压缩标准来进行压缩，但是在变换过程中，两极区域拉伸过大，出现变形失真。立方体投影是将球面内容投射到外切正方体的六个面上，这样像素分布均匀，画面没有几何失真，变换后文件大小比原球面减少了25%，但由于是向球的外切正方体映射，像素密度减少，带来了图像出现模糊的问题。正方棱台投影是将球面内容投射到内嵌立方体中的正方棱台中，投射出的平面面积比球面小，与源文件相比减少了80%的内存，但由于球面上的单位面积投射到正方棱台平面上的面积，因位置而不同，造成缩放较为明显，这样会导致一定程度的原始图像信息损失和显示失真。综上所述，目前球面视频无论经何种投影变换，都存在一定的不足，而且投影变换后的360度视频相比传统的平面视频，分辨率更大，需求的码率更多，面临带宽有限问题，基于此，改变原有传输处理360度视频的方法，设计一种360度全景视频的实现方法尤为必要。
技术实现思路
针对现有技术上存在的不足，本专利技术目的是在于提供一种360度全景视频的实现方法，视频数据处理高效，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度，易于推广使用。为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种360度全景视频的实现方法，其步骤为：(1)采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容。(2)每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码和并行传输每个相机采集的视频内容，将相机的编号、位置等标记信息记录在压缩视频码流(如HEVC中的SEI信息段)中，用于解码端的视频拼接。(3)在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示；随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。作为优选，所述步骤(1)中所有相机拍摄时的光轴交于一点，总视野为水平360度，垂直180度。作为优选，所述步骤(2)压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码；相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码。所述编码步骤为：将相机1的内容全部编码后，以相机1编码图像的重建帧为参考帧，对相机2的视频图像做帧内、帧间混合编码；同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码；依次类推，压缩编码全部相机的视频内容。作为优选，所述步骤(3)在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求(例如拼接速度、拼接精度等)，选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示；在显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者360度全景的体验。所述解码步骤为：先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频；依次类推，以至解码出全部相机的视频内容。本专利技术的有益效果：本方法在现有处理器性能、储存和传输带宽有限的条件下，能高效处理360度视频数据流程，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度。附图说明下面结合附图和具体实施方式来详细说明本专利技术；图1为本专利技术360度全景视频的并行编码以及解码端拼接显示的数据处理流程图；图2为本专利技术360度全景视频的并行编码方法示意图。具体实施方式为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。参照图1-2，本具体实施方式采用以下技术方案：一种360度全景视频的实现方法，其步骤为：(1)采集视频，使用多台相机阵列同时拍摄，拍摄时，所有相机的光轴交于一点，总视野为水平360度，垂直180度，能达到较好的效果，且所有相机一起开启延时拍摄采集视频内容。(2)每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码，在并视频码流中记录相机的标记信息，并将相机的编号、位置等标记信息记录在压缩视频码流(如HEVC中的SEI信息段)中，用于解码端的视频拼接；压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码；相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码。例如，将相机1的内容全部编码后，以相机1编码图像的重建帧为参考帧，对相机2的视频图像做帧内、帧间混合编码；同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码；依次类推，压缩编码全部相机的视频内容。保存视频内容的同时，记录其对应相机的编号，为下一步解码做准备。(3)在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。值得注意的是，解码时，首先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频；依次类推，以至解码出全部相机的视频内容。在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求(例如拼接速度、拼接精度等)，选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示；显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者360度全景的体验。本具体实施方式使用现有的视频压缩标准来压缩和并行传输每个相机采集的视频内容，单个相机拍摄的视频是二维平面视频，适合使用现存的是视频压缩标准，在并视频码流中记录相机的标本文档来自技高网...

【技术保护点】
一种360度全景视频的实现方法，其特征在于，其步骤为：(1)采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容；(2)每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码和并行传输每个相机采集的视频内容，并将相机的编号、位置等标记信息记录在压缩视频码流中，用于解码端的视频拼接；(3)在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。

【技术特征摘要】
1.一种360度全景视频的实现方法，其特征在于，其步骤为：(1)采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容；(2)每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码和并行传输每个相机采集的视频内容，并将相机的编号、位置等标记信息记录在压缩视频码流中，用于解码端的视频拼接；(3)在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。2.根据权利要求1所述的一种360度全景视频的实现方法，其特征在于，所述步骤(1)中所有相机拍摄时的光轴交于一点，总视野为水平360度，垂直180度。3.根据权利要求1所述的一种360度全景视频的实现方法，其特征在于，所述步骤(2)压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码；相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行...

【专利技术属性】
技术研发人员：艾达，董久军，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西,61