码流的处理方法、装置、第一终端、第二终端及存储介质制造方法及图纸

本申请提出码流的处理方法、装置、第一终端、第二终端及存储介质，该方法包括：获取全景图像数据；获取运动信息；根据所述全景图像数据和所述运动信息生成码流。据和所述运动信息生成码流。据和所述运动信息生成码流。

【技术实现步骤摘要】
码流的处理方法、装置、第一终端、第二终端及存储介质


[0001]本申请涉及通讯领域，具体涉及码流的处理方法、装置、第一终端、第二终端及存储介质。

技术介绍

[0002]沉浸式视频能让用户参与媒体内容的发展，有身临其境的体验，带来完全不同以往的媒体感受。用户可以通过佩戴头戴式显示设备实时的参与到视频的播放过程中。沉浸式视频与以往视频不同，也称为360度全景视频，它所覆盖的视频区域更大，范围更广。
[0003]在用户观看沉浸式视频的时候，由于用户的视角范围有限，用户所能观看的视频场景并不是一个完整的360度全景视频，而只是全景视频中的部分画面，因此，在将沉浸式视频传输给用户进行观看时，呈现给用户沉浸式视频中的哪一部分的视频画面是目前亟待解决的技术问题。

技术实现思路

[0004]本申请提供码流的处理方法、装置、第一终端、第二终端及存储介质，能够有效解决无法确定将沉浸式视频中哪部分视频画面呈现给用户的技术问题。
[0005]第一方面，本申请实施例提供一种码流的处理方法，包括：
[0006]获取全景图像数据；
[0007]获取运动信息；
[0008]根据所述全景图像数据和所述运动信息生成码流。
[0009]第二方面，本申请实施例提供一种码流的处理方法，包括：
[0010]接收码流；
[0011]从所述码流中提取运动信息；
[0012]在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。
[0013]第三方面，本申请实施例提供了一种码流的处理装置，包括：
[0014]获取模块，设置为获取全景图像数据和获取运动信息；
[0015]生成模块，设置为根据所述全景图像数据和所述运动信息生成码流。
[0016]第四方面，本申请实施例提供了一种码流的处理装置，包括：
[0017]接收模块，设置为接收码流；
[0018]提取模块，设置为从所述码流中提取运动信息；
[0019]处理模块，设置为在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。
[0020]第五方面，本申请实施例提供了一种第一终端，包括：
[0021]一个或多个处理器；
[0022]存储装置，用于存储一个或多个程序；
[0023]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请第一方面所述的码流的处理方法。
[0024]第六方面，本申请实施例提供了一种第二终端，包括：
[0025]一个或多个处理器；
[0026]存储装置，用于存储一个或多个程序；
[0027]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请第二方面所述的码流的处理方法。
[0028]第七方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中的任意一种方法。
[0029]关于本申请的以上实施例和其他方面以及其实现方式，在附图说明、具体实施方式和权利要求中提供更多说明。
附图说明
[0030]图1为本申请提供的一种码流的处理方法的流程示意图；
[0031]图2为本申请提供的另一种码流的处理方法的流程示意图；
[0032]图3为本申请提供的一种码流的处理装置的结构示意图；
[0033]图3a为本申请提供的又一种码流的处理装置的结构示意图；
[0034]图4为本申请提供的另一种码流的处理装置的结构示意图；
[0035]图4a为本申请提供的再一种码流的处理装置的结构示意图；
[0036]图5为本申请提供的一种第一终端的结构示意图；
[0037]图6为本申请提供的一种第二终端的结构示意图。
具体实施方式
[0038]为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0039]在一个示例性实施方式中，图1为本申请提供的一种码流的处理方法的流程示意图。该方法可以适用于形成码流的情况，所形成的码流能够在被用户播放时，自动确定呈现给用户码流中哪一部分的视频画面。该方法可以由本申请提供的码流的处理装置执行，该码流的处理装置可以由软件和/或硬件实现，并集成在第一终端上。第一终端可以为码流的生成设备。其中码流可以是视频码流，也可以是包含系统层信息的媒体流。生成的码流可以直接在第一终端上供用户观看，也可以发送至第二终端观看。在观看时，可以基于运动信息确定对应的目标图像数据，以实现自动确定呈现给用户沉浸式视频中哪部分视频画面的技术效果。另外，本申请的场景至少包括：本申请在电影制作中使用，导演利用不同组运动信息，即不同组的运动参数组合，对应设计不同的叙事线索，从而得到对应的码流。用户观看时可以根据自己的喜好选取不同组运动信息所展示的故事场景，从而实现不同用户在观看同一码流时，由于不同用户选取了不同组的运动参数组合，使得所观看的故事场景不同；本申请可以在运动赛事中使用，不同运动员对应不同组运动信息，用户观看时可以选择喜好的运动员的运动画面，即选取对应喜好的运动员的运动参数组合，实现对喜好的运动员的
运动画面的观看。
[0040]一般情况下，沉浸式视频是以球面形式采集，发送端将球面数据映射为二维平面数据，经过编码后传送或者存储，接收端获取压缩数据后，解码重建二维平面数据，再将二维平面数据根据用户的需要进行渲染。不同的用户在观看沉浸式视频时，可以通过头部或者身体的运动观看到不同的视频画面。
[0041]本申请在编码时，即生成码流时将头部或者身体的运动信息与视频数据，即全景图像数据关联，解码重建播放时可以根据对应的运动信息来控制视频播放，以达到不同的视频观看效果的目的。解码重建播放时也可以根据自己的个人喜好，选择不同的预先设定好的视线或者身体的运动轨迹来获得不同的视频观看效果。不同的视线或身体的运动轨迹可以通过不同组的运动参数组合表示。
[0042]如图1所示，本申请提供的一种码流的处理方法，包括S110、S120和S130。
[0043]S110、获取全景图像数据。
[0044]全景图像数据可以用于形成码流。码流可以为沉浸式视频。
[0045]全景图像数据可以是多个摄像头同时采集后拼接而成，也可以是单个摄像头通过平移旋转等操作采集多幅图像拼接而成，也可以是人工合成的全景图像数据，也可以是现有的全景图像数据，还可以是通过全景相机采集得到。
[0046]第一终端获取全景图像数据的手段包括但不限于：接收其余设备发送的全景图像数据或通过第一终端的采集装置获得。采集装置包括但不限于如下至少之一：至少一个摄像头；全景相机。
[0047]其中，全景图像数据可以是单幅静止图像，也可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种码流的处理方法，其特征在于，包括：获取全景图像数据；获取运动信息；根据所述全景图像数据和所述运动信息生成码流。2.根据权利要求1所述的方法，其特征在于，所述运动信息与所述全景图像数据同步获取或所述运动信息是预先设定的。3.根据权利要求1所述的方法，其特征在于，所述运动信息包括如下至少之一：头部运动信息、身体运动信息、视点运动信息。4.根据权利要求3所述的方法，其特征在于，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。5.根据权利要求3所述的方法，其特征在于，所述身体运动信息包括如下之一：身体绝对位置信息；身体相对位置信息；身体绝对旋转信息；身体相对旋转信息；身体绝对位置信息与身体绝对旋转信息的组合；身体绝对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体绝对信息的组合。6.根据权利要求3所述的方法，其特征在于，所述视点运动信息包括如下之一：视点绝对位置信息；视点相对位置信息；视点绝对旋转信息；视点相对旋转信息；视点绝对位置信息与视点绝对旋转信息的组合；视点绝对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点绝对旋转信息的组合。7.根据权利要求1所述的方法，其特征在于，所述运动信息包括至少一组运动参数组合，每组运动参数组合设置有对应的运动参数组别；一组运动参数组合至少包括以下至少之一：头部运动信息；身体运动信息；视点运动信息。8.根据权利要求1所述的方法，其特征在于，所述根据所述全景图像数据和所述运动信息生成码流，包括如下至少之一：在所述运动信息与上一时刻的运动信息相同的情况下，根据所述全景图像数据生成码流；在所述运动信息与上一时刻的运动信息相同的情况下，将标识信息作为新的运动信息，并根据所述全景图像数据和所述新的运动信息生成码流，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。9.根据权利要求1所述的方法，其特征在于，所述根据所述全景图像数据和所述运动信息生成码流，包括：将所述运动信息写入由所述全景图像数据生成的码流中。10.根据权利要求9所述的方法，其特征在于，所述将所述运动信息写入由所述全景图像数据生成的码流中，包括：将所述运动信息写入由所述全景图像数据生成的码流的如下至少之一中：补充增强信息；视频应用信息；系统层媒体属性描述单元。11.根据权利要求1所述的方法，其特征在于，还包括：存储或发送码流。
12.一种码流的处理方法，其特征在于，包括：接收码流；从所述码流中提取运动信息；在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。13.根据权利要求12所述的方法，其特征在于，所述从所述码流中提取运动信息，包括：从所述码流的如下至少之一中提取运动信息：补充增强信息；视频应用信息；系统层媒体属性描述单元。14.根据权利要求12所述的方法，其特征在于，所述根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据，包括：根据所述运动信息在全景图像数据中截取得到目标图像数据。15.根据权利要求12所述的方法，其特征在于，所述运动信息包括如下至少之一：头部运动信息；身体运动信息；视点运动信息。16.根据权利要求15所述的方法，其特征在于，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；...

【专利技术属性】
技术研发人员：吴钊，吴平，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：