全景视频的编解码方法和装置制造方法及图纸

本发明专利技术公开了一种全景视频的编解码方法和装置。该编码方法包括：编码端获取全景视频帧的各分块编码数据，其中，所述全景视频帧按照在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定；所述编码端将所述全景视频帧发送至播放端，以指示播放端进行解码播放。本发明专利技术大大降低了编码后的视频码率，减少了网络带宽的压力，而且由于根据当前视点位置确定各分块的码率，可以保证人眼始终能获得高清视频质量的观看效果，解决了全景直播高清视频无法实时传输的问题。

【技术实现步骤摘要】
全景视频的编解码方法和装置
本专利技术实施例涉及视频编码技术，尤其涉及一种全景视频的编解码方法和装置。
技术介绍
视频的编解码技术被广泛的应用于对电影视频、摄像机视频等多媒体数据的压缩。随着虚拟现实技术的普及，传统的视频形态已经不仅仅局限于单路的视频电影，单路摄像机拍摄的影像，而由多路摄像机同时拍摄并拼接合成的全景视频，已经成为一种新的视频形式。现有技术中，对全景视频进行编码，都是采用H264\H265等主流的编码技术，将全景视频视为一路视频媒体，采用与单路摄像机拍摄的视频一样的编码方案进行编码。由于全景视频通常是由多路摄像机视频拼接而成，数据量巨大，在编码时直接将全景视频帧进行编码，以支持用户通过转动VR(VirtualReality，虚拟现实)头盔，观看到水平360度、垂直360度的全方位视频内容，导致编码后的视频码率很大，远远大于单路视频的码率。大码率输出，给网络带宽带来了巨大的压力，导致高清全景视频的网络传输无法实时或无法完成，直接影响全景视频的直播应用。
技术实现思路
有鉴于此，本专利技术实施例提供一种全景视频的编解码方法和装置，以减少网络带宽的压力，解决全景直播视频无法实时传输的问题。第一方面，本专利技术实施例提供了一种全景视频的编码方法，所述方法包括：编码端获取全景视频帧的各分块编码数据，其中，所述全景视频帧按照在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定；所述编码端将所述全景视频帧发送至播放端，以指示播放端进行解码播放。第二方面，本专利技术实施例还提供了一种全景视频的编码装置，所述装置包括：分块数据获取模块，配置于编码端中，用于获取全景视频帧的各分块编码数据，其中，所述全景视频帧按照在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定；视频帧发送模块，配置于所述编码端中，用于将所述全景视频帧发送至播放端，以指示播放端进行解码播放。第三方面，本专利技术实施例还提供了一种全景视频的解码方法，所述方法包括：播放端获取用户在全景视频显示屏中的当前视点位置，并发送给编码端，以指示编码端采用所述当前视点位置确定的分块码率对全景视频帧进行编码；所述播放端接收编码端发送的编码后的全景视频帧；所述播放端对所述全景视频帧进行解封装，得到分块编码数据及该分块编码数据在全景视频帧中的位置；所述播放端对全景视频帧的各分块编码数据进行解码；所述播放端播放解码后的全景视频帧。第四方面，本专利技术实施例还提供了一种全景视频的解码装置，所述装置包括：视点位置获取模块，配置于播放端中，用于获取用户在全景视频显示屏中的当前视点位置，并发送给编码端，以指示编码端采用所述当前视点位置确定的分块码率对全景视频帧进行编码；视频帧接收模块，配置于所述播放端中，用于接收编码端发送的编码后的全景视频帧；解封装模块，配置于所述播放端中，用于对所述全景视频帧进行解封装，得到分块编码数据及该分块编码数据在全景视频帧中的位置；解码模块，配置于所述播放端中，用于对全景视频帧的各分块编码数据进行解码；播放模块，配置于所述播放端中，用于播放解码后的全景视频帧。本专利技术实施例的技术方案，通过全景视频帧案子在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定，使得距离当前视点位置较近的分块的码率较高，距离当前视点位置较远的分块的码率较低，从而全景视频帧中的分块编码数据采用不同的码率，不再统一维持相同的高码率，大大降低了编码后的视频码率，减少了网络带宽的压力，而且由于根据当前视点位置确定各分块的码率，可以保证人眼始终能获得高清视频质量的观看效果，解决了全景直播视频无法实时传输的问题，使得全景直播视频可以实时传输。附图说明图1是本专利技术实施例一提供的一种全景视频的编码方法的流程图；图2是本专利技术实施例二提供的一种全景视频的编码方法的流程图；图3是本专利技术实施例提供的全景视频的编码方法中的一个全景视频帧的分块示例图；图4是本专利技术实施例提供的全景视频的编码方法中的当前视点位置落在其中一个分块中的示意图；图5a-图5d是本专利技术实施例提供的全景视频的编码方法中的四种区域划分方式的示意图；图6是本专利技术实施例三提供的一种全景视频的编码方法的流程图；图7是本专利技术实施例四提供的一种全景视频的编码装置的结构示意图；图8是本专利技术实施例五提供的一种全景视频的解码方法的流程图；图9是本专利技术实施例六提供的一种全景视频的解码装置的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。实施例一图1是本专利技术实施例一提供的一种全景视频的编码方法的流程图，本实施例可适用于根据播放端中当前视点位置而对全景视频帧中的分块采用不同的码率进行编码的情况，该方法可以由全景视频的编码装置来执行，该全景视频的编码装置配置于编码端中，该方法具体包括如下步骤：步骤110，编码端获取全景视频帧的各分块编码数据，其中，所述全景视频帧按照在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定。其中，全景视频与普通的单路视频不同，全景视频是由多路摄像机同时拍摄并拼接合成的能覆盖水平360度、垂直180度视角的大场景视频，视频播放时，需要通过投影算法，将360度×180度的全景视频，投影到以用户为中心的球的内壁上，用户可通过VR头盔等播放设备，进行观看，获得身临其境的沉浸感，然而，每个观看视点的范围始终还是人眼的有效视角范围，其它角度的解码视频信息属于闲置信息。本实施例中，编码端可以是推流端，也可以是云平台端。当编码端是推流端时，推流端获取到全景视频帧后，对该全景视频帧进行分块，并根据每个分块的播放位置与播放端当前视点位置的相对位置关系，确定各分块的编码码率，并依据相应的码率对各分块进行编码，得到分块编码数据。当编码端是云平台端时，从推流端中获取不同码率编码后的分块编码数据形成的全景视频帧，并根据每个分块的播放位置与播放端当前视点位置的相对位置关系确定每个分块编码数据的码率，将根据不同码率编码得到的分块编码数据封装为全景视频帧。其中，距离当前视点位置较近的分块采用的码率较高，距离当前视点位置较远的分块采用的码率较低，以保证在观看用户的视野范围内能够观看到清晰的影像。当前视点位置是播放端采用陀螺仪等获取到，并发送给编码端的。在对每个分块进行编码时，可以采用视频编解码技术标准，如H264、H265、AVS等，在编码实施过程中，都是基于宏块对视频序列分块进行帧内和帧间编码的编码方式，去除信息冗余。首先将各分块的图像分成16×16或64×64的像素块，作为编码处理的基本单元，然后通过运动估计和变换编码，消除时间和空间冗余，达到压缩视频信息的目的。步骤120，所述编码端将所述全景视频帧发送至播放端，以指示播放端进行解码播放。编码端将由不同码率编码得到的分块编码数据组成的全景视频帧发送至播放端，使得播放端在接收到全景视频帧时进行解码播放。本实施例的技术方案，本文档来自技高网...

【技术保护点】
一种全景视频的编码方法，其特征在于，所述方法包括：编码端获取全景视频帧的各分块编码数据，其中，所述全景视频帧按照在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定；所述编码端将所述全景视频帧发送至播放端，以指示播放端进行解码播放。

【技术特征摘要】
1.一种全景视频的编码方法，其特征在于，所述方法包括：编码端获取全景视频帧的各分块编码数据，其中，所述全景视频帧按照在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定；所述编码端将所述全景视频帧发送至播放端，以指示播放端进行解码播放。2.根据权利要求1所述的方法，其特征在于，编码端获取全景视频帧的各分块编码数据包括：推流端按照全景视频帧在播放端的播放位置进行分块，得到分块视频数据；所述推流端从至少两个码率中顺序选择一个码率，作为当前码率，并采用当前码率对所有分块视频数据进行编码；所述推流端按照码率，将所有编码后的分块视频数据进行分类并封装，发送给云平台端；所述云平台端作为所述编码端，获取根据播放端的当前视点位置以及各分块的播放位置确定的各分块的码率；所述云平台端根据各分块的码率，从各码率对应的封装包中查找对应的分块；所述云平台端按照分块的播放位置，将查找到的分块拼合成为编码后的全景视频帧。3.根据权利要求1所述的方法，其特征在于，编码端获取全景视频帧的各分块编码数据包括：所述编码端按照全景视频帧在播放端的播放位置进行分块，得到分块视频数据；所述编码端获取根据播放端的当前视点位置以及各分块的播放位置确定的各分块的码率；所述编码端根据各分块的码率对分块视频数据进行编码，以形成编码后的全景视频帧。4.根据权利要求2或3所述的方法，其特征在于，所述编码端获取根据播放端的当前视点位置以及各分块的播放位置确定的各分块的码率包括：所述编码端从播放端获取当前视点位置；所述编码端根据所述当前视点位置，确定分块的类型为递进区域或闲置区域，其中，所述当前视点位置在所述递进区域中，所述闲置区域在所述递进区域的外围；所述编码端根据分块的类型确定各分块的码率，其中，所述递进区域的分块对应的码率大于所述闲置区域的分块对应的码率。5.根据权利要求2或3所述的方法，其特征在于，推流端或编码端按照全景视频帧在播放端的播放位置进行分块，得到分块视频数据包括：所述推流端或编码端依据人眼生理特点，对所述全景视频帧进行分块。6.根据权利要求5所述的方法，其特征在于，所述推流端或编码端依据人眼生理特点，对所述全景视频帧进行分块包括：所述推流端或编码端依据人眼生理特点，将所述全景视频帧分为水平方向为10块、垂直方向为9块的分块。7.一种全景视频的编码装置，其特征在于，包括：分块数据获取模块，配置于编码端中，用于获取全景视频帧的各分块编码数据，其中，所述全景视频帧按照在播放端的播放位置进行分块，每个分块编码数据的码率根据该分块的播放位置与播放端当前视点位置的相对位置关系确定；视频帧发送模块，配置于所述编码端中，用于将所述全景视频帧发送至播放端，以指示播放端进行解码播放。8.根据权利要求7所述的装置，其特征在于，所述分块数据获取模块包括：第一视频帧分块单元，配置于推流端中，用于按照全景视频帧在播放端的播放位置进行分块，得到分块视频数据；视频帧编码单元，配置于所述推流端中，用于从至少两个码率中顺序选择一个码率，作为当前码率，并采用当前码率对所有分块视频数据进行编码；视频帧发送单元，配置于所述推流端中，用于按照码率，将所有编码后的分块视频数据进行分类并封装，发送给云平台端；第一分块码率获取单元，配置于所述云平台端中，所述云平台端作为所述编码端，用于获取根据播放端的当前视点位置以及各分块的播放位置确定的各分块的码率；分块查找单元，配置于所述云平台端中，用于根据各分块的码率，从各码率对应的封装包中查找对应的...

【专利技术属性】
技术研发人员：吴金勇，
申请(专利权)人：深圳市云宙多媒体技术有限公司，
类型：发明
国别省市：广东,44