具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置制造方法及图纸

一种视频解码方法，包括：对码流的一部分进行解码以生成解码帧，从码流中解析出至少一个语法元素。解码帧是基于投影的帧，其中包括以基于立方体的投影布局打包的投影面。球体的至少一部分360度内容的通过基于立方体的投影映射到投影面。至少一个语法元素指示基于投影的帧的保护带配置。的帧的保护带配置。的帧的保护带配置。

【技术实现步骤摘要】
【国外来华专利技术】具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置
[0001]相关引用
[0002]本申请要求于2019年7月2日提交的美国临时申请62/869,627、2019年7月3日提交的美国临时申请62/870,139、2019年9月20日提交的美国临时申请62/903,056，以及2019年12月30日提交的美国临时申请62/954,814的优先权。相关申请的全部内容，包括美国临时申请62/869,627、美国临时申请62/870,139、美国临时申请62/903,056和美国临时申请62/954,814的全部内容通过引用并入本文。


[0003]本专利技术涉及视频编码和视频解码，更具体地，涉及具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置。

技术介绍

[0004]具有头戴式显示器(head
‑
mounted display，简称HMD)的虚拟现实(virtual reality,简称VR)与多种应用相关联。向用户显示宽视野内容的能力可用于提供身临其境的视觉体验。必须从各个方向捕捉真实世界的环境，从而产生与视域相对应的全方位视频。随着摄像头设备和HMD的进步，由于呈现这种360度内容所需的高比特率，VR内容的传送可能很快就会成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
[0005]一般而言，将球体对应的全向视频转换为具有以360度虚拟现实(360VR)投影布局排列的投影面表示的360度图像内容的帧，然后得到的帧被编码成比特流进行传输。如果采用的360VR投影布局的配置是固定的，不允许对其进行任何调整，则视频编码器对360度图像内容进行编码的灵活性较低。因此，需要允许決定/选择基于投影的帧的保护带配置和与基于投影的帧的保护带配置相关联的信号语法元素的灵活设计。

技术实现思路

[0006]本专利技术的目的之一是提供一种具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置。
[0007]根据本专利技术的第一方面，一种示例性视频解码方法被公开。示例性视频解码方法包括：解码比特流的一部分以生成解码帧，其中解码帧是基于投影的帧，其包括以基于立方体的投影布局打包的投影面，以及球体的至少一部分的360度内容通过基于立方体的投影映射到投影面；以及从比特流解析至少一个语法元素，其中至少一个语法元素指示基于投影的帧的保护带配置。
[0008]根据本专利技术的第二方面，一种示例性电子设备被公开。示例性电子设备包括解码电路。解码电路用以解码比特流的一部分以产生解码帧，以及从比特流中解析出至少一个语法元素。解码帧是基于投影的帧，其包括以基于立方体的投影布局打包的投影面。球体的
至少一部分360度内容通过基于立方体的投影映射到投影面。至少一个语法元素指示基于投影的帧的保护带配置。
[0009]根据本专利技术的第三方面，一种示例性视频编码方法被公开。示例性视频编码方法包括：对基于投影的帧进行编码以生成比特流的一部分，其中球体的至少一部分360度内容通过基于立方体的投影被映射到投影面，以及基于投影的帧具有以基于立方体的投影布局打包的投影面；以及通过比特流发送至少一个语法元素，其中至少一个语法元素指示基于投影的帧的保护带配置。
[0010]本专利技术的这些和其他目的在阅读了以下在各个附图和附图中示出的优选实施例的详细描述后，对于本领域普通技术人员来说无疑将变得显而易见。
附图说明
[0011]图1示出根据本专利技术实施例的360度虚拟现实(360VR)系统的图。
[0012]图2示出根据本专利技术的实施例的基于立方体的投影的图。
[0013]图3示出根据本专利技术的实施例的另一个基于立方体的投影的图。
[0014]图4
‑
图6示出根据本专利技术的实施例的两个语法元素的组合的一种规范的图。
[0015]图7
‑
图9示出根据本专利技术的实施例的两个语法元素的组合的另一种规范的图。
具体实施方式
[0016]贯穿以下描述和权利要求使用了特定术语，它们指的是特定元件。正如本领域技术人员所理解的，电子设备制造商可能会用不同的名称来指代一个元件。本文档不打算区分名称不同但功能不同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为“包括但不限于
……”
。此外，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备耦合到另一设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。
[0017]图1示出根据本专利技术实施例的360度虚拟现实(360VR)系统的图。360VR系统100包括源电子设备102和目的地设备104。源电子设备102包括视频采集设备112、转换电路114和视频编码器116。例如，视频采集设备112可以是一个全向相机。转换电路114根据与球体对应的全向视频帧S_IN产生具有360度虚拟现实(360VR)投影布局L_VR的基于投影的帧IMG，其中全向视频帧S_IN包含球体的360度内容。视频编码器116为编码电路，其对基于投影的帧IMG(其具有打包在360VR投影布局L_VR中的投影面)进行编码以生成比特流BS的一部分，以及将比特流BS输出至目的地电子设备104经由诸如有线/无线通信链路或存储介质之类的传输装置103。
[0018]目的地电子设备104可以是头戴式显示器(HMD)设备。如图1所示，目的地电子设备104包括视频解码器122、图形渲染电路124和显示装置126。视频解码器122是从传输装置103(例如有线/无线通信链接或存储介质)接收比特流BS的解码电路，并对接收到的比特流BS的一部分进行解码以生成解码帧IMG'。在本实施例中，由视频编码器116编码的基于投影的帧IMG具有360VR投影布局L_VR。因此，在部分比特流BS被视频解码器122解码后，解码帧(即，重构帧)IMG'具有相同的360VR投影布局L_VR。换句话说，解码帧IMG'也是一个基于投影的帧，其投影面被打包在360VR投影布局L_VR中。图形渲染电路124用于驱动显示装置126
显示用户选择的视口区域的图像内容。图形渲染电路124可以包括转换电路125，其被布置为处理由解码帧IMG'承载的图像内容的一部分，以获得与所选视口区域的图像内容相关联的像素数据。
[0019]在本实施例中，360VR投影布局L_VR是基于立方体的投影布局。因此，球体的360度内容的至少一部分(即，部分或全部)通过基于立方体的投影被映射到投影面，以及来自三维物体(例如，一个立方体或一个半球立方体)的不同面的投影面被打包在基于投影的帧IMG/解码帧IMG'采用的基于二维立方体的投影布局中。
[0020]在一个实施例中，可以采用具有代表360
°
x180
°
全向视频(即，球体的所有360度内容)的六个正方形投影面本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频解码方法，包括：解码比特流的一部分以生成解码帧，其中解码帧是基于投影的帧，所述基于投影的帧包括以基于立方体的投影布局打包的多个投影面，以及球体的360度内容的至少一部分通过基于立方体的投影映射到多个投影面；以及从比特流解析至少一个语法元素，其中所述至少一个语法元素指示基于投影的帧的保护带配置。2.如权利要求1所述的视频解码方法，其特征在于，所述多个投影面的打包选自常规立方体贴图投影面的打包和半球立方体贴图投影面的打包。3.如权利要求1所述的视频解码方法，其特征在于，所述至少一个语法元素包括：第一语法元素，用于指示所述基于投影的帧是否包含至少一个保护带。4.如权利要求3所述的视频解码的方法，其特征在于，所述第一语法元素被设置为指示所述基于投影的帧包含所述至少一个保护带；所述多个投影面分别对应物体在三维空间中的多个面，包括第一投影面和第二投影面，其中所述物体为立方体或半球立方体；所述打包在所述基于立方体的投影布局中的所述至少一个保护带包括第一保护带，其中关于二维平面上的所述基于立方体的投影布局，所述第一投影面的一个面边界平行于所述第二投影面的一个面边界，以及所述第一保护带位于所述第一投影面与所述第二投影面之间。5.如权利要求4所述的视频解码的方法，其特征在于，所述至少一个保护带还包括第二保护带，其中关于所述二维平面上所述基于立方体的投影布局，所述第一保护带和所述第二保护带均位于所述第一投影面和所述第二投影面之间，用于隔离所述第一投影面的所述一个面边界与所述第二投影面的所述一个面边界，所述第一保护带与所述第一投影面的所述一个面边界和所述第二保护带连接，以及所述第二保护带与所述第一保护带和所述第二投影面的所述一个面边界连接。6.如权利要求4所述的视频解码方法，其特征在于，关于所述二维平面上所述基于立方体的投影布局，所述第一保护带连接所述第一投影面的所述一个面边界和所述第二投影面的所述一个面边界，用于隔离所述第一投影的所述一个面边界和所述第二投影面的所述一个面边界。7.如权利要求3所述的视频解码的方法，其特征在于，所述第一语法元素被设置为指示所述基于投影的帧包含所述至少一个保护带；以及所述至少一个语法元素还包括：第二语法元素，用于指示在所述基于立方体的投影布局中打包的所述至少一个保护带是否包括充当所述基于立方体的投影布局的多个边界的多个保护带。8.如权利要求3所述的视频解码方法，其特征在于，所述第一语法元素被设置为指示所述基于投影的帧包含所述至少一个保护带；以及所述至少一个语法元素还包括：第二语法元素，用于提供所述至少一个保护带中的每一个的尺寸信息。9.如权利要求8所述的视频编解码的方法，其特征在于，所述尺寸信息涉及计算所述多个投影面中每个投影面的尺寸，或者涉及从所述基于投影的帧内的样本位置到所述多个投影面中一个投影面内的局部样本位置的转换。10.一种电子设备，包括：解码电路，用于对比特流的一部分进行解码以生成解码帧，以及从比特流中解析出至少一个语法元素；
其中解码帧是基于投影的帧，所述基于投影的帧包括以基于立方体的投影布局打包的多个投影面，以及球体的360度内容的至少一部分通过基于立方...

【专利技术属性】
技术研发人员：李亚璇，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：