具有用于发送基于立方体的投影采用的映射函数的语法元素的视频编码方法及相关的视频解码方法技术

一种视频编码方法，包括：对基于投影的帧进行编码以产生比特流的一部分，其中通过基于立方体的投影，球体的360度内容的至少一部分被映射到投影面，以及该基于投影的帧具有被打包在基于立方体的投影布局中的投影面；以及通过该比特流，发送至少一个语法元素，其中该至少一个语法元素与该基于立方体的投影采用的映射函数相关联以确定用于多个投影面中的每个投影面的样本位置。个投影面的样本位置。个投影面的样本位置。

【技术实现步骤摘要】
【国外来华专利技术】具有用于发送基于立方体的投影采用的映射函数的语法元素的视频编码方法及相关的视频解码方法
[0001]相关引用
[0002]本专利技术的权利要求要求如下申请的优先权：在2019年7月2日递交的申请号为62/869,627，在2019年7月9日递交的申请号为62/871,840，在2019年9月20日递交的申请号为62/903,056。上述美国临时申请案，包括申请号为62/869,627，申请号为62/871,840和申请号为62/903,056的全部内容以引用方式并入本专利技术。


[0003]本专利技术涉及视频编码和视频解码，尤其涉及具有语法元素的视频编码方法及相关的视频解码方法，该语法元素发送基于立方体的投影采用的映射函数。

技术介绍

[0004]具有头戴式显示器(Head
‑
mounted display,简称HMD)的虚拟现实(virtual reality,简称VR)与各种应用相关联。向用户显示宽视野内容的能力可被用于提供沉浸式视觉体验。真实世界环境必须在所有方向上捕获，从而产生对应于球体的全向视频。随着摄像机装备和HMD的进步，由于表示这种360度图像内容需要高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
[0005]通常，与球体相对应的全向视频被转换成具有由以360度虚拟现实(360
‑
degree Virtual Reality，简称360VR)投影布局排列的投影面表示的360度图像内容的帧，然后得到的帧被编码成比特流进行传输。假设常规立方体贴图投影(cubemap projection，简称CMP)被用于将球体上的360度内容投影到立方体的六个面上。由于常规CMP的固有特性，在投影面中心附近的采样速率远低于投影面边界。因此，需要一种修改后的立方体贴图投影设计，该设计可调整常规CMP的采样分布以实现更均匀的采样速率，并且可将与修改后的立方体贴图投影相关联的语法元素发送给视频解码器。

技术实现思路

[0006]所要求保护的专利技术的目的之一是提供一种具有语法元素的视频编码方法以及相关的视频解码方法，该语法元素发送基于立方体的投影采用的映射函数。
[0007]根据本专利技术的第一方面，一种示例性视频编码方法被公开。该示例性视频编码方法包括：对基于投影的帧进行编码以生成比特流的一部分，其中，通过基于立方体的投影，球体的360度内容的至少一部分被映射到多个投影面，并且基于投影的帧具有被打包在基于立方体的投影布局中的多个投影面；通过比特流，发送至少一个语法元素，其中所述至少一个语法元素与基于立方体的投影采用的映射函数相关联，以确定用于多个投影面中的每个投影面的样本位置。
[0008]根据本专利技术的第二方面，一种示例性视频解码方法被公开。该示例性视频解码方
法包括：解码比特流的一部分以生成解码帧，其中，解码帧是基于投影的帧，其具有被打包在基于立方体的投影布局中的多个投影面，并且通过基于立方体的投影，球体360度内容的至少一部分被映射到多个投影面；从所述比特流中解析至少一个语法元素，其中所述至少一个语法元素与基于立方体的投影采用的映射函数相关联，以确定用于多个投影面中的每个投影面的样本位置。
[0009]在阅读了在各个附图和附图中示出的优选实施例的以下详细描述之后，本专利技术的该些和其他目的无疑对于本领域的普通技术人员将变得显而易见。
附图说明
[0010]图1是根据本专利技术实施例的360度虚拟现实(360VR)系统。
[0011]图2示出根据本专利技术实施例的基于立方体的投影。
[0012]图3示出根据本专利技术实施例的3D空间中的立方体的正方形投影面和2D平面上的正方形投影面之间的映射。
具体实施方式
[0013]贯穿以下描述和权利要求特定术语，其涉及特定元件被使用。如本领域的普通技术人员将理解的，电子装置制造商可通过不同的名称来指涉同一元件。本文文件无意区别名称不同但功能相同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此应该被解释为表示“包括但不限于......”。而且，术语“耦合”旨在表示间接或直接电子连接。因此，如果一个装置耦合到另一个装置，则该连接可以通过直接电子连接，或通过其他装置和链接的间接电子连接。
[0014]图1示出根据本专利技术的实施例360VR系统的图。360VR系统100包括两个视频处理装置(例如，源电子设备102和目标电子设备104)。源电子装置102包括视频获取设备112，转换电路114和视频编码器116。例如，视频获取设备112可以是全向相机。转换电路114根据对应于球体的全向视频帧S_IN，生成具有360度虚拟现实(360VR)投影布局L_VR的基于投影的帧IMG，其中全向视频帧S_IN包含球体的360度内容。视频编码器116是编码电路，其对基于投影的帧IMG(其具有打包在360VR投影布局L_VR中的多个投影面)进行编码以生成比特流BS的一部分，并通过诸如有线/无线通信链路或存储介质的传输设备103，将比特流BS输出至目标电子设备104。
[0015]目标电子设备104可以是头戴式显示器(head
‑
mounted display，简称HMD)设备。如图1所示，目标电子设备104包括视频解码器122，图形渲染电路124和显示设备126。视频解码器122是从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS的解码电路，并对接收到的比特流BS的一部分进行解码，以生成解码帧IMG'。在该实施例中，由视频编码器116编码的基于投影的帧IMG具有360VR投影布局L_VR。因此，在视频解码器122对比特流BS的一部分进行解码之后，解码帧(即，重构帧)IMG'具有相同的360VR投影布局L_VR。换句话说，解码帧IMG'也是具有打包在360VR投影布局L_VR中的投影面的基于投影的帧。图形渲染电路124被布置为驱动显示设备126以显示由用户选择的视口区域的图像内容。图形渲染电路124可包括转换电路125，该转换电路125被布置为处理由解码帧IMG'携带的图像内容的一部分，以获得与所选视口区域的图像内容相关联的像素数据。
[0016]在该实施例中，360VR投影布局L_VR是基于立方体的投影布局。因此，从立方体的不同面导出的多个投影面被打包在基于立方体的投影布局中，该基于立方体的投影布局由基于投影的帧IMG/解码帧IMG'采用。在一实施例中，具有代表完整的360
°×
180
°
的全向视频(即，球体的所有360度)的六个正方形投影面的基于立方体的投影可被采用。在另一实施例中，具有代表180
°×
180
°
全向视频(即，球的360度内容的一部分)的五个投影面(包括一个全面和四个半面)的基于立方体的投影被采用。简而言之，基于立方体的投影可能是常规的立方体贴图投影或半球立方体贴图投影，具体取决于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频编码方法，包括：对基于投影的帧进行编码以产生比特流的一部分，其中，通过基于立方体的投影，球体的360度内容的至少一部分被映射到多个投影面，以及所述基于投影的帧具有被打包在基于立方体的投影布局的所述多个投影面；通过所述比特流发送至少一个语法元素，其中所述至少一个语法元素与映射函数相关联，所述映射函数由所述基于立方体的投影所采用以确定用于所述多个投影面的每个投影面的多个样本位置。2.如权利要求1所述的视频编码方法，其特征在于，所述映射函数是所述基于立方体的投影所采用的参数化映射函数，用于调整所述多个投影面中每个投影面的多个样本位置，并且通过所述比特流发送的所述至少一个语法元素包括至少指定所述参数化映射函数的多个系数的复数个语法元素。3.如权利要求2所述的视频编码方法，其特征在于，对于所述多个投影面中的每个投影面，所述多个语法元素包括：第一语法元素，被布置为指示第一轴的所述参数化映射函数使用的系数。4.如权利要求3所述的视频编码方法，其特征在于，对于所述多个投影面中的每个投影面，所述多个语法元素还包括：第二语法元素，被布置为指示所述第一轴的所述参数化映射函数是否引用第二轴的位置值。5.如权利要求3所述的视频编码方法，其特征在于，通过所述比特流发送的所述至少一个语法元素还包括：第二语法元素，被布置为指示所述参数化映射函数由所述基于立方体的投影所采用。6.如权利要求3所述的视频编码方法，其特征在于，对于所述多个投影面中的每个投影面，所述多个语法元素还包括：第二语法元素，被布置为指示第二轴的所述参数化映射函数使用的系数。7.如权利要求6所述的视频编码方法，其特征在于，对于所述多个投影面中的每个投影面，所述多个语法元素还包括：第三语法元素，被布置为指示所述第一轴的所述参数化映射函数是否引用所述第二轴的位置值；以及第四语法元素，被布置为指示所述第二轴的所述参数化映射函数是否引用所述第一轴的位置值。8.如权利要求6所述的视频编码方法，其特征在于，通过所述比特流发送的所述至少一个语法元素还包括：第三语法元素，被布置为指定所述参数化映射函数由所述基于立方体的投影所采用。9.如权利要求2所述的视频编码方法，其特征在于，调整后的样本位置(f
x
(u，v),f
y
(u，v))通过将所述参数化映射函数应用于所述多个投影面之一上的目标样本位置(u，v)获得，所述参数化映射函数被表示为：其中所述参数化映射
函数的系数a
u
，b
u
，a
v
和b
v
由通过所述比特流发送的所述多个语法元素指定。10.如权利要求1所述的视频编码方法，其特征在于，所述至少一个语法元素包括：语法元素，被布置为指定所述映射函数由所述基于立方体的投影所采用。11.如权利要求10所述的视频编码方法，其特征在于，由所述语法元素指定的所述映射函数从包括常规立方体贴图投影，等角映射函数和参数化映射函数的组中选择。12.一种视频解码方法包括：对比特流...

【专利技术属性】
技术研发人员：李亚璇，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：