用于处理具有层信息的视频流的方法和系统技术方案

本发明专利技术针对视频处理技术。特定实施例提供了一种视频处理方法。处理包括元数据部分和视频数据部分的视频流的帧。元数据部分包括视点列表部分和图块列表部分。至少基于层图块关联信息生成层列表。层列表包括指示层和视点之间的关联的参数。图块列表部分包括指示层和图块之间的关联的参数。在渲染过程中，至少使用层列表参数和图块列表参数选择目标视点的图块。也有其他实施例。也有其他实施例。也有其他实施例。

【技术实现步骤摘要】
【国外来华专利技术】用于处理具有层信息的视频流的方法和系统
[0001]相关申请的交叉引用
[0002]不适用
[0003]关于在联邦政府资助的研究和开发下做出的专利技术的权利声明
[0004]不适用
[0005]对以光盘提交的“序列表”、表格、或计算机程序列表附录的引用
[0006]不适用

技术介绍

[0007]本专利技术针对视频处理技术及其系统。
[0008]近年来，数字视频技术在许多方面有所改进。视频捕获设备在以越来越高的分辨率生成内容，高清显示器(从1080P到4K分辨率和更高分辨率)已成为一种标准。此外，随着三维(three
‑
dimensional，3D)、增强现实(augmented reality，AR)、以及虚拟现实(virtual reality，VR)应用的出现，沉浸式视频内容被广泛接受。这些应用通常需要并且有时要求体积内容。例如，已提出MPEG沉浸式视频(MPEG immersive video，MIV)格式用于存储和传输可视体视频编码(visual volumetric video
‑
based coding，V3C)格式的体积视频内容。例如，V3C视频数据流通常包括纹理数据、深度数据、以及元数据。纹理和深度数据图像作为图块(patch)存储在一个或多个图集中，这些图集是用于存储图块的预定尺寸的二维(two
‑
dimensional，2D)占位符。
[0009]现有的沉浸式视频格式及其变型具有许多视频处理技术，但这些技术还不够充分。因此，需要改进处理视频流的方法和系统。

技术实现思路

[0010]本专利技术针对视频处理技术。特定实施例提供了一种视频处理方法。处理包括元数据部分和视频数据部分的视频流的帧。元数据部分包括视点列表部分和图块列表部分。至少基于层图块关联信息生成层列表。层列表包括指示层和视点之间的关联的参数。图块列表部分包括指示层和图块之间的关联的参数。在渲染过程中，至少使用层列表参数和图块列表参数选择目标视点的图块。
[0011]另一实施例提供了一种处理视频数据流的方法，该方法可由一个或多个计算机的系统执行。该系统可以用于通过在系统上安装软件、固件、硬件、或其组合来执行特定操作或行为，该软件、固件、硬件、或其组合在操作时使系统执行这些行为。一个或多个计算机程序可用于通过包括指令来将数据处理装置配置为执行特定操作或行为，这些指令在由数据处理装置执行时使该装置执行这些行为。该方法包括接收视频数据流。该数据流包括第一数据单元，第一数据单元包括元数据部分和数据部分。元数据部分包括视点列表部分和图块列表部分。该数据部分包括第一图集。该第一图集包括第一图块和第二图块。视点列表部分包括第一视点和与第一视点相关联的第一多个视点参数。图块列表部分包括与第一图块相关联的第一多个图块参数和与第二图块相关联的第二多个图块参数。第一多个图块参数
包括图块层关联信息。该方法还包括至少使用该图块层关联信息生成层列表。该层列表包括与第一视点相关联的第一层。该第一层基于该第一视点的第一深度。该方法还包括为第一层分配第一层标识。该方法还包括生成层列表部分，层列表部分至少包括第一层和与第一层相关联的第一多个层参数。第一多个层参数包括第一层标识号和第一视点层关联。
[0012]在各种实施例中，该方法还包括至少使用第一层从视点列表部分选择目标视点。该方法还包括获取与目标视点相关联的渲染参数。该方法还包括使用渲染参数渲染目标视点。
[0013]某些实施例的一个一般方面包括一种处理视频数据流的方法。该方法包括接收视频数据流，该视频数据流包括第一数据单元。第一数据单元包括元数据部分和数据部分。元数据部分包括视点列表部分和图块列表部分。数据部分包括第一图集。第一图集包括第一图块和第二图块。视点列表部分包括第一视点和与该第一视点相关联的第一多个视点参数。图块列表部分包括与第一图块相关联的第一多个图块参数和与第二图块相关联的第二多个图块参数。第一多个图块参数包括图块层关联信息。该方法还包括至少使用图块层关联信息生成层列表。该层列表包括与第一视点相关联的第一层。该第一层基于该第一视点的第一深度。该方法还包括为该第一层分配第一层标识。该方法还包括通过添加第一层作为第二视点来更新视点列表部分。该方法还包括选择用于在输出设备上渲染的第一目标视点。该方法还包括至少使用层列表和图块列表部分选择一个或多个图块。该方法还包括组合选择的一个或多个图块以形成第一中间输出帧。该方法包括至少使用视点列表部分执行后处理。
[0014]某些实施例的另一个一般方面包括一种视频解码装置。该装置包括用于接收视频数据流的输入接口。该装置还包括用于存储视频数据流的一部分的第一缓冲存储器。视频数据流的该部分包括第一数据单元，第一数据单元具有元数据部分和数据部分。元数据部分包括视点列表部分和图块列表部分。数据部分包括第一图集，第一图集包含第一图块和第二图块。视点列表部分包括第一视点和与该第一视点相关联的第一多个视点参数。图块列表部分包括与第一图块相关联的第一多个图块参数和与第二图块相关联的第二多个图块参数。该装置还包括用于访问第一缓冲存储器并处理元数据部分以添加层列表部分的处理单元，层列表部分包括第一层和第一多个层参数。第一层与第一视点相关联。处理单元还用于至少修改第一多个图块参数以包括指示与第一层和第一图块的关联的第一层图块参数。例如，处理单元可以包括多个图形处理器单元(graphic processor unit，GPU)核。该装置还包括用于选择第一目标视点并生成该第一目标视点的第一中间输出图像的渲染引擎。该第一中间输出图像与第一数据单元相关联。渲染引擎还用于至少基于层列表部分选择并组合第一目标视点的一个或多个图块。第一中间输出图像基于组合的一个或多个图块。该装置还包括用于存储第一中间输出图像的第二缓冲存储器。该装置还包括用于发送该第一中间输出图像的输出接口。这方面的其他实施例包括相应的计算机系统、装置、以及记录在一个或多个计算机存储设备上的计算机程序，每个用于执行该方法的动作。
[0015]某些实施例的另一个一般方面包括一种数据编码方法。该方法包括接收视频数据单元。该视频数据单元包括第一元数据部分和视频数据部分。该第一元数据部分至少包括视点参数。该方法还包括确定与视频数据部分相关联的多平面数据类型。该方法还包括处理视频数据部分以获取多个深度值。该方法还包括生成对应于多个深度值的多个层。例如，
该多个层包括第一层。该方法还包括基于至少使用视频数据部分生成多个图块。该多个图块包括第一图块。该方法还包括确定第一层和第一图块之间的第一关联。该方法还包括将该第一关联存储在第二元数据部分。该方法还包括编码该第二元数据部分。
[0016]应理解，本专利技术实施例与传统技术相比具有许多优势。可以通过将层信息添加到MIV视频的元数据来更好地定义存储在图集上的图块和视点之间的关系。在渲染过程中，可以在图块级提供可从层列表元数据推断的深度值。层级深度信息和按视点和层对图块进行分组的可能性可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理视频数据流的方法，所述方法包括：接收视频数据流，所述视频数据流包括第一数据单元，所述第一数据单元包括元数据部分和数据部分，所述元数据部分包括视点列表部分和图块列表部分，所述数据部分包括第一图集，所述第一图集包括第一图块和第二图块，所述视点列表部分包括第一视点和与所述第一视点相关联的第一多个视点参数，所述图块列表部分包括与所述第一图块相关联的第一多个图块参数和与所述第二图块相关联的第二多个图块参数，所述第一多个图块参数包括图块层关联信息；至少使用所述图块层关联信息生成层列表，所述层列表包括与所述第一视点相关联的第一层，所述第一层基于所述第一视点的第一深度；为所述第一层分配第一层标识；以及生成层列表部分，所述层列表部分至少包括所述第一层和与所述第一层相关联的第一多个层参数，所述第一多个层参数包括第一层标识号和第一视点层关联。2.根据权利要求1所述的方法，还包括：至少使用所述第一层从所述视点列表部分选择目标视点；获取与所述目标视点相关联的渲染参数；以及使用所述渲染参数渲染所述目标视点。3.根据权利要求1所述的方法，还包括：将所述层列表部分存储在所述元数据部分；选择用于在输出设备上渲染的第一目标视点；至少使用所述层列表部分和所述图块列表部分选择一个或多个图块；组合选择的所述一个或多个图块以形成中间输出帧；以及至少使用所述视点列表执行后处理。4.根据权利要求3所述的方法，还包括至少使用所述部分确定视点图块关联，所述层列表对于所述视频数据流是全局的。5.根据权利要求3所述的方法，还包括选择用于在所述输出设备上渲染的第二目标视点。6.根据权利要求3所述的方法，其中，至少基于相对于所述第一目标视点的层位置选择所述一个或多个图块。7.根据权利要求1所述的方法，还包括执行：至少使用所述第一多个层参数的层深度解码过程，所述第一多个层参数包括层深度值；至少使用所述视点列表部分选择图块的视点重建过程；以及用于组合选择的所述图块的合成过程。8.根据权利要求1所述的方法，其中，所述数据部分还包括第二图集，所述第二图集包括与所述第一层相关联的第三图块。9.根据权利要求1所述的方法，其中，所述一个或多个图块是基于图块分辨率值选择的。10.根据权利要求1所述的方法，还包括生成所述视频数据流的第二数据单元的更新层列表。
11.根据权利要求1所述的方法，其中，存储在所述层列表的层的数量大于或等于存储在所述视点列表的视点的数量。12.根据权利要求1所述的方法，还包括：基于每个图块对所述第一图块执行深度计算；存储所述第一图块的图块深度值。13.根据权利要求1所述的方法，还包括从源视点重新投影到所述第一目标视点。14.根据权利要求1所述的方法，其中，所述输出设备包括MIV显示设备、移动显示器、投影仪、或立体显示器。15.根据权利要求1所述的方法，其中，所述第一多个层参数还包括与所述第一图块相关联的第一深度值。16.根据权利要求1所述的方法，其中，所述第一多个图块参数还包括指示所述第一视点和所述第一图块之间的关联的第一视点图块关联。17.根据权利要求1所述的方法，其中，所述第一视点层关联指示所述第一层与所述第一视点相关联。18.根据权利要求1所述的方法，其中，所述第一多个图块参数还包括与所述第一层和所述第一视点相关联的第一深度值。19.一种处理视频数据流的方法，所述方法包括：接收视频数据流，所述视频数据流包括第一数据单元，所述第一数据单元包括元数据部分和数据部分，所述元数据部分包括视点列表部分和图块列表部分，所述数据部分包括第一图集，所述第一图集包括第一图块和第二图块，所述视点列表部分包括第一视点和与所述第一视点相关联的第一多个视点参数，所述图块列表部分包括与所述第一图块相关联的第一多个图块参数和与所述第二图块相关联的第二多个图块参数，所述第一多个图块参数包括图块层关联信息；至少使用所述图块层关联信息生成层列表，所述层列表包括与所述第一视点相关联的第一层，所述第一层基于所述第一视点的第一深度；为所述第一层分配第一层标识；通过添加所述第一层作为第二视点来更新所述视点列表部分；选择用于在输出设备上渲染的第一目标视点；至少使用所述层列表和所述图块列表部分选择一个或多个图块；组合选择的所述一个或多个图块以形成第一中间输出帧；以及至少使用所述视点列表部分执行后处理。20.根据权利要求19所述的方法，其中，所述第二视点包括指示所述第二视点是层类型视点的标志参数。21.一种视频解码装置，包括：输入接口，用于接收视频数据流；第一缓冲存储器，用于存储所述视频数据流的第一数据单元，所述第一数据单元包括元数据部分和数据...

【专利技术属性】
技术研发人员：虞露，王楚楚，李思成，谢志煌，戴震宇，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：