基于图表的网格压缩制造技术

由解码器执行的方法包括：接收已编码视频比特流，所述已编码视频比特流包括与三维

【技术实现步骤摘要】
【国外来华专利技术】基于图表的网格压缩
[0001]交叉引用
[0002]本申请要求于
2022
年4月
15
日提交美国专利局
、
申请号为
63/331,711
的美国临时申请的优先权，以及于
2023
年3月
28
日提交美国专利局
、
申请号为
18/127,432
的美国正式申请的优先权，其全部内容通过引用结合在本申请中
。


[0003]本申请实施例涉及先进的视频编解码技术，尤其涉及基于视频的网格压缩，包括基于图表的网格压缩的编解码方法
。

技术介绍

[0004]世界的高级三维
3D
表示正在实现更具沉浸感的互动和交流形式
。
为了在三维表示中实现真实感，三维模型变得越来越复杂，大量数据与这些三维模型的创建和使用有关
。3D
网格被广泛用于对沉浸式内容进行
3D
建模
。
[0005]3D
网格可能由几个多边形组成，这些多边形描述了体积对象的表面
。
动态网格序列可能需要大量数据，因为网格序列可能具有随时间变化的大量信息
。
因此，需要高效的压缩技术来存储和传输这样的内容
。
[0006]网格压缩标准
IC、MESHGRID、FAMC
先前已开发用于处理具有恒定连接性和时变几何体和顶点属性的动态网格
。
然而，这些标准没有考虑随时间变化的属性图和连接信息
。
[0007]此外，体积采集技术生成恒定连通性动态网格也具有挑战性，尤其是在实时约束下
。
现有标准不支持这种类型的动态网格内容
。

技术实现思路

[0008]根据本申请实施例，一种方法，由解码器的至少一个处理器执行，所述方法包括：接收已编码视频比特流，所述已编码视频比特流包括与三维
3D
网格相对应的至少一个两维
2D
网格；对于所述至少一个
2D
网格中的每个
2D
网格，重建该
2D
网格的至少一个边界顶点；对于所述至少一个
2D
网格中的每个
2D
网格，确定用于重建该
2D
网格的至少一个内部顶点的重建模式，是否为
(i)
采样模式和
(ii)
非采样模式中的一个；对于所述至少一个
2D
网格中的每个
2D
网格，基于确定的重建模式，对该
2D
网格的所述至少一个内部顶点进行重建；及，基于所述至少一个
2D
网格中各个
2D
网格的重建的至少一个边界顶点和重建的至少一个内部顶点，重建所述
3D
网格
。
[0009]根据本申请实施例，一种解码器，包括：至少一个存储器，用于存储程序代码；至少一个处理器，用于读取所述程序代码，并且根据所述程序代码的指令进行操作，所述程序代码包括：接收代码，被配置为使得所述至少一个处理器，接收已编码视频比特流，所述已编码视频比特流包括与三维
3D
网格相对应的至少一个两维
2D
网格；第一重建代码，被配置为使得所述至少一个处理器，对于所述至少一个
2D
网格中的每个
2D
网格，重建该
2D
网格的至少一个边界顶点；第一确定代码，被配置为使得所述至少一个处理器，对于所述至少一个
2D
网格中的每个
2D
网格，确定用于重建该
2D
网格的至少一个内部顶点的重建模式，是否为
(i)
采样模式和
(ii)
非采样模式中的一个；第二重建代码，被配置为使得所述至少一个处理器，对于所述至少一个
2D
网格中的每个
2D
网格，基于确定的重建模式，对该
2D
网格的所述至少一个内部顶点进行重建；及，第三重建代码，被配置为使得所述至少一个处理器，基于所述至少一个
2D
网格中各个
2D
网格的重建的至少一个边界顶点和重建的至少一个内部顶点，重建所述
3D
网格
。
[0010]根据本申请实施例，一种非暂时性计算机可读介质，其上存储有指令，所述指令由解码器中的至少一个处理器执行时，使得所述至少一个处理器执行：接收已编码视频比特流，所述已编码视频比特流包括与三维
3D
网格相对应的至少一个两维
2D
网格；对于所述至少一个
2D
网格中的每个
2D
网格，重建该
2D
网格的至少一个边界顶点；对于所述至少一个
2D
网格中的每个
2D
网格，确定用于重建该
2D
网格的至少一个内部顶点的重建模式，是否为
(i)
采样模式和
(ii)
非采样模式中的一个；对于所述至少一个
2D
网格中的每个
2D
网格，基于确定的重建模式，对该
2D
网格的所述至少一个内部顶点进行重建；及，基于所述至少一个
2D
网格中各个
2D
网格的重建的至少一个边界顶点和重建的至少一个内部顶点，重建所述
3D
网格
。
附图说明
[0011]根据以下详细描述和附图，所公开的主题的其他特征
、
性质和各种优点将进一步明确，其中：
[0012]图1示出了根据本申请实施例的通信系统的方框示意图；
[0013]图2示出了根据本申请实施例的流式传输系统的方框示意图；
[0014]图3示出了根据本申请实施例的视频编码器和解码器的方框示意图；
[0015]图4示出了根据本申请实施例的从
3D
网格分段到
2D
图表的
UV
参数化映射的示例；
[0016]图5示出了根据本申请实施例的当从
3D
网格分段被映射到多个分离的图表时不同的
UV
参数化的示例；
[0017]图6示出了根据本申请实施例的包括多个图表的
2D UV
图集的示例；
[0018]图7示出了根据本申请实施例的
2D
补丁中的边界顶点的示例；
[0019]图8示出了根据本申请实施例的几何编码管线的示例；
[0020]图
9(A)
和
9(B)
示出了根据本申请实施例的图表边界检测的示例；
[0021]图
10(A)
和
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，其特征在于，由解码器的至少一个处理器执行，所述方法包括：接收已编码视频比特流，所述已编码视频比特流包括与三维
3D
网格相对应的至少一个两维
2D
网格；对于所述至少一个
2D
网格中的每个
2D
网格，重建该
2D
网格的至少一个边界顶点；对于所述至少一个
2D
网格中的每个
2D
网格，确定用于重建该
2D
网格的至少一个内部顶点的重建模式，是否为
(i)
采样模式和
(ii)
非采样模式中的一个；对于所述至少一个
2D
网格中的每个
2D
网格，基于确定的重建模式，对该
2D
网格的所述至少一个内部顶点进行重建；及，基于所述至少一个
2D
网格中各个
2D
网格的重建的至少一个边界顶点和重建的至少一个内部顶点，重建所述
3D
网格
。2.
根据权利要求1所述的方法，其特征在于，基于所述已编码视频比特流中包括的标志，确定所述重建模式
。3.
根据权利要求1所述的方法，其特征在于，还包括：对所述已编码视频比特流中包括的至少一个几何地图进行解码
。4.
根据权利要求3所述的方法，其特征在于，基于确定所述重建模式为所述采样模式，所述对于所述至少一个
2D
网格中的每个
2D
网格，对该
2D
网格的所述至少一个内部顶点进行重建，包括：对于所述至少一个
2D
网格中的每个
2D
网格，基于该
2D
网格的重建的边界顶点，确定该
2D
网格的边界多边形；对于所述至少一个
2D
网格中的每个
2D
网格，将该
2D
网格的所述边界多边形中包括的每个顶点，识别为内部顶点
。5.
根据权利要求4所述的方法，其特征在于，所述重建所述
3D
网格，包括：基于解码的至少一个几何地图中的相应位置
、
采样率以及在所述解码的至少一个几何地图中的偏移，导出所述
3D
网格中的内部顶点
。6.
根据权利要求1所述的方法，其特征在于，基于确定所述重建模式为所述非采样模式，对于所述至少一个
2D
网格中的每个
2D
网格，基于该
2D
网格的重建的至少一个边界顶点，重建该
2D
网格的所述至少一个内部顶点
。7.
根据权利要求6所述的方法，其特征在于，所述重建所述
3D
网格，包括：通过级联所述至少一个
2D
网格的重建的内部顶点和所述至少一个
2D
网格中相应的重建的边界顶点，重建所述
3D
网格中的内部顶点
。8.
根据权利要求1所述的方法，其特征在于，所述重建所述
3D
网格，包括：基于
2D
到
3D
的索引阵列，重建所述
3D
网格中的边界顶点，其中，对于所述至少一个
2D
网格中的每个
2D
网格，所述
2D
到
3D
的索引阵列，将该
2D
网格的相应的至少一个重建的边界顶点，映射为所述
3D
网格中的所述边界顶点
。9.
一种解码器，其特征在于，包括：至少一个存储器，用于存储程序代码；至少一个处理器，用于读取所述程序代码，并且根据所述程序代码的指令进行操作，所述程序代码包括：接收代码，被配置为使得所述至少一个处理器，接收已编码视频比特流，所述已编码视
频比特流包括与三维
3D
网格相对应的至少一个两维
2D
网格；第一重建代码，被配置为使得所述至少一个处理器，对于所述至少一个
2D
网格中的每个
2D
网格，重建该
2D
网格的至少一个边界顶点；第一确定代码，被配置为使得所述至少一个处理器，对于所述至少一个
2D
网格中的每个
2D
网格，确定用于重建该
2D
网格的至少一个内部顶点的重建模式，是否为
(i)
采样模式和
(ii)
非采样模式中的一个；第二重建代码，被配置为使得所述至少一个处理器，对于所述至少一个
2D
网格中的每个
2D
网格，基于确定的重建模式，对该
2D
网格的所述至少一个内部顶点进行重建；及，第三重建代码，被配置为使得所述至少一个处理器，基于所述至少一个
2D
网格中各个
2D
网格的重建的至少一个边界顶点和重建的至少一个内部顶点，重建所述
3D
网格

【专利技术属性】
技术研发人员：张翔，黄超，许晓中，田军，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：