用于几何编解码的帧间和帧内预测的混合树编解码制造技术

用于解码包括点云数据的比特流的设备被配置为：确定定义包含点云的空间的基于八叉树的划分的八叉树，其中，八叉树的叶节点包含点云的一个或多个点；以及直接解码叶节点中的一个或多个点中的每个点的位置，其中，为了直接解码叶节点中的一个或多个点中的每个点的位置，一个或多个处理器还被配置为：生成一个或多个点的预测；以及基于预测来确定一个或多个点。点。点。

【技术实现步骤摘要】
【国外来华专利技术】用于几何编解码的帧间和帧内预测的混合树编解码
[0001]本申请要求于2021年12月27日提交的美国专利申请No.17/562,398和于2020年12月29日提交的美国临时专利申请No.63/131,546的优先权，每个专利申请的全部内容通过引用并入本文中。于2021年12月27日提交的美国专利申请No.17/562,398要求于2020年12月29日提交的美国临时专利申请No.63/131,546的权益。


[0002]本公开涉及点云编码和解码。

技术实现思路

[0003]本公开大体上描述了一种混合树编解码(coding)方法，该方法组合八叉树编解码和预测编解码，用于点云压缩的块级别处的增强的帧间/帧内预测。
[0004]在一个示例中，本公开描述了一种编解码点云的方法，该方法包括：确定定义包含点云的空间的基于八叉树的分割的八叉树，其中：八叉树的叶节点包含点云的一个或多个点，并且叶节点中的一个或多个点中的每个点的位置直接被信令通知；使用帧内预测或帧间预测来生成一个或多个点的预测；以及对指示使用帧内预测还是帧间预测来预测一个或多个点的语法元素进行编解码。
[0005]根据本公开的一个示例，用于解码包括点云数据的比特流的设备包括：存储器，用于存储点云数据；以及一个或多个处理器，耦合到存储器并且在电路中实施，一个或多个处理器被配置为：确定定义包含点云的空间的基于八叉树的划分的八叉树，其中，八叉树的叶节点包含点云的一个或多个点；以及直接解码叶节点中的一个或多个点中的每个的位置，其中，为了直接解码叶节点中的一个或多个点中的每个点的位置，一个或多个处理器还被配置为：生成一个或多个点的预测，以及基于预测来确定一个或多个点。
[0006]根据本公开的另一示例，解码点云的方法包括：确定定义包含点云的空间的基于八叉树的划分的八叉树，其中，八叉树的叶节点包含点云的一个或多个点；直接解码叶节点中的一个或多个点中的每个点的位置，其中，直接解码叶节点中的一个或多个点中的每个点的位置包括：生成一个或多个点的预测；以及基于预测来确定一个或多个点。
[0007]根据本公开的另一示例，计算机可读存储介质存储指令，当指令由一个或多个处理器执行时，使一个或多个处理器：确定定义包含点云的空间的基于八叉树的划分的八叉树，其中，八叉树的叶节点包含点云的一个或多个点；以及直接解码叶节点中的一个或多个点中的每个点的位置，其中，为了直接解码叶节点中的一个或多个点中的每个点的位置，该指令使一个或多个处理器：生成一个或多个点的预测；以及基于预测来确定一个或多个点。
[0008]根据本公开的另一示例，装置包括：用于确定定义包含点云的空间的基于八叉树的划分的八叉树的部件，其中，八叉树的叶节点包含点云的一个或多个点；用于直接解码叶节点中的一个或多个点中的每个点的位置的部件，其中，用于直接解码叶节点中的一个或多个点中的每个点的位置的部件包括：用于生成一个或多个点的预测的部件；以及用于基于预测来确定一个或多个点的部件。
[0009]一个或多个示例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，其他特征、目的和优点将变得显而易见。
附图说明
[0010]图1是示出可以执行本公开的技术的示例编码和解码系统的框图。
[0011]图2是示出示例几何点云压缩(G
‑
PCC)编码器的框图。
[0012]图3是示出示例G
‑
PCC解码器的框图。
[0013]图4是示出用于几何编解码的示例八叉树划分的概念图。
[0014]图5是示出预测树的示例的概念图。
[0015]图6是示出示例旋转Lidar获取模型的概念图。
[0016]图7是示出InterEM的示例运动估计流程图的概念图。
[0017]图8是示出用于估计全局运动的示例算法的概念图。
[0018]图9是示出用于估计局部节点运动矢量的示例算法的概念图。
[0019]图10是示出高级八叉树划分的示例的概念图。
[0020]图11是示出局部预测树生成的示例的概念图。
[0021]图12是示出示例当前点集(O0至O12)和参考点集(R0至R12)(其中，N＝M＝13)的概念图。
[0022]图13是示出示例当前点集和运动补偿参考点集(其中，N＝M＝13)的概念图。
[0023]图14是示出可以与本公开的一种或多种技术一起使用的示例测距(range
‑
finding)系统的概念图。
[0024]图15是示出其中可以使用本公开的一种或多种技术的基于车辆的示例场景的概念图。
[0025]图16是示出其中可以使用本公开的一种或多种技术的示例扩展现实系统的概念图。
[0026]图17是示出其中可以使用本公开的一种或多种技术的示例移动设备系统的概念图。
[0027]图18是示出用于解码包括点云数据的比特流的示例操作的流程图。
具体实施方式
[0028]点云是三维(3D)空间中的点集合。这些点可以对应于三维空间内对象上的点。因此，点云可以用来表示三维空间的物理内容。点云可能在各种情况下都有效用。例如，点云可以在自主车辆的环境中用于表示道路上对象的位置。在另一示例中，为了在增强现实(AR)或混合现实(MR)应用中定位虚拟对象，点云可以在表示环境的物理内容的环境中使用。点云压缩是对点云进行编码和解码的过程。编码点云可以减少存储和传输点云所需的数据量。
[0029]以前有两种主要的建议用于信令通知点云中的点的位置：八叉树编解码和预测树编解码。作为使用八叉树编解码对点云数据进行编码的一部分，G
‑
PCC编码器可以生成八叉树。八叉树的每个节点对应于长方体空间。八叉树的节点可以具有零个或八个子节点。在其他示例中，可以根据其他树结构将节点划分为子节点。父节点的子节点对应于与父节点相
对应的长方体内的相等大小的长方体。相对于节点的原点的点云的各个点的位置可以被信令通知。如果节点不包含点云的任何点，则称该节点未被占用。如果该节点未被占用，则可能没有必要信令通知关于该节点的附加数据。相反，如果节点包含点云的一个或多个点，则称该节点被占用。
[0030]当使用预测树编解码来编码点云数据时，G
‑
PCC编码器确定点云的每个点的预测模式。该点的预测模式可以是以下中的一个：
[0031]●
无预测/零预测(0)
[0032]●
增量(delta)预测(p0)
[0033]●
线性预测(2*p0
–
p1)
[0034]●
平行四边形预测(2*p0+p1
–
p2)
[0035]在该点的预测模式是“无预测/零预测”的情况下，该点被认为是根点(即，根顶点)，并且该点的坐标(例如，x、y、z坐标)在比特流中信令通知。在该点的预测模式是“增量预测”的情况下，G
‑
PC本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于解码包括点云数据的比特流的设备，所述设备包括：存储器，存储所述点云数据；以及一个或多个处理器，耦合到所述存储器并且在电路中实施，所述一个或多个处理器被配置为：确定定义包含点云的空间的基于八叉树的划分的八叉树，其中，所述八叉树的叶节点包含所述点云的一个或多个点；以及直接解码所述叶节点中的所述一个或多个点中的每个点的位置，其中，为了直接解码所述叶节点中的所述一个或多个点中的每个点的所述位置，所述一个或多个处理器还被配置为：生成所述一个或多个点的预测；以及基于所述预测来确定所述一个或多个点。2.根据权利要求1所述的设备，其中，为了直接解码所述叶节点中的所述一个或多个点中的每个点的所述位置，所述一个或多个处理器还被配置为：接收标志，其中，所述标志的第一值指示所述一个或多个点的所述预测是通过帧内预测生成的，并且所述标志的第二值指示所述一个或多个点的所述预测是通过帧间预测生成的；以及基于所述标志的值，使用帧内预测或帧间预测来解码所述一个或多个点。3.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为在包括所述点云的所述比特流中接收指定所述叶节点的体积的八叉树叶体积。4.根据权利要求1所述的设备，其中：为了生成所述一个或多个点的所述预测，所述一个或多个处理器还被配置为使用帧内预测来生成所述一个或多个点的所述预测，以及为了使用帧内预测来生成所述一个或多个点的所述预测，所述一个或多个处理器还被配置为确定用于所述一个或多个点的局部预测树。5.根据权利要求1所述的设备，其中，为了基于所述预测来确定所述一个或多个点，所述一个或多个处理器还被配置为在包括所述点云的所述比特流中接收所述一个或多个点中的每个点的预测模式、主残差和次残差中的至少一个。6.根据权利要求1所述的设备，其中：为了生成所述一个或多个点的所述预测，所述一个或多个处理器还被配置为使用帧间预测来生成所述一个或多个点的所述预测，以及为了使用帧间预测来生成所述一个或多个点的所述预测，所述一个或多个处理器还被配置为利用所述一个或多个点执行运动估计，以确定参考点云帧中的相似点集。7.根据权利要求1所述的设备，其中：为了生成所述一个或多个点的所述预测，所述一个或多个处理器还被配置为使用帧间预测来生成所述一个或多个点的所述预测，以及为了使用帧间预测来生成所述一个或多个点的所述预测，所述一个或多个处理器还被配置为基于参考点云帧中的点集执行运动补偿，以预测所述一个或多个点。8.根据权利要求7所述的设备，其中，为了执行运动补偿，所述一个或多个处理器还被配置为将运动矢量应用于所述参考点云帧中的所述点集，以确定所述一个或多个点的预
测。9.根据权利要求8所述的设备，其中，所述一个或多个处理器还被配置为基于时空相邻帧间八叉树叶的运动矢量来预测所述运动矢量。10.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为从所述点云数据重构所述点云。11.根据权利要求10所述的设备，其中，所述一个或多个处理器被配置为，作为重构所述点云的一部分，基于所述叶节点中的所述一个或多个点中的每个点的所直接解码的位置来确定所述点云的一个或多个点的位置。12.根据权利要求11所述的设备，其中，所述一个或多个处理器还被配置为基于所述点云生成建筑物的内部的地图。13.根据权利要求11所述的设备，其中，所述一个或多个处理器还被配置为基于所述点云来执行自主导航操作。14.根据权利要求11所述的设备，其中，所述一个或多个处理器还被配置为基于所述点云来生成计算机图形。15.根据权利要求11所述的设备，其中，所述一个或多个处理器被配置为：基于所述点...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：