点云编解码方法和装置制造方法及图纸

本申请的各方面提供了点云压缩方法和装置。在一些示例中，用于点云压缩的装置包括处理电路。在一些实施例中，处理电路确定点云中与已重建位置相关联的一个或多个原始点。一个或多个原始点的位置是根据几何结构量化结果重建到已重建位置。然后处理电路基于一个或多个原始点的属性信息，确定已重建位置的属性值，并且通过具有所确定的属性值的已重建位置，对点云的纹理进行编码。对点云的纹理进行编码。对点云的纹理进行编码。

【技术实现步骤摘要】
【国外来华专利技术】点云编解码方法和装置
[0001]引用加入
[0002]本申请要求于2020年10月6日提交的申请号为17/064,029的美国专利申请“点云编解码方法和装置(METHOD AND APPARATUS FOR POINT CLOUD CODING)”的优先权，该美国专利申请要求于2019年12月2日提交的申请号为62/942,536的美国临时专利申请“点云编解码的混合编解码次序(HYBRID CODING ORDER FOR POINT CLOUD CODING)”。所述两个在先申请的全部内容通过引用包含在本申请中。


[0003]本申请描述了大体上涉及点云编解码的实施例。

技术介绍

[0004]本文中提供的
技术介绍
描述是为了大体上呈现本申请的上下文。在此
技术介绍
部分描述的程度上，当前署名的专利技术人的工作，以及在本申请提交时可能不具有作为现有技术的资格的描述的各方面，既不明确认为也不隐含认为是本申请的现有技术。
[0005]人们开发了各种技术来捕捉世界并在三维(3D)空间中表示世界，例如，世界中的物体、世界中的环境等。世界的3D表示可以实现更身临其境的交互和交流形式。点云可以用作世界的3D表示。点云是3D空间中的一组点，每个点都有相关的属性，例如，颜色、材料属性、纹理信息、强度属性、反射率属性、运动相关属性、形态属性和各种其它属性。此类点云可能包括大量的数据，其存储和传输可能成本高昂且耗时。

技术实现思路

[0006]本申请的各方面提供了点云压缩和解压缩方法和装置。在一些示例中，一种点云压缩/解压缩装置包括处理电路。在一些实施例中，处理器确定点云中与已重建位置相关联的一个或多个原始点。一个或多个原始点的位置可以根据几何结构量化结果重建到已重建位置。然后，处理器基于一个或多个原始点的属性信息，确定已重建位置的属性值，并且通过具有所确定的属性值的已重建位置，对点云的纹理进行编码。
[0007]在一些实施例中，所述装置包括存储数据结构的存储器，数据结构将一个或多个原始点与已重建位置相关联。基于已重建位置访问数据结构，以检索与已重建位置相关联的一个或多个原始点。
[0008]在一些实施例中，所述处理电路执行八叉树划分，将点云的空间划分为体素，并且将位于一个体素中的一个或多个原始点与用于表示所述体素的已重建位置相关联。在一示例中，所述关联关系使用适当的数据结果进行存储。
[0009]在一些实施例中，处理电路响应于多个原始点与已重建位置相关联，计算多个原始点的属性值的平均值，将其作为已重建位置的所确定的属性值。在一些示例中，处理电路计算多个原始点的属性值的加权平均值，将其作为已重建位置的所确定的属性值。在一示例中，处理电路基于多个原始点中的原始点与已重建位置之间距离的倒数，对多个原始点
中的原始点的属性值进行加权。
[0010]在一些实施例中，处理电路响应于多个原始点与已重建位置相关联，将多个原始点中的距离最近点的特定属性值分配作为已重建位置的所确定的属性值。在一示例中，处理电路响应于多个原始点中的多个距离最近点与已重建位置之间具有相同的最短距离，选择多个距离最近点的属性值中的中值属性值。在另一示例中，处理电路响应于多个原始点中的多个距离最近点与已重建位置之间具有相同的最短距离，计算多个距离最近点的属性值的平均属性值。
[0011]本申请的各方面还提供了存储指令的非易失性计算机可读介质，所述指令在由点云编码/解码计算机执行时，使所述计算机执行所述点云编码/解码方法中的任意一种或其组合。
附图说明
[0012]结合以下详细描述和附图，本申请主题的其它特征、本质和各种优点将会变得更加清楚，其中：
[0013]图1是根据实施例的通信系统的简化框图示意图；
[0014]图2是根据实施例的流式传输系统的简化框图示意图；
[0015]图3示出了根据一些实施例的用于对点云帧进行编码的编码器框图；
[0016]图4示出了根据一些实施例的用于对与点云帧相对应的压缩码流进行解码的解码器框图；
[0017]图5是根据实施例的视频解码器的简化框图示意图；
[0018]图6是根据实施例的视频编码器的简化框图示意图；
[0019]图7示出了根据一些实施例的用于对点云帧进行编码的编码器框图；
[0020]图8示出了根据一些实施例的用于对与点云帧相对应的压缩码流进行解码的解码器的框图；
[0021]图9示出了根据本申请一些实施例的基于八叉树划分技术的立方体分割的图示。
[0022]图10示出了根据本申请一些实施例的八叉树划分和与八叉树划分相对应的八叉树结构的示例。
[0023]图11示出了说明根据本申请一些实施例的推导技术的示图。
[0024]图12示出了概述根据一些实施例的方法示例的流程图。
[0025]图13是根据实施例的计算机系统的示意图。
具体实施方式
[0026]本申请的各方面提供了点云编解码(PCC)技术。可以根据各种方案来进行PCC，例如，基于几何的方案(称为G
‑
PCC)、基于视频编解码的方案(称为V
‑
PCC)等。根据本申请的一些方面，G
‑
PCC直接对3D几何结构进行编码，并且是纯基于几何结构的方法，与视频编解码没有太多共享内容，而V
‑
PCC主要基于视频编解码。例如，V
‑
PCC可以将3D云的点映射到2D网格(图像)的像素。V
‑
PCC方案可以利用通用视频编解码器进行点云压缩。运动图片专家组(MPEG)正在研究分别使用G
‑
PCC方案和V
‑
PCC方案的G
‑
PCC标准和V
‑
PCC标准。
[0027]本申请的各方面提供了诸如G
‑
PCC方案和V
‑
PCC方案等PCC方案的重着色技术。该
重着色技术可以提高点云的编解码速度。
[0028]点云可以广泛用于许多应用中。例如，点云可以用于自主驾驶车辆中进行物体检测和定位；点云可以在地理信息系统(GIS)中用于测绘，并且可以在文化遗产中用于可视化和存档文化遗产对象和收藏等。
[0029]在下文中，点云通常可以指3D空间中的一组点，每个点可以由具有相关联的属性(例如颜色、材质、纹理信息、强度属性、反射率属性、运动相关属性、模态属性，以及各种其它属性)的位置信息定义。点云可以用于将对象或场景重建为这些点的组合。这些点可以在各种设置中使用多个相机、深度传感器或激光雷达来采集，并且可以由数千到数十亿个点组成，以便真实地表示已重建场景。面片(patch)一般可以指由点云描述的表面的邻接子集。在一个示例中，面片包括彼此的表面法线向量的偏离小于阈值量的点。
[0030]压缩技术可以减少表示点云所需的数据量，以便更快地传输或减少存储量。这样，需要用于实时通信和六自由度(6Do本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种点云编解码方法，其特征在于，包括：处理器确定点云中与已重建位置相关联的一个或多个原始点，所述一个或多个原始点的位置是根据几何结构量化结果重建到所述已重建位置；所述处理器基于所述一个或多个原始点的属性信息，确定所述已重建位置的属性值；以及所述处理器通过具有所确定的属性值的所述已重建位置，对所述点云的纹理进行编码。2.根据权利要求1所述的方法，其特征在于，还包括：存储数据结构，所述数据结构根据所述几何结构量化结果，将所述一个或多个原始点与所述已重建位置相关联。3.根据权利要求2所述的方法，其特征在于，还包括：所述处理器执行八叉树划分，将所述点云的空间划分为体素；以及所述处理器将位于一个体素中的所述一个或多个原始点与用于表示所述体素的所述已重建位置相关联。4.根据权利要求2所述的方法，其特征在于，还包括：基于所述已重建位置访问所述数据结构，以检索与所述已重建位置相关联的所述一个或多个原始点。5.根据权利要求1所述的方法，其特征在于，还包括：响应于多个原始点与所述已重建位置相关联，所述处理器计算所述多个原始点的属性值的平均值，将其作为所述已重建位置的所确定的属性值。6.根据权利要求5所述的方法，其特征在于，还包括：所述处理器计算所述多个原始点的所述属性值的加权平均值，将其作为所述已重建位置的所确定的属性值。7.根据权利要求6所述的方法，其特征在于，还包括：所述处理器基于所述多个原始点中的原始点与所述已重建位置之间距离的倒数，对所述多个原始点中的所述原始点的属性值进行加权。8.根据权利要求1所述的方法，其特征在于，还包括：响应于多个原始点与所述已重建位置相关联，所述处理器将所述多个原始点中的距离最近点的特定属性值分配作为所述已重建位置的所确定的属性值。9.根据权利要求8所述的方法，其特征在于，还包括：响应于所述多个原始点中的多个距离最近点与所述已重建位置之间具有相同的最短距离，所述处理器选择所述多个距离最近点的属性值中的中值属性值。10.根据权利要求8所述的方法，其特征在于，还包括：响应于所述多个原始点中的多个距离最近点与所述已重建位置之间具有相同的最短距离，所述处理器计算所述多个距离最近点的属性值的平均属性值。11.一种点云编解码装置，其特征在于，包括：处理电路，...

【专利技术属性】
技术研发人员：张翔，高文，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：