具有多个测量结果的3D点云增强制造技术

本发明专利技术描述了用于至少使用第二点云数据和一组或多组量化器移位来细化第一点云数据的系统和方法。示例性点云解码方法包括：获得至少表示第一点云和第二点云的数据；获得至少识别与该第一点云相关联的第一组量化器移位的信息；以及至少基于该第一点云、该第一组量化器移位和该第二点云来获得细化的点云数据。获得该细化的点云数据可包括至少基于该第一组量化器移位来执行减法。还描述了对应的编码系统和方法。系统和方法。系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】具有多个测量结果的3D点云增强
[0001]相关申请的交叉引用
[0002]本申请是2020年2月6日提交的名称为“具有多个测量结果的3D点云增强(3D Point Cloud Enhancement with Multiple Measurements)”的美国临时专利申请号62/970,956的非临时提交，并且根据35U.S.C.
§
119(e)要求该美国临时专利申请的权益，该美国临时专利申请全文以引用方式并入本文。

技术介绍

[0003]本公开涉及点云处理和压缩的领域。本领域涉及点云信号的分析、内插和表示。
[0004]作为3D空间中连续表面的离散表示，点云可被分类为包括以下项的类别：有组织的点云，诸如由类相机的3D传感器或3D激光扫描仪收集并布置在网格上的点云；和无组织的点云，诸如由于其复杂结构而从多个视点扫描并随后融合在一起从而导致索引排序丢失的点云。有组织的点云可更容易处理，因为底层的网格意味着可反映感测顺序的自然空间连通性。相反，对无组织的点云的处理可能更具挑战性。这是由于无组织的点云不同于与规则点阵相关联的1D语音数据或2D图像的事实。相反，它们往往稀疏且不规则地散布在3D空间中；这使得传统的基于点阵的算法难以处理3D点云。例如，卷积算子在规则点阵上被很好地定义，但不能直接应用于3D点云。
[0005]此外，点云可表示包含多个移动对象的相同场景的顺序表示。与从静态场景或静态对象捕获的静态点云相比，它们被称为动态点云。动态点云可被组织成帧，其中不同的帧在不同的时间被捕获。
>[0006]点云可用于各种目的，诸如表示文化遗产的对象，其中如雕像或建筑物的对象以3D形式扫描，以便在不发送或访问对象的情况下共享该对象的空间构型。而且，这是一种确保在对象可能被破坏的情况下保存其知识的方式；例如，地震后的寺庙。此类点云通常是静态的、有色的并且往往包括大量的点。
[0007]另一种用例是在地形图和制图中，其中使用3D表示，地图不限于平面并且可包括地形凹凸。谷歌地图现在是3D地图的良好示例，但其通常使用网格而不是点云。然而，点云可以是用于3D地图的合适的数据格式，并且此类点云通常是静态的、有色的并且往往包括大量的点。
[0008]汽车工业和自动驾驶汽车技术也是可使用点云的领域。自动驾驶汽车应该能够“探测”其环境，以基于其紧邻区域的实际情况采取良好的驾驶决策。典型的传感器如激光雷达产生由决策引擎使用的动态点云。这些点云并非旨在被人看到，并且它们通常是小的，不一定是彩色的，并且是动态的，具有高的捕获频率。点云可具有其他属性，如由激光雷达提供的反射率，因为该属性良好地指示被感测对象的材料，并且可有助于做出决策。
[0009]虚拟现实和沉浸式世界越来越受到关注。此类技术试图使观察者沉浸在其周围的环境中，而不像标准TV那样只能看着面前的虚拟世界。根据观察者在环境中的自由度，沉浸感有若干层次。点云是分布虚拟现实(或VR)世界的良好格式候选。它们可以是静态的或动态的，并且通常具有平均大小，比如一次不超过数百万个点。
[0010]期望能够以合理的比特率消耗向最终用户分布动态点云，同时保持可接受的(或优选非常好的)体验质量。这些动态点云的有效压缩可有助于使沉浸式世界的分布链变得实用。

技术实现思路

[0011]根据一些实施方案的点云解码方法包括：获得至少表示第一点云和第二点云的数据；获得至少识别与第一点云相关联的第一组量化器移位的信息；以及至少基于第一点云、第一组量化器移位和第二点云来获得细化的点云数据。
[0012]根据一些实施方案的点云解码器装置包括被配置为至少执行以下操作的处理器：获得至少表示第一点云和第二点云的数据；获得至少识别与第一点云相关联的第一组量化器移位的信息；以及至少基于第一点云、第一组量化器移位和第二点云来获得细化的点云数据。
[0013]在一些实施方案中，获得细化的点云数据包括至少基于第一组量化器移位来执行减法。
[0014]一些实施方案还包括获得识别与第二点云相关联的第二组量化器移位的信息，该第二组量化器移位不同于第一组量化器移位；其中获得细化的点云数据还基于第二组量化器移位。在一些此类实施方案中，获得细化的点云数据包括至少基于第一组量化器移位和第二组量化器移位来执行减法。
[0015]在一些实施方案中，第一点云表示场景的左视图，并且第二点云表示场景的右视图。
[0016]在一些实施方案中，第一点云和第二点云是与不同的时间相关联的帧。
[0017]在一些实施方案中，第一组量化器移位至少包括与第一点云中的第一点相关联的第一移位和与第一点云中的第二点相关联的不同的第二移位。
[0018]在一些实施方案中，表示第一点云的数据包括具有第一量化范围的第一参数(y1)，表示第二点云的数据包括具有第二量化范围的第二参数(y2)，并且其中获得细化的点云数据包括获得第一参数(y1)和第二参数(y2)两者的量化范围中的第三参数
[0019]在一些实施方案中，基于第一点云(y
l
)和第二点云(y
r
)来获得细化的点云数据(x
l
)包括选择细化的第一点云(x
l
)以基本上最大化包括以下因子中的一个或多个因子的因子的乘积：
[0020]·
给定细化的第一点云(x
l
)的第一点云(y
l
)的条件概率Pr(y
l
|x
l
)，
[0021]·
给定第二细化的点云(x
r
)的估计值g(x
l
)的第二点云(y
r
)的条件概率Pr(y
r
|g(x
l
))，其中估计值g(x
l
)基于第一细化的点云(x
l
)，
[0022]·
第一细化的点云数据(x
l
)的先验概率Pr(x
l
)，和
[0023]·
第二细化的点云(x
r
)的估计值g(x
l
)的先验概率Pr(g(x
l
))。
[0024]根据一些实施方案的点云编码方法包括：获得至少表示第一点云和第二点云的数据；量化第一点云和第二点云，其中量化点云数据包括向第一点云数据至少添加第一组量化器移位；以及在比特流中编码经量化的第一点云和第二点云。
[0025]根据一些实施方案的点云编码装置包括被配置为至少执行以下操作的处理器：获得至少表示第一点云和第二点云的数据；量化第一点云和第二点云，其中量化点云数据包
括向第一点云数据至少添加第一组量化器移位；以及在比特流中编码经量化的第一点云和第二点云。
[0026]一些实施方案还包括在比特流中编码指示第一组量化器移位的信息。
[0027]在一些实施方案中，量化第一点云和第二点云还包括向第二点云添加第二组量化本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种点云解码方法，所述点云解码方法包括：获得至少表示第一点云和第二点云的数据；获得至少识别与所述第一点云相关联的第一组量化器移位的信息；以及至少基于所述第一点云、所述第一组量化器移位和所述第二点云来获得细化的点云数据。2.一种点云解码器装置，所述点云解码器装置包括处理器，所述处理器被配置为至少执行：获得至少表示第一点云和第二点云的数据；获得至少识别与所述第一点云相关联的第一组量化器移位的信息；以及至少基于所述第一点云、所述第一组量化器移位和所述第二点云来获得细化的点云数据。3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中获得所述细化的点云数据包括至少基于所述第一组量化器移位来执行减法。4.根据权利要求1所述的方法或根据权利要求2所述的装置，还包括：获得识别与所述第二点云相关联的第二组量化器移位的信息，所述第二组量化器移位不同于所述第一组量化器移位；其中获得所述细化的点云数据还基于所述第二组量化器移位。5.根据从属于权利要求1的权利要求4所述的方法，或根据从属于权利要求2的权利要求4所述的装置，其中获得所述细化的点云数据包括至少基于所述第一组量化器移位和所述第二组量化器移位来执行减法。6.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述第一点云表示场景的左视图，并且所述第二点云表示所述场景的右视图。7.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述第一点云和所述第二点云是与不同的时间相关联的帧。8.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述第一组量化器移位至少包括与所述第一点云中的第一点相关联的第一移位和与所述第一点云中的第二点相关联的不同的第二移位。9.根据权利要求1所述的方法或根据权利要求2所述的装置，其中表示所述第一点云的所述数据包括具有第一量化范围的第一参数(y1)，表示所述第二点云的所述数据包括具有第二量化范围的第二参数(y2)，并且其中获得所述细化的点云数据包括获得所述第一参数(y1)和所述第二参数(y2)两者的所述量化范围中的第三参数10.根据权利要求1所述的方法或根据权利要求2所述的装置，其中基于所述第一点云(y
l
)和所述第二点云(y
r
)来获得所述细化的点云数据(x

【专利技术属性】
技术研发人员：庞家豪，张学，G，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：