几何点云压缩中的运动估计制造技术

一种用于对点云数据进行编码的设备，该设备包括：用于存储点云数据的存储器；以及耦合到存储器并在电路中实现的一个或多个处理器，一个或多个处理器被配置为从全球定位系统信息中识别第一组全局运动参数。一个或多个处理器还被配置为基于第一组全局运动参数来确定要用于当前帧的全局运动估计的第二组全局运动参数，以及基于第二组全局运动参数对参考帧应用运动补偿以生成当前帧的全局运动补偿帧。应用运动补偿以生成当前帧的全局运动补偿帧。应用运动补偿以生成当前帧的全局运动补偿帧。

【技术实现步骤摘要】
【国外来华专利技术】几何点云压缩中的运动估计
[0001]本申请要求于2021年10月6日提交的美国专利申请第17/495,428号、2020年10月7日提交的美国临时专利申请第63/088,936号、2020年10月12日提交的美国临时专利申请第63/090,627号以及2020年10月12日提交的美国临时专利申请第63/090,657号的优先权，它们中的每一个的全部内容以引用方式并入本文。2021年10月6日提交的美国专利申请第17/495,428号要求于2020年10月7日提交的美国临时专利申请第63/088,936号、2020年10月12日提交的美国临时专利申请第63/090,627号以及2020年10月12日提交的美国临时专利申请第63/090,657号的权益。


[0002]本公开涉及点云编码和解码。

技术介绍

[0003]点云是三维空间中的点的集合。这些点可以对应于三维空间内的对象上的点。因此，可以使用点云来表示三维空间的物理内容。点云可以在各种情况下具有实用性。例如，可以在自主车辆的上下文中使用点云以用于表示道路上的对象的定位。在另一示例中，为了在增强现实(AR)或混合现实(MR)应用中定位虚拟对象的目的，可以在表示环境的物理内容的上下文中使用点云。点云压缩是用于对点云进行编码和解码的过程。对点云进行编码可以减少存储和传输点云所需的数据量。

技术实现思路

[0004]总的来说，本公开描述了用于改进点云帧的可视化的技术，该技术可以使用基于几何的点云压缩(G
‑
PCC)编解码器，该编解码器由3D图形译码(3DG)组在MPEG内开发。G
‑
PCC译码器(例如，G
‑
PCC编码器或G
‑
PCC解码器)可以被配置为对参考帧应用运动补偿以生成运动补偿帧。例如，G
‑
PCC编码器可以对参考帧(例如，预测帧)应用“全局”运动补偿，以考虑整个参考帧的旋转和/或整个参考帧的平移。在该示例中，G
‑
PCC编码器可以应用“局部”运动估计，以在比全局运动补偿更精细的尺度下考虑旋转和/或平移。例如，G
‑
PCC编码器可以应用全局运动补偿帧的一个或多个节点(例如，帧的一部分)的局部节点运动估计。
[0005]根据本公开的技术，G
‑
PCC译码器(例如，G
‑
PCC编码器或G
‑
PCC解码器)可以被配置为基于全球定位系统信息(例如，来自任何卫星系统的信息，诸如例如，在美国实施的全球定位系统(GPS))来应用全局运动补偿。例如，G
‑
PCC编码器可以从全球定位系统信息中识别第一组全局运动参数。第一组全局运动参数可以包括定向参数(例如，滚转、俯仰、偏航或角速度)和/或定位参数(例如，沿x、y或z维度的位移或速度)。在该示例中，G
‑
PCC编码器可以基于第一组全局运动参数来确定第二组全局运动参数。例如，G
‑
PCC编码器可以将定向参数和/或定位参数转换为当前帧的旋转矩阵和平移矢量。以此方式，G
‑
PCC译码器(例如，G
‑
PCC编码器或G
‑
PCC解码器)可以使用卫星信息来应用全局运动补偿，这可以比基于参考帧(例如，预测帧)与当前帧之间的特征点来估计当前帧的旋转矩阵和平移矢量更准确。增加运动
补偿的准确度可以增加运动补偿预测帧的准确度，这可以减少为当前帧编码的残差从而提高译码效率。
[0006]在一个示例中，本公开描述了一种用于对点云数据进行编码的设备，该设备包括用于存储点云数据的存储器和耦合到存储器并在电路中实现的一个或多个处理器。一个或多个处理器被配置为从全球定位系统信息中识别第一组全局运动参数。一个或多个处理器还被配置为基于第一组全局运动参数来确定要用于当前帧的全局运动估计的第二组全局运动参数，以及基于第二组全局运动参数来对参考帧应用运动补偿以生成当前帧的全局运动补偿帧。
[0007]在另一示例中，本公开描述了一种用于对点云数据进行编码的方法，包括用一个或多个处理器从全球定位系统信息中识别第一组全局运动参数，以及用一个或多个处理器基于第一组全局运动参数来确定要用于当前帧的全局运动估计的第二组全局运动参数。该方法还包括用一个或多个处理器基于第二组全局运动参数来对参考帧应用运动补偿以生成当前帧的全局运动补偿帧。
[0008]在另一示例中，本公开描述了一种存储指令的计算机可读存储介质，该指令在由一个或多个处理器执行时使一个或多个处理器从全球定位系统信息中识别第一组全局运动参数，以及基于第一组全局运动参数来确定要用于当前帧的全局运动估计的第二组全局运动参数。该指令还使一个或多个处理器基于第二组全局运动参数来对参考帧应用运动补偿以生成当前帧的全局运动补偿帧。
[0009]在另一示例中，本公开描述了一种用于处理点云数据的设备，该设备包括用于从全球定位系统信息中识别第一组全局运动参数的至少一个部件，以及用于基于第一组全局运动参数来确定要用于当前帧的全局运动估计的第二组全局运动参数的部件。该设备还包括用于基于第二组全局运动参数来对参考帧应用运动补偿以生成当前帧的全局运动补偿帧的部件。
[0010]在附图和以下说明书中阐述了一个或多个示例的细节。根据说明书、附图以及权利要求，其他特征、目的以及优点将是显而易见的。
附图说明
[0011]图1是示出可以执行本公开的技术的示例编码和解码系统的框图。
[0012]图2是示出根据本公开的技术的示例几何点云压缩(G
‑
PCC)编码器的框图。
[0013]图3是示出根据本公开的技术的示例G
‑
PCC解码器的框图。
[0014]图4是示出根据本公开的技术的示例运动估计流程图的框图。
[0015]图5是示出根据本公开的技术的用于估计全局运动的示例算法的框图。
[0016]图6是示出根据本公开的技术的用于估计局部节点运动矢量的示例算法的框图。
[0017]图7是示出在地球的椭球近似体上测量的点的大地纬度和经度的概念图。
[0018]图8是示出相对于赤道和本初子午线(0度纬度和经度)的ECEF(地心地固)坐标系(X、Y、Z轴)的概念图。
[0019]图9是示出根据本公开的技术的示例编码过程的流程图。
[0020]图10是示出根据本公开的技术的示例解码过程的流程图。
具体实施方式
[0021]基于几何的点云压缩(G
‑
PCC)译码器(例如，G
‑
PCC编码器或G
‑
PCC解码器)可以被配置为对参考帧应用运动补偿以生成运动补偿帧。例如，G
‑
PCC编码器可以对参考帧应用“全局”运动补偿，以考虑整个参考帧的旋转和/或整个参考帧的平移。在该示例中，G
‑
PCC编码器可以应用“局部”运动估计，以在本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对点云数据进行编码的设备，所述设备包括：存储器，所述存储器用于存储所述点云数据；以及一个或多个处理器，所述一个或多个处理器耦合到所述存储器并在电路中实现，所述一个或多个处理器被配置为：从全球定位系统信息中识别第一组全局运动参数；基于所述第一组全局运动参数来确定要用于当前帧的全局运动估计的第二组全局运动参数；以及基于所述第二组全局运动参数来对参考帧应用运动补偿以生成所述当前帧的全局运动补偿帧。2.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为在比特流中用信号发送所述第二组全局运动参数。3.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为在比特流中用信号发送所述第一组全局运动参数。4.根据权利要求1所述的设备，其中所述第一组全局运动参数包括一组定向参数。5.根据权利要求4所述的设备，其中所述一组定向参数包括所述当前帧的滚转、俯仰、偏航或角速度中的一个或多个。6.根据权利要求4所述的设备，其中所述一组定向参数包括所述当前帧与参考帧之间的滚转差、所述当前帧与所述参考帧之间的俯仰差、所述当前帧与所述帧之间的偏航差、或所述当前帧与所述参考帧之间的角速度差中的一个或多个。7.根据权利要求1所述的设备，其中所述第一组全局运动参数包括一组定位参数。8.根据权利要求7所述的设备，其中所述一组定位参数包括所述当前帧的位移或所述当前帧的平均速度中的一个或多个。9.根据权利要求7所述的设备，其中所述一组定位参数包括东
‑
北
‑
上坐标系的东速度、北速度或上速度中的一个或多个。10.根据权利要求1所述的设备，其中所述第二组全局运动参数包括指示所述当前帧的偏航、俯仰和滚转的旋转矩阵和指示所述当前帧的平均速度的平移矢量。11.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为用信号发送所述当前帧的滚转、所述当前帧的俯仰、所述当前帧的偏航以及指示所述当前帧的平均速度的平移矢量。12.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为用信号发送所述当前帧与参考帧之间的滚转差、所述当前帧与所述参考帧之间的俯仰差、所述当前帧与所述参考帧之间的偏航差以及指示所述当前帧的平均速度的平移矢量。13.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为用信号发送指示所述当前帧的平均速度的平移矢量，并且避免用信号发送指示所述当前帧的偏航、俯仰和滚转的旋转矩阵。14.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为用信号发送指示所述当前帧的平均速度的平移矢量的幅度。15.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为基于所述全局运动补偿帧针对所述当前帧执行运动矢量估计，并且其中，为了执行运动矢量估计，所述一个
或多个处理器被配置为将局部运动的块大小限制为等于最小预测单元大小。16.根据权利要求1所述的设备，其中所述参考帧是第一参考帧，并且所述当前帧是第一当前帧，并且其中所述一个或多个处理器被配置为通过最小化第二当前帧与第二参考帧之间的均方误差来估计初始平移矢量。17.根据权利要求1所述的设备，其中所述当前帧是第一当前帧，并且其中所述一个或多个处理器被配置为：确定点是否是地面的；以及基于所述点是否是地面的来估计第二当前帧的旋转矩阵。18.根据权利要求17所述的设备，其中所述一个或多个处理器被配置为用信号发送指示所述点是否是地面的的一组标签。19.根据权利要求1所述的设备，其中所述一个或多个处理器还被配置为生成所述点云数据。20.根据权利要求19所述的设备，其中所述一个或多个处理器被配置为，作为生成所述点云数据的一部分，基于来自LIDAR装置的信号生成所述点云数据。21.根据权利要求1所述的设备，其中所述设备是移动电话、平板电脑、车辆或扩展现实设备中的一个。22.根据权利要求1所述的设备，其中所述设备包括被配置为传输编码点云数...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：