一种基于学习的点云几何颜色联合压缩方法技术

本发明专利技术公开了一种基于学习的点云几何颜色联合压缩方法，方法具体包括：对输入的初始训练点云进行预处理后，输入编码模块得到特征矩阵和掩膜矩阵，将特征矩阵和掩膜矩阵输入解码模块得到初始重建训练点云，计算得到几何重建训练损失、颜色重建训练损失和信息熵损失进而得到点云训练压缩损失结果，将初始推理点云通过优化后的目标可学习条件熵模型，得到基于学习的点云几何颜色联合压缩结果。本发明专利技术通过对几何重建损失、颜色重建损失和信息熵损失进行加权求和，充分考虑了几何和颜色重建损失之间的相互影响；提出的可学习条件熵模型能实现更灵活的条件分布建模，可广泛应用于点云处理技术领域。技术领域。技术领域。

【技术实现步骤摘要】
一种基于学习的点云几何颜色联合压缩方法


[0001]本专利技术涉及点云处理
，尤其是一种基于学习的点云几何颜色联合压缩方法。

技术介绍

[0002]点云是具有三维几何位置和其他属性(例如颜色、反射率度等)的点的集合，可用于灵活地表示三维场景和物体等立体视觉数据。高效的点云压缩方法能有效促进诸如虚拟现实、自动驾驶等新兴领域的发展。
[0003]目前国际上具有代表性的传统点云压缩方法，包括基于几何的点云压缩(G
‑
PCC)，和基于视频的点云压缩(V
‑
PCC)方法。G
‑
PCC基于点云的坐标信息使用相适应的数据结构(如八叉树、三角形网格)对点云信息进行建模和编码。V
‑
PCC方法对将三维点云映射到二维平面后，利用成熟的视频编码方法对点云进行编码。近年来，随着计算机视觉领域的快速发展，出现了一些基于深度学习的点云压缩方法。这些方法基于三维卷积、多层感知器等三维视觉网络架构，结合熵模型等分布估计方法，构建可端到端训练的点云压缩模型。在点云的几何信息编码方面，一些基于深度学习的端到端压缩模型取得了相比传统方法更好的率失真表现。但在点云的颜色信息编码方面，相关的研究仍处于相对早期的阶段。仅在无损颜色编码的情况下，部分研究通过构建具有较强上下文预测网络的模型，取得了超过传统点云颜色编码的性能。综合考量现有方法，存在如下可改进之处：
[0004]1、主流的点云编码方案将点云的几何信息与颜色信息分开处理，通常先编码几何信息，再基于重建的几何信息编码颜色信息。因而在编码几何信息时，模型不能充分考量到其对颜色编码的影响，这不利于模型在压缩时兼顾几何与颜色的编码性能；
[0005]2、现有的基于学习的点云压缩方法局限于仅对几何或仅对颜色的编码，尚未出现同时有损编码几何和颜色的方案。而几何和颜色的联合有损编码对理论研究及实际应用都具有较大意义；
[0006]3、现有的基于学习的点云压缩方法，通常使用假定的条件先验分布对隐变量进行建模，如高斯、混合高斯、ogistic分布等，这些分布建模的灵活性相对有限。

技术实现思路

[0007]有鉴于此，本专利技术实施例提供一种灵活且计算量小的基于学习的点云几何颜色联合压缩方法。
[0008]一方面，本专利技术实施例提供了一种基于学习的点云几何颜色联合压缩方法,包括：
[0009]对输入的初始训练点云进行第一预处理得到第一训练点云；
[0010]将所述第一训练点云输入编码模块进行第一操作，得到第一训练特征矩阵和第一训练掩膜矩阵；
[0011]将所述第一训练特征矩阵和所述第一训练掩膜矩阵输入解码模块，得到初始重建训练点云；
[0012]通过初始可学习条件熵模型对所述第一训练特征矩阵和所述第一训练掩膜矩阵进行分布估计，得到信息熵损失；
[0013]基于所述初始训练点云的坐标和所述初始重建训练点云的坐标，通过第一计算得到几何重建训练损失；
[0014]基于所述初始训练点云和所述初始重建训练点云的几何信息，通过第二计算得到颜色重建训练损失；
[0015]将所述几何重建训练损失、所述颜色重建训练损失和所述信息熵损失进行加权求和得到点云训练压缩损失结果；
[0016]根据所述点云训练压缩损失结果对所述初始可学习条件熵模型进行优化，得到目标可学习条件熵模型；
[0017]根据所述目标可学习条件熵模型对初始推理点云进行推理，得到基于学习的点云几何颜色联合压缩结果。
[0018]可选地，所述将所述第一训练特征矩阵和所述第一训练掩膜矩阵输入解码模块，得到初始重建训练点云，包括：
[0019]将所述第一训练特征矩阵通过全局先验估计得到第一尺度训练特征矩阵的分布估计；
[0020]对所述第一尺度训练特征矩阵进行多次点云上采样，得到多尺度训练特征矩阵的分布估计和多尺度训练掩膜矩阵的分布估计；
[0021]基于所述多尺度训练特征矩阵的分布估计和所述多尺度训练掩膜矩阵的分布估计，得到所述初始重建训练点云。
[0022]可选地，所述通过初始可学习条件熵模型对所述第一训练特征矩阵和所述第一训练掩膜矩阵进行分布估计，得到信息熵损失这一步骤中，所述初始可学习条件熵模型的公式为：
[0023][0024][0025][0026]其中，y为训练特征矩阵或者训练掩膜矩阵，z为解码模块重构的训练特征矩阵，p
y
(y|z)为给定z时y的条件分布，为单位均匀噪声，Q表示增加均匀单位噪声，f
K
,
…
,f1为深度分解熵模型，θ
i
为深度分解熵模型的分布参数，h
p
为参数映射模型，其中包含可学习参数，为深度分解熵模型的权重参数，,为深度分解熵模型的偏置参数，为深度分解熵模型的幅值调整参数，L
信息熵
为所述信息熵损失，y
i
为第i个训练特征矩阵或者第i个训练掩膜矩阵。
[0027]可选地，所述基于所述初始训练点云的坐标和所述初始重建训练点云的坐标，通过第一计算得到几何重建训练损失这一步骤中，所述第一计算的计算公式为：
[0028][0029]其中，L
几何
为所述训练几何重建训练损失，N为初始重建训练点云中点的总数量，y
i
表示初始重建训练点云中第i个点的占据情况；p(y
i
)为解码模块估计的y
i
被占据的概率。
[0030]可选地，所述基于所述初始训练点云和所述初始重建训练点云的几何信息，通过第二计算得到颜色重建训练损失，包括：
[0031]基于所述初始训练点云和所述初始重建训练点云的颜色值对所述初始重建训练点云进行重上色得到目标重建训练点云；
[0032]由所述目标重建训练点云的颜色值和所述初始重建训练点云得到所述颜色重建训练损失。
[0033]可选地，所述根据所述点云训练压缩损失结果对所述初始可学习条件熵模型进行优化，得到目标可学习条件熵模型，包括：
[0034]根据所述点云训练压缩损失结果，对所述初始可学习条件熵模型进行反向传播；
[0035]将经过反向传播后的所述初始可学习条件熵模型中的条件分布进行预计算，计算结果作为所述目标可学习条件熵模型的模型参数；
[0036]去除所述初始可学习条件熵模型中的所述参数映射模型和所述深度分解熵模型，得到所述目标可学习条件熵模型。
[0037]可选地，所述根据所述目标可学习条件熵模型对初始推理点云进行推理，得到基于学习的点云几何颜色联合压缩结果，包括：
[0038]对初始推理点云进行第二预处理得到子点云块；
[0039]将所述子点云块进行减均值和归一化得到RGB均值，将所述RGB均值写入子码流；
[0040]将所述子点云块输入所述编码模块得到子特征矩阵和子掩膜矩阵；
[0041]将所述子特征矩阵和所述子掩膜矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于学习的点云几何颜色联合压缩方法，其特征在于，包括：对输入的初始训练点云进行第一预处理得到第一训练点云；将所述第一训练点云输入编码模块进行第一操作，得到第一训练特征矩阵和第一训练掩膜矩阵；将所述第一训练特征矩阵和所述第一训练掩膜矩阵输入解码模块，得到初始重建训练点云；通过初始可学习条件熵模型对所述第一训练特征矩阵和所述第一训练掩膜矩阵进行分布估计，得到信息熵损失；基于所述初始训练点云的坐标和所述初始重建训练点云的坐标，通过第一计算得到几何重建训练损失；基于所述初始训练点云和所述初始重建训练点云的几何信息，通过第二计算得到颜色重建训练损失；将所述几何重建训练损失、所述颜色重建训练损失和所述信息熵损失进行加权求和得到点云训练压缩损失结果；根据所述点云训练压缩损失结果对所述初始可学习条件熵模型进行优化，得到目标可学习条件熵模型；根据所述目标可学习条件熵模型对初始推理点云进行推理，得到基于学习的点云几何颜色联合压缩结果。2.根据权利要求1所述的一种基于学习的点云几何颜色联合压缩方法，其特征在于，所述将所述第一训练特征矩阵和所述第一训练掩膜矩阵输入解码模块，得到初始重建训练点云，包括：将所述第一训练特征矩阵通过全局先验估计得到第一尺度训练特征矩阵的分布估计；对所述第一尺度训练特征矩阵进行多次点云上采样，得到多尺度训练特征矩阵的分布估计和多尺度训练掩膜矩阵的分布估计；基于所述多尺度训练特征矩阵的分布估计和所述多尺度训练掩膜矩阵的分布估计，得到所述初始重建训练点云。3.根据权利要求1所述的一种基于学习的点云几何颜色联合压缩方法，其特征在于，所述通过初始可学习条件熵模型对所述第一训练特征矩阵和所述第一训练掩膜矩阵进行分布估计，得到信息熵损失这一步骤中，所述初始可学习条件熵模型的公式为：布估计，得到信息熵损失这一步骤中，所述初始可学习条件熵模型的公式为：布估计，得到信息熵损失这一步骤中，所述初始可学习条件熵模型的公式为：其中，y为训练特征矩阵或者训练掩膜矩阵，z为解码模块重构的训练特征矩阵，p
y
(y|z)为给定z时y的条件分布，为单位均匀噪声，Q表示增加均匀单位噪声，f
K
,
…
,f1为深度分解熵模型，θ
i
为深度分解熵模型的分布参数，h
p
为参数映射模型，其中包含可学习参数，
为深度分解熵模型的权重参数，,为深度分解熵模型的偏置参数，为深度分解熵模型的幅值调整参数，L
信息熵
为所述信息熵损失，y
i
为第i个训练特征矩阵或者第i个训练掩膜矩阵。4.根据权利要求1所述的一种基于学习的点云几何颜色联合压缩方法，其特征在于，所述基于所述初始训练点云的坐标和所述初始重建训练点云的坐标，通过第一计算得到几何重建训练损失这一步骤中，所述第一计算的计算公式为：其中，L
几何
为所述几何重建训练损失，N为初始重建训练点云中点的总数量，y
i
为初始重建训练点云中第i个点的占据情况；p(y
i
)为解码模块估计的y
i
被占据的概率。5.根据权利要求1所述的一种基于学习的点云几何颜色联合压...

【专利技术属性】
技术研发人员：梁凡，郁鹏鹏，
申请(专利权)人：中山大学，
类型：发明
国别省市：