一种无监督三维点云语义分割方法及相关设备技术

本发明专利技术公开了一种无监督三维点云语义分割方法及相关设备，方法包括：根据点云数据确定若干超点；通过点云特征提取器获取各超点的超点特征，对各超点聚类得到若干生长超点；通过点云特征提取器获取各生长超点的超点特征，对各所述生长超点聚类得到若干语义基元；根据各语义基元确定点云数据中各点的伪标签，根据伪标签对点云特征提取器训练；判断点云特征提取器是否达到训练目标，当否时，继续执行上述步骤，直至达到训练目标；对最后得到的各语义基元聚类得到若干语义类别特征，根据各语义类别特征确定点云数据的语义分割结果。解决了目前监督/弱监督学习过程都需要人工标注数据，且泛化性低，难以处理差异大的场景/新类别的问题。问题。问题。

【技术实现步骤摘要】
一种无监督三维点云语义分割方法及相关设备


[0001]本专利技术涉及计算机视觉领域，尤其涉及的是一种无监督三维点云语义分割方法及相关设备。

技术介绍

[0002]近几年来，随着深度传感器和激光雷达扫描技术的快速发展，对点云数据的大规模收集已经成为现实。而相对于二维图片，三维点云数据可以更加准确地表达真实三维世界，因此对点云的研究日益成为计算机视觉领域关注的焦点。在许多前沿应用情景中，例如机器人导航、自动驾驶和增强现实，三维点云的语义分割都是至关重要的，受到了社会各界的广泛关注。点云语义分割算法在深度学习的驱动下，其准确性和鲁棒性得到了极大的提高。
[0003]目前的点云语义分割方法主要分为监督学习和弱监督学习。监督学习对点云训练数据有很高要求，需要大规模人工标注的数据集，由于点云非结构化的特性，人工标注过程需要耗费大量人力和时间成本。弱监督点云语义分割降低了对标注数据的依赖，减少了数据标注量或减轻了标注难度，但仍无法摆脱这一限制。此外，监督/弱监督学习的点云分割模型都具有泛化性低的缺陷，难以处理差异较大的场景或者新的类别。因此，现有技术还有待改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种无监督三维点云语义分割方法及相关设备，旨在解决现有技术中的监督/弱监督学习生成的点云分割模型都需要人工标注数据，并且模型泛化性低，难以处理差异较大的场景或者新的类别的问题。
[0005]本专利技术解决问题所采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种无监督三维点云语义分割方法，其中，所述方法包括：
[0007]获取点云数据，根据所述点云数据确定若干超点，其中，各所述超点分别对应所述点云数据的不同局部区域，每一所述超点包含一个预设的种子点；
[0008]通过点云特征提取器获取各所述超点分别对应的超点特征，根据各所述超点的超点特征对各所述超点进行聚类得到若干生长超点；
[0009]通过所述点云特征提取器获取各所述生长超点分别对应的超点特征，根据各所述生长超点的超点特征对各所述生长超点进行聚类得到若干语义基元；根据各所述语义基元确定所述点云数据中各点分别对应的伪标签，根据所述伪标签对所述点云特征提取器进行训练；判断所述点云特征提取器是否达到训练目标，当否时，继续执行通过点云特征提取器获取各所述超点分别对应的超点特征的步骤，直至所述点云特征提取器达到所述训练目标；对最后得到的各所述语义基元进行聚类得到若干语义类别特征；
[0010]根据各所述语义类别特征确定所述点云数据对应的语义分割结果。
[0011]在一种实施方式中，所述根据所述点云数据确定若干超点，包括：
[0012]通过空间位置从所述点云数据中确定若干所述种子点；
[0013]通过几何特性确定各非种子点分别对应的所述种子点，其中，所述几何特性包括空间距离、法向量夹角以及颜色差异；
[0014]根据各所述种子点与各所述非种子点之间的对应关系将所述点云数据划分为若干所述超点，其中，每一所述超点包含一个所述种子点和与该种子点具有对应关系的各所述非种子点。
[0015]在一种实施方式中，每一所述非种子点对应的所述种子点的确定方法，包括：
[0016]根据所述非种子点与邻域内各所述种子点之间的空间距离、法向量夹角以及颜色差异，确定所述非种子点分别与邻域内各所述种子点之间的加权距离；
[0017]根据所述加权距离，确定所述非种子点对应的所述种子点。
[0018]在一种实施方式中，所述根据所述点云数据确定若干超点之后还包括：
[0019]针对相邻的两个所述超点，判断两个所述超点中任意相邻两点的法向量夹角是否小于预设角度；
[0020]当是时，对两个所述超点进行合并。
[0021]在一种实施方式中，每一所述超点的超点特征根据该超点中各点的点云特征的平均值确定；每一所述生长超点的超点特征根据该生长超点中各点的点云特征的平均值确定；每一所述语义类别的所述语义类别特征基于该语义类别对应的各点的点云特征的平均值确定。
[0022]在一种实施方式中，所述根据各所述语义类别特征确定所述点云数据对应的语义分割结果，包括：
[0023]获取各所述语义类别特征分别与所述点云数据中各点的点云特征之间的余弦相似度；
[0024]根据所述余弦相似度对所述点云数据进行分割，得到所述语义分割结果。
[0025]在一种实施方式中，所述点云特征提取器包括以稀疏卷积构建的编码器和解码器。
[0026]第二方面，本专利技术实施例还提供一种无监督三维点云语义分割系统，中，所述系统包括：
[0027]超点构建模块，用于获取点云数据，根据所述点云数据确定若干超点，其中，各所述超点分别对应所述点云数据的不同局部区域，每一所述超点包含一个预设的种子点；
[0028]超点生长模块，用于通过点云特征提取器获取各所述超点分别对应的超点特征，根据各所述超点的超点特征对各所述超点进行聚类得到若干生长超点；
[0029]语义基元模块，用于通过所述点云特征提取器获取各所述生长超点分别对应的超点特征，根据各所述生长超点的超点特征对各所述生长超点进行聚类得到若干语义基元；根据各所述语义基元确定所述点云数据中各点分别对应的伪标签，根据所述伪标签对所述点云特征提取器进行训练；判断所述点云特征提取器是否达到训练目标，当否时，继续执行通过点云特征提取器获取各所述超点分别对应的超点特征的步骤，直至所述点云特征提取器达到所述训练目标；对最后得到的各所述语义基元进行聚类得到若干语义类别特征；
[0030]语义分割模块，用于根据各所述语义类别特征确定所述点云数据对应的语义分割结果。
[0031]第三方面，本专利技术实施例还提供一种终端，其中，所述终端包括有存储器和一个以上处理器；所述存储器存储有一个以上的程序；所述程序包含用于执行如上述任一所述的无监督三维点云语义分割方法的指令；所述处理器用于执行所述程序。
[0032]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的无监督三维点云语义分割方法的步骤。
[0033]本专利技术的有益效果：本专利技术实施例通过在点云数据中初步确定若干超点；然后利用点云特征提取器获取超点特征，根据超点特征对各超点进行聚类得到若干生长超点；然后再利用点云特征提取器获取各生长超点的超点特征，对各生长超点进行聚类得到若干语义基元。再根据各语义基元确定点云数据中各点的伪标签，根据伪标签对点云特征提取器训练；训练结束后，对最后得到的各语义基元进行聚类得到若干语义类别特征。最后根据各语义类别特征确定点云数据的语义分割结果。本专利技术可以适用于无监督情况下点云特征提取器的训练过程，解决了目前监督/弱监督学习生成的点云分割模型都需要人工标注数据，并且泛化性低，难以处理差异较大的场景或者新类别的问题。
附图说明...

【技术保护点】

【技术特征摘要】
1.一种无监督三维点云语义分割方法，其特征在于，所述方法包括：获取点云数据，根据所述点云数据确定若干超点，其中，各所述超点分别对应所述点云数据的不同局部区域，每一所述超点包含一个预设的种子点；通过点云特征提取器获取各所述超点分别对应的超点特征，根据各所述超点的超点特征对各所述超点进行聚类得到若干生长超点；通过所述点云特征提取器获取各所述生长超点分别对应的超点特征，根据各所述生长超点的超点特征对各所述生长超点进行聚类得到若干语义基元；根据各所述语义基元确定所述点云数据中各点分别对应的伪标签，根据所述伪标签对所述点云特征提取器进行训练；判断所述点云特征提取器是否达到训练目标，当否时，继续执行通过点云特征提取器获取各所述超点分别对应的超点特征的步骤，直至所述点云特征提取器达到所述训练目标；对最后得到的各所述语义基元进行聚类得到若干语义类别特征；根据各所述语义类别特征确定所述点云数据对应的语义分割结果。2.根据权利要求1所述的无监督三维点云语义分割方法，其特征在于，所述根据所述点云数据确定若干超点，包括：通过空间位置从所述点云数据中确定若干所述种子点；通过几何特性确定各非种子点分别对应的所述种子点，其中，所述几何特性包括空间距离、法向量夹角以及颜色差异；根据各所述种子点与各所述非种子点之间的对应关系将所述点云数据划分为若干所述超点，其中，每一所述超点包含一个所述种子点和与该种子点具有对应关系的各所述非种子点。3.根据权利要求2所述的无监督三维点云语义分割方法，其特征在于，每一所述非种子点对应的所述种子点的确定方法，包括：根据所述非种子点与邻域内各所述种子点之间的空间距离、法向量夹角以及颜色差异，确定所述非种子点分别与邻域内各所述种子点之间的加权距离；根据所述加权距离，确定所述非种子点对应的所述种子点。4.根据权利要求1所述的无监督三维点云语义分割方法，其特征在于，所述根据所述点云数据确定若干超点之后还包括：针对相邻的两个所述超点，判断两个所述超点中任意相邻两点的法向量夹角是否小于预设角度；当是时，对两个所述超点进行合并。5.根据权利要求1所述的无监督三维点云语义分割方法，其特征在于，每一所述超点的超点特征根据该超点中各点的点云特征的平均值确定；每...

【专利技术属性】
技术研发人员：杨波，张子辉，
申请(专利权)人：香港理工大学深圳研究院，
类型：发明
国别省市：