一种点云分类方法、分割方法及相关设备技术

本发明专利技术提供了一种点云分类方法、分割方法及相关设备，基于图卷积网络结构和通道注意力机制构建出点云分类模型和点云分割模型，并使用构建出的所述点云分类模型和点云分割模型对三维点云进行分类和分割，所述点云分类模型和点云分割模型均包括至少一个KNN图卷积模块和通道注意力模块，通过所述KNN图卷积模块捕获所述点云数据的局部特征，增加了特征空间中领域内点云与点云之间的关联，通过所述通道注意力模块增加点云数据的通道注意力，增加了特征通道之间的相互依赖关系，加强点云的全局特征表示，从而提高了利用深度网络进行三维点云的分类和/或分割的预测准确度。

A point cloud classification method, segmentation method and related equipment

【技术实现步骤摘要】
一种点云分类方法、分割方法及相关设备
本专利技术涉及3D成像
，尤其涉及的是一种点云分类方法、分割方法及相关设备。
技术介绍
近年来，自从深度学习技术兴起之后，研究者们开始探索怎样利用深度神经网络来进行点云的特征学习，基于深度学习三维点云分类与分割也成为一个研究者们越来越重视的方向。现有技术中对三维点云分类的典型处理方法为将点云数据转换为体素表示，进而在三维深度学习模型上进行特征提取，并完成分类、分割等任务。三维体素表示形式可以完整、有效地保留了原始三维点云形状信息，因此具有不错的特征鉴别力。但是，这种方法对计算机内存的开销很大，计算速度较慢，导致在实际情况下无法使用高分辨率的体素网络。2017年由斯坦福大学的Qi等人所提出的PointNet点云深度网络模型开创性地利用深度网络直接处理不规则的三维点云原始数据，该模型以原始的三维点云作为输入，可以同时进行分类和分割任务预测，并取得了比较好的预测效果。但是该网络模型存在一个明显的不足，即没有考虑到点云的局部结构，不能构建邻域内点云与点云之间的关系，这也导致其预测的精度无法得到进一步的提高。因此，现有技术有待于进一步的改进。
技术实现思路
鉴于上述现有技术中的不足之处，本专利技术的目的在于为用户提供一种点云分类方法、分割方法及相关设备，克服现有技术中三维点云的分类和分割任务预测由于未考虑到点云的局部结构，导致分类或预测精度无法进一步提高的缺陷。本专利技术解决技术问题所采用的技术方案如下：第一方面，本实施例提供了一种基于图卷积和通道注意力机制的点云分类方法，其中，包括步骤：将点云数据输入预设点云分类模型，其中，所述点云分类模型包括：至少一个KNN图卷积模块和通道注意力模块；依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；根据调整后的第二全局点云特征得到点云分类结果。可选的，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；所述依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。可选的，所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，k和d均为正整数；利用平均池化方法计算出各个全局点云特征分组的局部特征；将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。可选的，所述KNN图卷积模块的个数为2个，且所述特征聚合单元中采用MAX函数运算得到所述点云数据中各个顶点所有边的特征聚合数据。第二方面，本实施例还公开了一种基于图卷积和通道注意力机制的点云分割方法，其中，包括：将点云数据输入预设点云分割模型，其中，所述点云分割模型包括：至少一个KNN图卷积模块和通道注意力模块；依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果。可选的，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；所述通依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。可选的，所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，K和d均为正整数；利用平均池化方法计算出各个全局点云特征分组的局部特征；将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。可选的，所述KNN图卷积模块的个数为2个，所述点云分割模型包括第一KNN图卷积模块和第二KNN图卷积模块；所述第一KNN图卷积模块与第二KNN图卷积模块级联；所述将各个所述KNN图卷积模块提取到的多个特征聚合与调整后的第二全局点云特征做级联，通过多层感知器处理后得到点云分割结果的步骤包括：将第一KNN图卷积模块中提取到的第一特征聚合、第二KNN图卷积模块中提取到的第二特征聚合和调整后的第二全局点云特征做级联，通过多层感知器处理后得到所述点云数据中各个点云所属预测类别。第三方面，本实施例还公开了一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的计算机可读程序，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如所述的点云分类方法中的步骤，或以实现如所述的点云分割方法中的步骤。第四方面，本实施例还公开了一种计算机可读存储介质，其中，所述计算机可本文档来自技高网...

【技术保护点】
1.一种基于图卷积和通道注意力机制的点云分类方法，其特征在于，包括步骤：/n将点云数据输入预设点云分类模型，其中，所述点云分类模型包括：至少一个KNN图卷积模块和通道注意力模块；/n依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；/n将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；/n将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；/n根据调整后的第二全局点云特征得到点云分类结果。/n

【技术特征摘要】
1.一种基于图卷积和通道注意力机制的点云分类方法，其特征在于，包括步骤：
将点云数据输入预设点云分类模型，其中，所述点云分类模型包括：至少一个KNN图卷积模块和通道注意力模块；
依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；
将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；
将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；
根据调整后的第二全局点云特征得到点云分类结果。


2.根据权利要求1所述的基于图卷积和通道注意力机制的点云分类方法，其特征在于，所述KNN图卷积模块包括边特征提取单元和特征聚合单元；
所述依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据的步骤包括：
将点云数据中各个点数据的中心节点特征、邻域节点特征以及节点间的特征差值输入所述特征提取单元，通过所述特征提取单元得到所述点云数据中点云之间所连接的边特征；
将所述边特征输入特征聚合单元，通过所述特征聚合单元得到所述点云数据中各个顶点所有边的特征聚合数据。


3.根据权利要求1所述的基于图卷积和通道注意力机制的点云分类方法，其特征在于，所述将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征的步骤包括：
对所述第一全局点云特征进行通道分组，得到多个全局点云特征分组；其中，通道分组的维度分为K个组，每个组向量的维度为d，K和d均为正整数；
利用平均池化方法计算出各个全局点云特征分组的局部特征；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组计算出的局部特征做点积，得到各个全局点云特征分组的初始注意力分数；
对各个所述初始注意力分数进行归一化处理，并利用激活函数对归一化处理的结果进行激活，得到激活后的注意力分数；
将各个全局点云特征分组中的全局点云特征与其自身所在全局点云特征分组激活后的注意力分数相乘，得到各个全局点云特征分组的分组特征；
将各个分组特征进行级联计算，得到与所述点云数据对应的全局特征。


4.根据权利要求2所述的基于图卷积和通道注意力机制的点云分类方法，其特征在于，所述KNN图卷积模块的个数为2个，且所述特征聚合单元中采用MAX函数运算得到所述点云数据中各个顶点所有边的特征聚合数据。


5.一种基于图卷积和通道注意力机制的点云分割方法，其特征在于，包括：
将点云数据输入预设点云分割模型，其中，所述点云分割模型包括：至少一个KNN图卷积模块和通道注意力模块；
依次通过各个所述KNN图卷积模块提取所述点云数据中所含点云数据中每个顶点所有边的特征聚合数据；
将所述特征聚合数据依次经过多层感知器和池化处理后，得到第一全局点云特征；
将所述第一全局点云特征输入所述通道注意力模块，通过所述通道注意力模块得到调整后的第二全局点云特征；
将各个所述KNN图卷积模块提...

【专利技术属性】
技术研发人员：邹文斌，彭文韬，田时舜，李霞，徐晨，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44