【技术实现步骤摘要】
本专利技术涉及3d物体识别领域，具体涉及一种3d点云物体识别方法、系统、存储介质和产品。
技术介绍
1、目前主流的小样本学习方法主要在图像数据上应用较为广泛，而针对3d点云数据的小样本识别方法还在初步发展阶段。
2、当前存在的点云小样本分类方法直接使用图像数据小样本学习的范式进行，但是3d点云数据无序且不规则地分布在3d坐标系中，和分布在2d平面网格的图像数据存在差异。此外，图像小样本学习可以使用大型数据集如imagenet1k等进行大型网络预训练，而点云小样本分类不具备此种条件，因此使用大网络进行小样本分类容易造成模型过拟合。总的来说，直接套用现有的图像数据的小样本学习方式难以适应于点云小样本物体识别。
技术实现思路
1、本专利技术的目的在于提供一种能够适用于点云小样本物体识别的3d点云物体识别方法、系统、存储介质和产品。
2、为了达到上述目的，本专利技术采用这样的技术方案：
3、一种3d点云物体识别方法，包括如下依次执行的步骤：
4、s1：采集物体的点云数据，并对点云数据进行采样以构建点云数据集；
5、s2：采用度量学习框架将采样后的点云数据集划分为不重叠的元训练数据集和元测试数据集，训练和测试的单批次输入样本均包括b个样本,b个样本中包含k*c个支撑样本和k*q个查询样本；
6、s3：在嵌入网络上构建双网嵌入模型，双网嵌入模型包括并行的动态图卷积网络和全局特征提取网络，分别侧重于点云的局部特征提取和全局特
7、动态卷积网络包括第一拼接模块、第一最大池化模块和多个edgeconv模块，
8、全局特征提取网络包括第二拼接模块、复制模块、两个第二最大池化模块和多层感知机模块；
9、s4：将步骤s2划分的b个样本输入到双网嵌入模型，动态图卷积网络对b个样本进行特征提取，得到b*512的局部特征xd，全局特征提取网络对b个样本进行特征提取，得到b*512的全局特征xg，将xd和xg进行拼接，得到b*1024的嵌入向量；
10、s5：在分类器上设计表示增强算法模块对b*1024的嵌入向量进行加权操作，
11、表示增强算法模块的具体操作如下：
12、s5-1：从b*1024的嵌入向量中，分离出j个查询向量，j=k*q，获得查询向量矩阵qq=j*d；
13、s5-2：从b*1024的嵌入向量中，分离出k*c个支撑向量，将同一类别里的c个支撑向量即c*d取平均值，使得每一个类别得到一个原型向量1*d，k个类别共有k个原型向量，得到原型向量矩阵ss=k*d，然后计算这k个原型向量和j个查询向量的距离，得到距离矩阵d=k*j；
14、s5-3：对于原型向量的增强过程：根据距离矩阵d=k*j，分别得到k个原型向量最近的m个索引，然后从查询向量矩阵qq=j*d中提取出对应的j个查询向量，得到qm矩阵，然后将qm矩阵通过多层感知机模块进行特征融合，之后将融合后的矩阵在后两个维度上进行调换，得到增强权重ws，将原型向量矩阵 ss=k*d扩展后和增强权重ws相乘，并在最后一个维度取均值，得到增强原型向量；
15、s5-4：对于查询向量的增强过程：将距离矩阵d=k*j转置为距离矩阵dt= j*k，分别得到距j个查询向量最近的h个索引，然后从原型向量矩阵ss=k*d中提取出对应的原型向量，得到sh矩阵，然后将sh矩阵通过多层感知机进行特征融合，并将融合后的矩阵在后两个维度上进行调换，得到增强权重wq，将原型向量矩阵qq=j*d扩展后和增强权重wq相乘，并在最后一个维度取均值，得到增强查询向量；
16、s6：采用欧式距离分别计算增强查询向量和增强原型向量的距离，将增强查询向量对应的查询样本分类到距离最近的增强原型向量所在的类别。
17、优选的，步骤s1中，采用三维点云扫描仪、激光雷达或毫米波雷达rgb-d深度相机采集物体的点云数据。
18、优选的，步骤s1中，采用最远点采样算法对点云数据进行采样，以获取点数一致的点云数据集。
19、优选的，步骤s4中，双网嵌入模型的特征提取过程如下：
20、动态图卷积网络通过多个edgeconv模块分别进行特征提取，采用第一拼接模块将每一个edgeconv模块的输出特征进行拼接，并采用第一最大池化模块对拼接后的特征进行最大池化，得到b*512的局部特征xd；
21、全局特征提取网络通过多层感知机模块将点特征升维到256，得到b*n*256特征，记为特征xl；其中一个第二最大池化模块将该特征xl在n的维度进行最大池化，得到b*1*256的全局特征，复制模块将该全局特征重复n次，即将该全局特征b*1*256复制n份，得到b*n*256的全局特征，记为特征xg，第二拼接模块将特征xg和特征xl在特征维度上拼接，得到b*n*512的特征xlg，在特征xlg中得每一个点都具备全局特征，通过一个多层感知机，将特征xlg中的特征进行融合，另一个第二最大池化模块在n的维度进行最大池化操作，得到b*512特征xg，将动态图卷积网络提取的特征xd和全局特征提取网络提取的特征xg进行拼接，得到b*1024的嵌入向量。
22、一种3d点云物体识别系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述方法。
23、一种存储介质，包括存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法。
24、一种3d点云物体识别产品，包括计算机程序，所述计算机程被处理器执行时实现上述任一项所述方法。
25、通过采用前述设计方案，本专利技术的有益效果是：本申请采用度量学习框架，分别在嵌入网络和分类器上进行了改进使之适用于点云小样本物体识别，在嵌入网络上，设计了一个双网嵌入模型，使用两个并行子网提取特征，以动态图卷积网络提取局部特征，以全局特征提取网络以增强其全局特征捕捉能力；在分类器上，设计一个嵌入表示增强算法对原型向量和查询向量进行特征增强，使得各类原型向量向其同类查询向量中心靠拢，同时使得各类查询向量向其原型向量逼近。
本文档来自技高网...【技术保护点】
1.一种3D点云物体识别方法，其特征在于：包括如下依次执行的步骤：
2.如权利要求1所述的3D点云物体识别方法，其特征在于：步骤S1中，采用三维点云扫描仪、激光雷达或毫米波雷达RGB-D深度相机采集物体的点云数据。
3.如权利要求2所述的3D点云物体识别方法，其特征在于：步骤S1中，采用最远点采样算法对点云数据进行采样，以获取点数一致的点云数据集。
4.如权利要求1所述的3D点云物体识别方法，其特征在于：步骤S4中，
5.一种3D点云物体识别系统，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于：所述计算机程序被所述处理器执行时实现上述权利要求 1-4任一项所述方法。
6.一种存储介质，包括存储器，所述存储器上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述权利要求 1-4任一项所述方法。
7.一种3D点云物体识别产品，包括计算机程序，其特征在于：所述计算机程被处理器执行时实现上述权利要求 1-4任一项所述方法。
【技术特征摘要】
1.一种3d点云物体识别方法，其特征在于：包括如下依次执行的步骤：
2.如权利要求1所述的3d点云物体识别方法，其特征在于：步骤s1中，采用三维点云扫描仪、激光雷达或毫米波雷达rgb-d深度相机采集物体的点云数据。
3.如权利要求2所述的3d点云物体识别方法，其特征在于：步骤s1中，采用最远点采样算法对点云数据进行采样，以获取点数一致的点云数据集。
4.如权利要求1所述的3d点云物体识别方法，其特征在于：步骤s4中，
...【专利技术属性】
技术研发人员：巢建树，骆水才，方鸿清，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。