一种关联点和体素的3D点云单目标跟踪方法及相关装置制造方法及图纸

本发明专利技术涉及一种关联点和体素的3D点云单目标跟踪方法及相关装置，包括S1：读取点云数据，确定跟踪对象为模板点云，确定搜索区域；S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。本发明专利技术通过改变特征提取主干网络和融合形状和语义的方式提升跟踪质量。和融合形状和语义的方式提升跟踪质量。和融合形状和语义的方式提升跟踪质量。

【技术实现步骤摘要】
一种关联点和体素的3D点云单目标跟踪方法及相关装置


[0001]本专利技术属于三维点云单目标跟踪
，具体涉及一种关联点和体素的3D点云单目标跟踪方法及相关装置。

技术介绍

[0002]三维点云的单目标跟踪是计算机视觉领域的重要任务，三维点云单目标跟踪输入激光雷达扫描的跟踪对象点云和跟踪对象的搜索点云序列，目的在于在搜索点云序列每一帧点云中检测出目标的位置和大小。该任务广泛应用于智能机器人交互系统、无人驾驶系统，还可以用在航空、军事等方面。
[0003]随着深度模型的快速发展，基于深度学习构建的目标跟踪方法在跟踪任务上有着显著的提升和良好的性能表现。这些目标跟踪方法通常实现的是基于目标外形的匹配，将模板信息嵌入到搜索区域中，进而更好的对搜索区域进行判断。但在考虑外形匹配时，当前的跟踪算法更多考虑形状特征上的融合，即每个搜索区域中的点学习模板中点的形状特征，缺少语义特征的直接嵌入。并且在稀疏点云场景下，使用基于点集的特征提取主干造成计算的浪费。

技术实现思路

[0004]本专利技术针对上述三维点云目标跟踪方法的不足，提出了一种关联点和体素的3D点云单目标跟踪方法及相关装置。本专利技术采用的技术方案如下：
[0005]为了实现上述目的，本专利技术采用如下技术方案：
[0006]第一个方面，本专利技术提供一种关联点和体素的3D点云单目标跟踪方法，该方法包括以下步骤：
[0007]步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
[0008]步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；
[0009]步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
[0010]步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
[0011]步骤S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
[0012]进一步的，所述步骤S1包括以下步骤：
[0013]步骤S11：指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；
[0014]步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进
行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。
[0015]进一步的，所述步骤S2包括以下步骤：
[0016]步骤S21：将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；
[0017]步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。
[0018]进一步的，所述步骤S3包括以下步骤：
[0019]步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点并进行特征学习；最终得到种子点的位置和种子点的特征其中，i＝t,s分别表示模板区域点云和搜索区域点云，N
i
表示种子点的数量，N表示种子点特征的维度。
[0020]进一步的，所述步骤S4包括以下步骤：
[0021]步骤S41：计算模板种子点与模板目标框的八个顶点及中心点的九个距离将搜索区域种子点的特征送入预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离计算d
t
和d
s
之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；
[0022]步骤S42：进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(V,N+N+3+9,k,Ns)的张量，并使用Mini
‑
PointNet进行特征聚合得到(V,N,Ns)的张量；
[0023]步骤S43：执行体素级特征融合模块，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义；
[0024]步骤S44：将搜索区域种子点，点级特征和体素级特征进行连接，得到最终融合后的特征。
[0025]进一步的，所述步骤S5包括以下步骤：
[0026]步骤S51：将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票；
[0027]步骤S52：对搜索区域种子点应用MLP回归分类得分Score＝sc1,sc2…
sc
j
，用以判断种子点为目标点或非目标点；其中，j表示搜索区域种子点的索引；
[0028]步骤S53：投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移每个种子点p
s,j
对应一个潜在目标中心C
j
；同时，预测种子点特征到潜在目标中心特征的残差
潜在目标中心的位置和特征分别表示为：潜在目标中心的位置和特征分别表示为：
[0029]步骤S54：对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为其中，j表示种子点的索引，s
j
、分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量；
[0030]步骤S55：对K个聚类簇应用MLP
‑
Maxpool
‑
MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分；
[0031]步骤S56：选择置信度得分最高的结果，得到目标跟踪对象中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪目标的位置和包围框。
[0032]第二个方面，本专利技术提供一种关联点和体素的3D点云单目标跟踪装置，包括：
[0033]第一确定模块100，用于读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
[0034]处理模块200，用于分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；
[0035]提取模块300，用于对模板点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关联点和体素的3D点云单目标跟踪方法，其特征在于，该方法包括以下步骤：步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；步骤S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。2.根据权利要求1所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S1包括以下步骤：步骤S11：指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。3.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S2包括以下步骤：步骤S21：将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。4.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S3包括以下步骤：步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点并进行特征学习；最终得到种子点的位置和种子点的特征其中，i＝t,s分别表示模板区域点云和搜索区域点云，N
i
表示种子点的数量，N表示种子点特征的维度。5.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S4包括以下步骤：步骤S41：计算模板种子点与模板目标框的八个顶点及中心点的九个距离将搜索区域种子点的特征送入预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
计算d
t
和d
s
之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；步骤S42：进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(B,N+N+3+9,k,Ns)的张量，并使用Mini
‑

【专利技术属性】
技术研发人员：杨磊刚，王浩，王鹏程，张灵，丁绍志，薛继英，白絮，赵宪通，
申请(专利权)人：大连宗益科技发展有限公司，
类型：发明
国别省市：