一种基于图卷积的三维点云单目标跟踪方法技术

本发明专利技术提供了一种基于图卷积的三维点云单目标跟踪方法，属于三维点云单目标跟踪技术领域。本发明专利技术首次将图卷积应用到三维单目标跟踪任务，本发明专利技术基于现有的三维单目标跟踪方法P2B进行改进，首先将模板点云和搜索点云输入到网络中，进行点云下采样，提取种子点特征；其次利用图卷积模块进行全局以及局部的特征融合，将模板信息嵌入到搜索区域中；最后，带有模板信息的种子点将被送至霍夫投票模块，在搜索区域对跟踪对象进行定位，并生成其三维目标框。本发明专利技术通过图卷积模块进行全局和局部的特征融合提升跟踪质量；本发明专利技术利用真实的点云数据集进行评估，并观察在先进的基线上的改进。并观察在先进的基线上的改进。并观察在先进的基线上的改进。

【技术实现步骤摘要】
一种基于图卷积的三维点云单目标跟踪方法


[0001]本专利技术属于三维点云单目标跟踪
，具体涉及一种基于图卷积的三维点云单目标跟踪方法。具体涉及一种P2B目标跟踪方法改进优化的方法。

技术介绍

[0002]三维点云的单目标跟踪是计算机视觉领域的重要任务，三维点云单目标跟踪输入在激光雷达扫描的跟踪对象点云和跟踪对象的搜索点云序列，目的在于在搜索点云序列每一帧点云中检测出目标的位置和大小。该任务广泛应用于智能机器人交互系统、无人驾驶系统，还可以用在航空、军事等方面。
[0003]随着深度模型的快速推荐，基于深度学习构建的目标跟踪方法在跟踪任务上有着显著的提升和良好的性能表现。这些目标跟踪方法通常实现的是基于目标外形的匹配，将模板信息嵌入到搜索区域中，进而更好的对搜索区域进行判断。但在考虑外形匹配时，当前的目标跟踪方法要么考虑全局的特征学习，要么考虑局部的特征学习。此外，目前跟踪方法考虑特征的相似性，而忽略空间上的匹配。因此，本专利技术针对模板点云和搜索区域点云匹配问题，设计了有效的全局和局部特征学习的方法，以提高目标跟踪的性能。
[0004]基于当前目标跟踪方法，存在如下几个问题：(1)仅进行全局匹配，即每个搜索区域中的点学习模板中所有点的特征，忽略点与点之间的特异性，从而嵌入了错误信息或者冗余信息。(2)仅进行局部匹配，即每个搜索区域中的点学习模板中部分高相似性点的特征，忽略模板作为跟踪目标对象重要的全局目标信息，从而造成信息的缺失。(3)在考虑模板和搜索区域匹配时仅使用特征层面的相似性，从而忽略了空间上对应。因此，本专利技术针对三维点云目标跟踪的问题，在P2B的网络结构基础上进行了改进，使之具有更好的效果。

技术实现思路

[0005]本专利技术主要针对上述三维点云目标跟踪方法不足之处进行改善，提出了一种基于图卷积的三维点云单目标跟踪方法。该方法基于P2B方法进行设计与改进，具体的设计特色为：
[0006]与传统的P2B目标跟踪方法不同，本专利技术充分学习跟踪对象的全局信息和局部信息。与仅使用特征上的相似性不同，本专利技术加入了距离的度量，使用两种度量尺度，两种特征学习的方式得到不同的层面的信息，并将其充分混合。从而提升目标跟踪方法的性能。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种基于图卷积的三维点云单目标跟踪方法，包括以下步骤：
[0009]步骤S1：读取点云数据，确定跟踪对象即模板点云，并确定搜索区域；
[0010]步骤S2：将模板点云和搜索区域点云送入共享的编码器进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
[0011]步骤S3：使用全局特征融合模块，将模板种子点和搜索区域种子点送入全局特征融合模块，进行全局特征学习，将模板全局信息嵌入到搜索区域种子点特征，更新搜索区域
种子点特征；
[0012]步骤S4：使用局部特征融合模块，将模板种子点和搜索区域种子点送入局部特征融合模块，进行局部特征学习，将模板局部信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
[0013]步骤S5：迭代步骤S3
‑
S4，完成特征融合，得到富含模板信息的种子点。
[0014]步骤S6：将更新后的搜索区域种子点送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
[0015]本专利技术与现有技术相比具有以下有益效果：
[0016]本专利技术利用改进的P2B网络实现了三维点云单目标跟踪的任务，补充了当前目标跟踪方法的不足之处：1)仅进行全局匹配，即每个搜索区域中的点去学习模板中所有点的特征，忽略点与点之间的特异性，从而嵌入了错误信息或者冗余信息。(2)仅进行局部匹配，即每个搜索区域中的点去学习模板中部分高相似点的特征，忽略模板作为跟踪目标对象重要的全局目标信息，从而造成信息的缺失。(3)在考虑模板和搜索区域匹配时仅使用特征层面的相似性，从而忽略了空间上对应。本专利技术通过多个度量尺度和多个融合信息的模块相融合提升跟踪质量；本专利技术利用真实的点云数据集进行评估，并观察在先进的基线上的改进。
附图说明
[0017]图1是本专利技术设计的整体结构。
[0018]图2是本专利技术设计的全局特征学习节点连接方式。
[0019]图3是本专利技术设计的全局特征学习节点特征连接方式。
[0020]图4是本专利技术设计的局部特征学习节点连接方式。
具体实施方式
[0021]下面将结合具体实施例和附图对本专利技术的技术方案进行进一步的说明。
[0022]一种基于图卷积迭代进行全局和局部特征学习的三维点云单目标跟踪方法，包括以下步骤：
[0023]步骤S1：读取点云数据，确定跟踪对象即模板点云，并确定搜索区域。具体过程为：
[0024]步骤S11：读取上一帧点云跟踪对象的目标框作为目标的尺寸，目标框内的点作为跟踪对象模板，即为模板点云。
[0025]步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象上一帧目标框进行膨胀，作为搜索区域，搜索区域内的点即为搜索区域点云。
[0026]步骤S2：将模板点云和搜索区域点云送入共享的编码器进行点云下采样及特征提取，得到模板种子点和它的三维坐标和特征向量以及搜索区域种子点和它的三维坐标和特征向量。具体过程为：
[0027]将模板点云和搜索区域点云输入到Point
‑
Net++网络中进行点云下采样，采样方式为最远点采样，分别得到各自的种子点并进行特征学习；最终得到
种子点的位置和种子点的特征和种子点的特征其中，i＝t,s分别表示模板区域点云和搜索区域点云，N
i
表示种子点的数量，N表示种子点特征的维度。
[0028]步骤S3：使用全局特征融合模块，将模板种子点和搜索区域种子点送入全局特征融合模块，进行全局特征学习，得到嵌入模板全局信息的搜索区域种子点。进一步，所述步骤S3具体为：
[0029]步骤S31：计算由步骤S2获得的模板种子点特征与搜索区域种子点特征之间的余弦相似性。
[0030]步骤S32：构建全局的图链接，如图2所示：模板区域和搜索区域种子点作为图卷积图节点，建立模板区域节点到搜索区域节点的边结构，每个搜索区域节点与模板区域所有节点建立连接。
[0031]步骤S33：使用全局特征学习模块进行特征融合，如图3所示，首先将模板种子点坐标与模板种子点特征连接，将连接后的特征张量扩展到(B,N+3,Nt,Ns)维度并与由步骤S31中获得的余弦相似度连接，得到(B,N+3+1,Nt,Ns)的张量；张量依次经过一层MLP、一层最大池化，池化后的特征张量为(B,N,Ns)。
[0032]步骤S34：将池化后的特征张量与搜索区域种子点特征在特征维度进行连接，经过一层MLP将所学模板全局信息嵌入搜索区域中，得到嵌入了模板全局信息的搜索区域种子点特征，完成搜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的三维点云单目标跟踪方法，其特征在于，该方法包括以下步骤：步骤S1：读取点云数据，确定跟踪对象即模板点云，并确定搜索区域；步骤S2：将模板点云和搜索区域点云送入共享的编码器进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；步骤S3：使用全局特征融合模块，将模板种子点和搜索区域种子点送入全局特征融合模块，进行全局特征学习，将模板全局信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；步骤S4：使用局部特征融合模块，将模板种子点和搜索区域种子点送入局部特征融合模块，进行局部特征学习，将模板局部信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；步骤S5：迭代步骤S3
‑
S4，完成特征融合，得到富含模板信息的种子点；步骤S6：将更新后的搜索区域种子点送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。2.根据权利要求1所述的一种基于图卷积的三维点云单目标跟踪方法，其特征在于，所述步骤S1的具体过程为：步骤S11：读取上一帧点云跟踪对象的目标框作为目标的尺寸，目标框内的点作为跟踪对象模板，即为模板点云；步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象上一帧目标框进行膨胀，作为搜索区域，搜索区域内的点即为搜索区域点云。3.根据权利要求1或2所述的一种基于图卷积的三维点云单目标跟踪方法，其特征在于，所述步骤S2具体为：将模板点云和搜索区域点云输入到Point
‑
Net++网络中进行点云下采样，采样方式为最远点采样，分别得到各自的种子点并进行特征学习；最终得到种子点的位置和种子点的特征和种子点的特征其中，i＝t,s分别表示模板区域点云和搜索区域点云，N
i
表示种子点的数量，N表示种子点特征的维度。4.根据权利要求1或2所述的一种基于图卷积的三维点云单目标跟踪方法，其特征在于，所述步骤S3具体为：步骤S31：计算由步骤S2获得的模板种子点特征与搜索区域种子点特征之间的余弦相似性；步骤S32：构建全局的图链接：模板区域和搜索区域种子点作为图卷积图节点，建立模板区域节点到搜索区域节点的边结构，每个搜索区域节点与模板区域所有节点建立连接；步骤S33：使用全局特征学习模块进行特征融合：首先将模板种子点坐标与模板种子点特征连接，将连接后的特征张量扩展到(B,N+3,Nt,Ns)维度并与由步骤S31中获得的余弦相似度连接，得到(B,N+3+1,Nt,Ns)的张量；张量依次经过一层MLP、一层最大池化，池化后的特征张量为(B,N,Ns)；步骤S34：将池化后的特征张量与搜索区域种子点特征在特征维度进行连接，经过一层
MLP将所学模板全局信息嵌入搜索区域中，得到嵌入了模板全局信息的搜索区域种子点特征，完成搜索区域种子点特征的全局更新。5.根据权利要求3所述的一种基于图卷积的三维点云单目标跟踪方法，其特征在于，所述步骤S3具体为：步骤S31：计算由步骤S2获得的模板种子点特征与搜索区域种子点特征之间的余弦相似性；步骤S32：构建全局的图链接：模板区域和搜索区域种子点作为图卷积图节点，建立模板区域节点到搜索区域节点的边结构，每个搜索区域节点与模板区域所有节点建立连接；步骤S33：使用全局特征学习模块进行特征融合：首先将模板种子点坐标与模板种子点特征连接，将...

【专利技术属性】
技术研发人员：赵宪通，田胜景，刘秀平，曹俊杰，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：