基于级联霍夫曼投票的3D点云单目标跟踪方法技术

本发明专利技术公开了一种基于级联霍夫曼投票的3D点云单目标跟踪方法，其特征在于，包括如下步骤：S1、构建目标模板(点云序列中给定的一个跟踪目标)和搜索区域的数据集，通过PointNet++，将目标模板及搜索区域的点进行下采样并提取采样点的特征，得到目标模板特征和搜索区域特征通过融合PointNet++输出的与得到特征增强的搜索区域的特征S2、基于特征进行级联的霍夫曼投票将搜索区域的点进行偏移，得到了M2个搜索区域点的状态信息从而逐步回归到潜在的目标中心；S3、对进行聚类得到聚类后的点的状态信息T

【技术实现步骤摘要】
基于级联霍夫曼投票的3D点云单目标跟踪方法


[0001]本专利技术涉及计算机视觉
，具体指一种基于级联霍夫曼投票的3D点云单目标跟踪方法。

技术介绍

[0002]单目标跟踪是计算机视觉领域的一个重要分支，并广泛应用于自动驾驶，视频监控，军事制导等多方面场景。近年来，随着激光雷达传感器的发展，且由于雷达扫描得到的点云对复杂的环境较为鲁棒，基于3D点云的单目标跟踪方法展现出了巨大的潜力。
[0003]目前主流的3D点云单目标跟踪方法包括特征融合和回归预测两部分。特征融合旨在利用模板目标的信息对搜索区域点云特征进行增强，回归预测则对特征增强后的搜索区域进行偏移回归，从而得到最终的预测结果。现有回归预测方法大都基于霍夫曼投票，先将搜索区域的种子点回归到潜在目标中心，再通过聚类的方式得到最终的目标候选框。为了进一步提高目标候选框的质量，来提高跟踪准确率，一些方法对搜索区域中不同位置的点的特征给予不同的权重，并基于加权的特征进行霍夫曼投票，以此生成更好的目标候选框。同时，一些其他方法通过注意力机制对投票后的点进行特征增强，使偏移的点聚合全局信息。然而，上述方法均是基于融合特征进行一次霍夫曼投票，难以生成高质量的目标候选框，从而导致跟踪预测的结构仍然不够准确。

技术实现思路

[0004]本专利技术针对现有技术的不足，提出一种基于级联霍夫曼投票的3D点云单目标跟踪方法，该方法所提的级联霍夫曼投票策略可以嵌入到目前主流的3D点云单目标跟踪方法中，能够有效地提高跟踪地准确率。
[0005]为了解决上述技术问题，本专利技术的技术方案为：
[0006]一种基于级联霍夫曼投票的3D点云单目标跟踪方法，具体包括以下步骤：
[0007]步骤1、构建目标模板(点云序列中给定的一个跟踪目标)和搜索区域的数据集，其中目标模板指定跟踪过程中要跟踪的目标。通过由L层Set Abstraction(SA)结构组成的PointNet++，将目标模板及搜索区域的点进行下采样并提取采样点的特征。目标模板经过l
th
(1≤l
th
≤L)层SA得到的特征为对应搜索区域的特征为其中L为3。通过融合每一层SA输出的与得到特征增强的搜索区域的特征公式如下：
[0008][0009]其中，xcorr表示融合算子。
[0010]步骤2、基于不同深度的融合特征进行级联的霍夫曼投票，表示基于l
th
层的融合特征进行的霍夫曼投票，通过级联投票，将搜索区域的点进行L次偏移，逐步回归到潜在的目标中心。与此同时，在投票过程中，通过计算回归坐标与真实目标中心的距离，逐次剔除一些干扰点。
[0011]具体如下：
[0012]1)首先，对于最后一层SA输出的进行特征融合，得到φ
L
(S)，通过霍夫曼投票V
L
，得到每个点的偏移公式如下：
[0013][0014]其中，vote表示3层连接层组成的多层感知机。
[0015]2)经过V
L
偏移后的点的状态信息为式(3)计算而来。令表示真实目标中心位置，引入距离淘汰机制(DEM，Distance Elimination Mechanism)来剔除一些干扰点。通过式(4)计算与之间的欧式距离选取距离最近的M1个点保留，剔除距离过远的点。
[0016][0017][0018]3)计算所保留的M1个点的索引I1，在中获取对应索引的M1个点的状态信息(1≤i≤M1)，同时在前一层SA输出的搜索区域特征中获取对应索引的M1个点的特征并对和进行特征融合，得到φ
L
‑1(S)。基于该特征进行第二次的霍夫曼投票，得到每个点的偏移公式如下：
[0019][0020]4)基于对保留的M1个搜索区域的点级联第二次偏移，偏移后的点的状态信息为式(6)计算而来。利用DEM，选取距离最近的M2个点保留，剔除距离过远的点。
[0021][0022][0023]5)同理得到M2个点的索引I2，在中获取对应索引的M2个点的状态信息(1≤i≤M2)，并在前一层SA输出的搜索区域特征中获取对应索引的M2个点的特征对和进行特征融合，得到φ
L
‑2(S)，基于该特征进行第三次的霍夫曼投票，得到每个点的偏移公式如下：
[0024][0025]6)基于对保留的M2个搜索区域的点级联第三次偏移，偏移后的点的状态信息为公式如下：
[0026][0027]步骤3、经过级联霍夫曼投票之后，得到了M2个搜索区域点的状态信息对进行聚类得到最终的预测结果。聚类过程首先会根据位置信息通过最远采样点的方式选取M3个点作为中心点，并查找中心点半径范围内的所有点，从而将M2个点划分为若干个点集，再通过PointNet对每个点集进行特征增强。T
j
为聚类后的点的状态信息。
[0028]步骤4、选取置信度得分s
j
最高的点作为预测的目标位置中心。p
j
表示3D位置的偏移和X
‑
Y平面的旋转角度，s
j
表示置信度得分。q为预测头，由MLP
‑
Maxpool
‑
MLP组成，公式如下：
[0029]{p
j
,s
j
}＝q(T
j
) (10)
[0030]本专利技术具有以下的特点和有益效果：
[0031]1、本专利技术提出了级联霍夫曼投票策略，在每个投票阶段，对点的状态信息(包括位置和特征)进行调整，以级联多次的方式逐步回归到目标中心，从而更加准确地进行3D点云目标定位。
[0032]2、本专利技术所使用模板及搜索区域点云的不同深度特征分别进行特征融合，并基于不同深度的融合特征进行级联的霍夫曼投票，最终生成高质量的3D候选框，从而有效提高了跟踪的准确率。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1：基于级联霍夫曼投票的3D点云单目标跟踪方法的流程图；
[0035]图2：基于级联霍夫曼投票的3D点云单目标跟踪框架图。
具体实施方式
[0036]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0037]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联霍夫曼投票的3D点云单目标跟踪方法，其特征在于，包括如下步骤：S1、构建目标模板和搜索区域的数据集，其中目标模板指定跟踪过程中要跟踪的目标，通过PointNet++，将目标模板及搜索区域的点进行下采样并提取采样点的特征，得到目标模板特征和搜索区域特征通过融合PointNet++输出的与得到特征增强的搜索区域的特征S2、基于特征增强的搜索区域的特征进行级联的霍夫曼投票将搜索区域的点进行偏移，得到了M2个搜索区域点的状态信息从而逐步回归到潜在的目标中心；同时在投票过程中，通过计算回归坐标与真实目标中心的距离，逐次剔除干扰点；S3、对进行聚类得到聚类后的点的状态信息T
j
；S4、基于聚类后的点的状态信息进行预测，q为预测头，由MLP
‑
Maxpool
‑
MLP组成，p
j
表示3D位置的偏移和X
‑
Y平面的旋转角度，s
j
表示置信度得分，公式如下：{p
j
,s
j
}＝q(T
j
)选取置信度得分s
j
最高的点作为预测的目标位置中心。2.根据权利要求1所述的基于级联霍夫曼投票的3D点云单目标跟踪方法，其特征在于，所述PointNet++有L层SA组成。3.根据权利要求2所述的基于级联霍夫曼投票的3D点云单目标跟踪方法，其特征在于，所述步骤S1中，目标模板经过l
th
(1≤l
th
≤L)层SA得到的特征为对应搜索区域的特征为通过融合每一层SA输出的与得到特征增强的搜索区域的特征公式如下：其中，xcorr表示融合算子。4.根据权利要求3所述的基于级联霍夫曼投票的3D点云单目标跟踪方法，其特征在于，所述步骤S2中，将搜索区域的点进行L次偏移。5.根据权利要求1
‑
4任意一项所述的基于级联霍夫曼投票的3D点云单目标跟踪方法，其特征在于，所述L为3。6.根据权利要求5所述的基于级联霍夫曼投票的3D点云单目标跟踪方法，其特征在于...

【专利技术属性】
技术研发人员：何志伟，许安琪，聂佳浩，杨宇翔，吕旭冬，高明裕，董哲康，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：