【技术实现步骤摘要】
本专利技术涉及目标跟踪，尤其涉及一种基于时空序列信息的三维单目标跟踪方法。
技术介绍
1、智能装备需要能够感知周围的环境，以便能够适应不同的场景和任务，例如，机器人需要能够识别和避开障碍物，自动驾驶汽车需要能够检测和跟踪其他车辆和行人，无人机需要能够定位和导航等。因此，环境感知是智能装备的基础和前提，也是智能装备的核心竞争力和创新点。
2、三维单目标跟踪(sot)是环境感知中的一项非常重要的任务，其目的是根据目标的初始状态在后续帧中对目标进行定位。由于能够捕捉特定目标的连续状态变化，三维单目标跟踪器在机器人、自动驾驶和监控系统等领域得到了广泛应用。
3、三维单目标跟踪技术的发展受到了人工智能技术的快速发展的推动，特别是深度学习技术的突破，使得目标跟踪的性能和效率得到了显著的提升。受基于图像的二维目标跟踪方法的启发，早期的三维单目标跟踪器通常遵循“二对一”范式，其通过将模板点云与当前帧中的搜索区域匹配来捕获目标。然而，稀疏和无纹理的点云使得跟踪快速移动或被遮挡的目标具有挑战性。为了解决这个问题，此前工作将跟踪视为一项运动预测任务，跨帧估计两组前景点之间的相对运动。尽管如此，基于特征匹配和基于运动的方法都将跟踪简化为瞬态预测问题(只有两帧)。这不仅破坏了跟踪的连续性，而且忽略了先前帧中反映的目标运动模式，使得跟踪器难以处理点云稀疏场景。
4、中国专利“cn116385713a基于级联霍夫曼投票的3d点云单目标跟踪方法”提出一种基于级联霍夫曼投票的3d点云单目标跟踪方法。该专利技术首先利用特征提取器
5、中国专利“cn117011342a一种注意力增强的时空transformer视觉单目标跟踪方法”提出一种注意力增强的时空transformer单目标跟踪方法。首先，使用主干网络提取图像特征；而后将提取的特征进行预处理，并输入到编码增强层，通过增强的自注意力机制来强化原始的特征信息；接着，解码器层会使用目标定位和编码增强层的输出作为输入，计算特征的相似度分数，并输出关联概率图；接着使用多步动态更新策略，判断是否更新动态模板与源域模板图像，最后预测头通过计算角点概率分布的期望得到预测框坐标。该专利技术使用的网络完全基于transformer架构，并对编码层的自注意力机制进行了增强，抑制关联计算导致的噪声和模糊；使用位置嵌入编码和动态更新模板分别提供全局的时间、空间线索。该专利的方法仅使用图像去完成单目标的跟踪，并不能处理目标的遮挡和消失的情况。同时这个方法需要大量的计算资源和内存，因为它使用了多层的transformer网络和时空注意力机制，这会增加模型的复杂度和运行时间。最后也是比较致命的一点是，这个专利的方法没有充分利用目标的外观和运动信息，而是主要依赖于注意力机制来提取特征，这可能导致模型对目标的识别不够准确和鲁棒。
技术实现思路
1、本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于时空序列信息的三维单目标跟踪方法，实现端到端的三维单目标跟踪方法，网络结构更加简单，效果更好，速度更快，能够更好地应对点云稀疏和目标不完整的情况，有利于降低车辆的生产成本，以促进自动驾驶产品快速落地并带来客观的经济效益。
2、为解决上述技术问题，本专利技术所采取的技术方案是：
3、一种基于时空序列信息的三维单目标跟踪方法，包括如下步骤：
4、步骤1：搜索与模板点云特征提取；
5、通过深度学习方法对当前搜索区域点云数据和多个历史模板点云数据进行特征提取，以获得点云数据的时间和空间高层次语义特征；
6、步骤2：目标三维框初步预测；
7、采用多层感知机来聚合步骤一中得到的点云数据特征，从而获得搜索区域的前景点掩模，然后通过对特征进行前景点掩模加权，最后经过一个多层感知机获得初步的目标三维框；
8、步骤3：通过局部编码器增强点云空间特征；
9、通过自注意力模型中的自注意力机制分别对每帧点云特征进行独立编码，利用自注意力机制引导深度学习网络学习每帧点云的空间特征，来捕捉点云数据更复杂的空间依赖关系；
10、步骤4：通过全局编码器增强点云时间特征；
11、首先对步骤1得到的点云特征进行合并，然后利用和步骤3相同的结构来增强点云数据的时间特征，来捕捉点云数据间的运动关系；
12、步骤5：目标序列属性回归；
13、将步骤二得到的三维目标框转变成八个角点，并投影到三维框令牌，以便与点云特征对齐。然后利用解码器中的注意力机制，来提取目标相关的信息，并生成边界框嵌入向量。最后通过一个多层感知器，将边界框嵌入向量转换回边界框参数，作为输出序列。
14、进一步地，所述步骤1中，利用深度学习强大的特征编码能力，对模板和搜索点云的信息进行编码；每个点的x、y、z三个坐标组成原始点云数据的三维信息；采用点云特征提取网络提取点云特征，并且更加关注全局特征，更倾向于使用参数量更少的点云特征提取网络；利用点云特征提取方法生成多帧点云特征，即从多帧点云到多帧点云特征其中中，n＝0时表示搜索区域的点云，n≠0时表示历史帧的模板点云，n表示点云数据的帧数；w表示单帧内点云的数量，c表示通道数量即特征数量。
15、进一步地，所述步骤2中，将步骤1得到的多帧点云特征输入多层感知机mlp以生成前景点掩模然后利用前景点掩模对多帧点云特征进行加权，同时经过一个最大池化并通过一个多层感知机mlp，以获得局部坐标系中的三维目标框，用于后续的精细化的三维框预测；以上过程表示如下：
16、
17、其中，表示预测的当前帧搜索区域的三维目标框。
18、进一步地，所述步骤3中，利用改进的pointnet++作为点特征提取的点序列主干，并生成点云特征其中m表示当前帧点云数量，c表示通道数量即特征数量；此后，将点云特征fn输入到本地编码器进行进一步编码；首先使用层归一化来指向特征，并添加位置编码pn，该位置编码pn在高维空间中施加特定的偏移量，以获得更多区分特征如下式：
19、en＝layernorm(fn)+pn
20、其中，laye本文档来自技高网...
【技术保护点】
1.一种基于时空序列信息的三维单目标跟踪方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述步骤1中，利用深度学习强大的特征编码能力，对模板和搜索点云的信息进行编码；每个点的x、y、z三个坐标组成原始点云数据的三维信息；采用点云特征提取网络提取点云特征，并且更加关注全局特征，更倾向于使用参数量更少的点云特征提取网络；利用点云特征提取方法生成多帧点云特征，即从多帧点云到多帧点云特征其中中，n＝0时表示搜索区域的点云，n≠0时表示历史帧的模板点云，N表示点云数据的帧数；W表示单帧内点云的数量，C表示通道数量即特征数量。
3.根据权利要求2所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述步骤2中，将步骤1得到的多帧点云特征输入多层感知机MLP以生成前景点掩模然后利用前景点掩模对多帧点云特征进行加权，同时经过一个最大池化并通过一个多层感知机MLP，以获得局部坐标系中的三维目标框，用于后续的精细化的三维框预测；以上过程表示如下：
4.根据权利要求1所述的基于时空序列信息的三维单目标跟
5.根据权利要求4所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述将得到的特征En输入到多头注意力机制的具体方法为：
6.根据权利要求5所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述步骤4中，在进行输入之前将每一帧的特征融合到一起得到使得注意力图能够跨越整个序列；然后，由多个注意层处理Em，以学习帧间关系并将运动特征嵌入到其表述为：
7.根据权利要求1所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述步骤5中，首先将三维框参数P＝(x,y,z,w,l,h,θ)转换为角点x、y、z是三维框的中心点坐标，w、h、l是三维框的长宽高，θ是三维框沿z轴旋转的角度，L表示角点数量，K＝(xc,yc,zc,t)，同时嵌入点云的时间特征，然后再投影到框令牌其中C′表示通道数量，该过程表示如下：
...【技术特征摘要】
1.一种基于时空序列信息的三维单目标跟踪方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述步骤1中，利用深度学习强大的特征编码能力，对模板和搜索点云的信息进行编码；每个点的x、y、z三个坐标组成原始点云数据的三维信息；采用点云特征提取网络提取点云特征，并且更加关注全局特征，更倾向于使用参数量更少的点云特征提取网络；利用点云特征提取方法生成多帧点云特征，即从多帧点云到多帧点云特征其中中，n＝0时表示搜索区域的点云，n≠0时表示历史帧的模板点云，n表示点云数据的帧数；w表示单帧内点云的数量，c表示通道数量即特征数量。
3.根据权利要求2所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述步骤2中，将步骤1得到的多帧点云特征输入多层感知机mlp以生成前景点掩模然后利用前景点掩模对多帧点云特征进行加权，同时经过一个最大池化并通过一个多层感知机mlp，以获得局部坐标系中的三维目标框，用于后续的精细化的三维框预测；以上过程表示如下：
4.根据权利要求1所述的基于时空序列信息的三维单目标跟踪方法，其特征在于：所述步骤3中，利用改进的po...
【专利技术属性】
技术研发人员：方正，王佳强，林雨，李智恒，崔宇波，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。