针对频繁遮挡场景下基于物质波的多目标跟踪方法技术

一种针对频繁遮挡场景下基于物质波的多目标跟踪方法，通过构建并训练基于物质波的目标检测网络，在在线阶段从目标无遮挡的图像帧中通过量子演化和量子测量，得到目标遮挡的图像帧中目标的坐标，用于在密集场景下对遮挡目标的坐标进行预测匹配，实现同一个目标在遮挡前和遮挡后的ID保持不变，进而达到对多个目标的连续跟踪。本发明专利技术能够在准确检测到目标的同时，连接被遮挡前后的目标轨迹，实现频繁遮挡下的多目标跟踪，整体降低在极端密集场景下的跟踪多目标身份切换与丢失的数量，并且提升算法在公开数据集上的多目标跟踪的准确度。法在公开数据集上的多目标跟踪的准确度。法在公开数据集上的多目标跟踪的准确度。

【技术实现步骤摘要】
针对频繁遮挡场景下基于物质波的多目标跟踪方法


[0001]本专利技术涉及的是一种计算机视觉多目标跟踪领域的技术，具体是一种针对频繁遮挡场景下基于物质波函数的运动预测算法和高精度目标检测算法的多目标跟踪方法。

技术介绍

[0002]现有的基于深度学习多目标跟踪算法实现跟踪，当出现目标被全部遮挡一段时间后再次出现时，由于目标检测算法无法检测到目标，不可避免地会将无法检测到的目标轨迹切断，并且当其再次出现时赋予其新的身份标签。这就导致不希望出现的身份切换(ID Switch)。由于基于深度学习的多目标跟踪算法对于视觉的依赖性较高，因此只要无法检测到的目标，也无法实现高精度的跟踪，因此遮挡问题成为影响多目标跟踪效果的一大关键因素。

技术实现思路

[0003]本专利技术针对现有的多目标跟踪算法依赖于大量人工标注的重识别数据集而并未关注视频上下帧的目标运动导致的外观特征差异以及目标之间相互遮挡的问问题，即目标在频繁遮挡场景下的连续性跟踪问题，提出一种针对频繁遮挡场景下基于物质波的多目标跟踪方法，能够在准确检测到目标的同时，连接被遮挡前后的目标轨迹，实现频繁遮挡下的多目标跟踪，整体降低在极端密集场景下的跟踪多目标身份切换与丢失的数量，并且提升算法在公开数据集上的多目标跟踪的准确度(MOTA)。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种针对频繁遮挡场景下基于物质波的多目标跟踪方法，通过构建并训练基于物质波的目标检测网络，在在线阶段从目标无遮挡的图像帧中通过量子演化和量子测量，得到目标遮挡的图像帧中目标的坐标，用于在密集场景下对遮挡目标的坐标进行预测匹配，实现同一个目标在遮挡前和遮挡后的身份保持不变，进而达到对多个目标的连续跟踪。
[0006]所述的训练是指：设置训练损失函数对合成的物质波系数进行优化。
[0007]所述的物质波特征是指：随着目标遮挡的图像帧增加，目标的量子演化得到的物质波函数的方差就逐渐变大，即物质波函数波形的中心能量向两边辐散，物质波函数是一个描述希尔伯特空间中物体状态的向量其中：物质波系数表示物质波在由基集ψi构成的希尔伯特空间中的投影，非负标量j满足φ
j
表示相位，r
j
表示相位函数的加权系数，即目标通过检测算法输出的边界框的中心坐标。
[0008]所述的物质波函数，通过求解薛定谔方程得到，具体为：其中：φ为物
质波函数，哈密顿量其中：普朗克常数，势能函数k为弹性系数和Δx运动点到平衡点的距离，m为物质的质量，当已知某一时刻的哈密顿量，则可计算得到该时刻对应的物质波函数。
[0009]所述方法具体包括：
[0010]步骤1)通过目标检测网络得到图像上无遮挡目标的中心坐标后，将其投影到基组中，通过相邻两帧物质波函数之间的关系得到Φ(r，t+1)后，再根据物质波函数定义公式将已知的Φ和ψi带入，从而求解出物质波系数即将目标状态从不确定状态转移到确定状态。在没有测量的情况下，目标状态是不确定的，因为它同时在所有可能的测量上。测量后，目标状态将坍缩到某个基态其中：Φ(r，t)是当前帧的物质波，Φ(r，t)乘上相位运动函数得到下一帧的物质波函数Φ(r，t+1)。
[0011]步骤2)使用量子测量预测下一帧中物体的中心坐标：通过计算量子测量的积分表达式根据当前帧中对象的中心坐标(Xc，Yc)获得下一帧中对象的中心坐标(X
1c
，Y
1c
)，具体为：X
1c
＝∫(Φ(r，t+1)
*
X
c
Φ(r，t+1))dx，Y
1c
＝∫(Φ(r，t+1)
*
Y
c
Φ(r，t+1))dy，其中：X
c
表示当前帧中对象在X轴上的中心坐标，X
1c
表示下一帧中对象在X轴上的中心坐标。
[0012]步骤3)通过连续循环量子测量和量子演化以计算连续帧中物体的中心坐标，具体为：将X
1c
和Y
1c
分别带入X
2c
＝∫(Φ(r，t+1)
*
X
1c
Φ(r，t+1))dx和Y
2c
＝∫(Φ(r，t+1)
*
Y
1c
Φ(r，t+1))dy得到X
2c
和Y
2c
，并进一步循环计算得到(X
3c
，Y
3c
)，......，(X
nc
，Y
nc
)，实现目标轨迹的连续帧预测。
[0013]本专利技术涉及一种实现上述方法的基于物质波函数的多目标跟踪系统，包括：目标检测网络、物质波计算模块和物质波运动预测模块，其中：目标检测网络采集输入图像的目标边界框和图像特征，物质波计算模块根据目标被遮挡前的图像以及普朗克常数、虚数单位以及目标的哈密顿量均带入薛定谔方程求解得到目标初始化的物质波函数，物质波运动预测模块根据目标被遮挡前的图像结合物质波的量子演化预测得到目标被遮挡时的坐标位置，将遮挡前后的目标轨迹与目标身份正确连接，通过量子测量和量子演化从湮灭中再生出目标并修复检测的误差进而实现连续帧的多目标跟踪。
[0014]所述的目标检测网络包括：主干网络(backbone)、特征金字塔(FPN)和网络输出单元，其中：backbone使用不同大小的池化核对图像的特征分别进行池化，然后进行堆叠之后再卷积得到128维的高维图像特征；FPN将不同大小的特征层进行特征融合以进行加强特征提取，网络输出单元输出目标的置信度、边界框和类别信息。
[0015]所述的物质波运动预测模块包括：量子测量单元和量子演化单元，其中：量子测量单元将目标检测结果编码到物质波中，在将该编码后的物质波对上一帧目标的坐标进行积分得到当前帧目标的二维坐标(Xc，Yc)，量子演化单元将当前帧的物质波函数与相位函数进行相乘得到下一帧的物质波函数。
附图说明
[0016]图1为本专利技术流程图；
[0017]图2为谐振子系统势能函数变化示意图；
[0018]图3为本专利技术系统示意图；
[0019]图4为量子演化E和量子测量M的示意图；
[0020]图5为实施例效果对比示意图。
具体实施方式
[0021]如图3和图4所示，为本实施例涉及的一种基于物质波函数的多目标跟踪系统，本实施例中目标检测网络通过YOLOX网络来实现，YOLOX网络中的主干网络利用残差网络容易优化的特点，并且能够通过增加相当的深度来提高准确度；FPN进行加强特征提取，不同大小的特征层进行特征融合，有利于提取出更好的特征；网络输出单元输出目标的置信度、边界框和类别信息。
[0022]如图1和图3所示，为本实施例涉及的一种针对频繁遮挡场景下基于物质波函数的多目标跟踪方法，包括：
[0023]步骤一、使用谐振子系统的基态解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对频繁遮挡场景下基于物质波的多目标跟踪方法，其特征在于，通过构建并训练基于物质波的目标检测网络，在在线阶段从目标无遮挡的图像帧中通过量子演化和量子测量，得到目标遮挡的图像帧中目标的坐标，用于在密集场景下对遮挡目标的坐标进行预测匹配，实现同一个目标在遮挡前和遮挡后的ID保持不变，进而达到对多个目标的连续跟踪；所述的物质波特征是指：随着目标遮挡的图像帧增加，目标的量子演化得到的物质波函数的方差就逐渐变大，即物质波函数波形的中心能量向两边辐散，物质波函数是一个描述希尔伯特空间中物体状态的向量其中：物质波系数表示物质波在由基集ψi构成的希尔伯特空间中的投影，非负标量j满足φ
j
表示相位，r
j
表示相位函数的加权系数，即目标通过检测算法输出的边界框的中心坐标。2.根据权利要求1所述的针对频繁遮挡场景下基于物质波的多目标跟踪方法，其特征是，所述的训练是指：设置训练损失函数对合成的物质波系数进行优化。3.根据权利要求1或2所述的针对频繁遮挡场景下基于物质波的多目标跟踪方法，其特征是，所述的物质波函数，通过求解薛定谔方程得到，具体为：其中：φ为物质波函数，哈密顿量其中：普朗克常数，势能函数k为弹性系数和Δx运动点到平衡点的距离，m为物质的质量，当已知某一时刻的哈密顿量，则可计算得到该时刻对应的物质波函数。4.根据权利要求1所述的针对频繁遮挡场景下基于物质波的多目标跟踪方法，其特征是，所述的在密集场景下对遮挡目标的坐标进行预测匹配包括：步骤1)通过目标检测网络得到图像上无遮挡目标的中心坐标后，将其投影到基组中，通过相邻两帧物质波函数之间的关系得到Φ(r,t+1)后，再根据物质波函数定义公式将已知的Φ和ψi带入，从而求解出物质波系数即将目标状态从不确定状态转移到确定状态；在没有测量的情况下，目标状态是不确定的，因为它同时在所有可能的测量上；测量后，目标状态将坍缩到某个基态其中：Φ(r,t)是当前帧的物质波，Φ(r,t)乘上相位运动函数得到下一帧的物质波函数Φ(r，t+1)；步骤2)使用量子测量预测下一帧中物体的中心坐标：通过计算量子测量的积分表达式根据当前帧中对象的中心坐标(Xc，Yc)获得下一帧中对象的中心坐标(X
1c
，Y
1c
)，具体为：X
1c
＝∫(Φ(r，t+1)
*
X
c
Φ(r，t+1))dx，Y
1c
＝∫(Φ(r，t+1)
*
Y
c
Φ(r，t+1))dy，其中：X
c
表示当前帧中对象在X轴上的中心坐标，X
1c
表示下一帧中对象在X轴上的中心坐标；步骤3)通过连续循环量子测量和量子演化以计算连续帧中物体的中心坐标，具体为：将X
1c
和Y
1c
分别带入X
2c
＝∫(Φ(r，t+1)
*
X
1c
Φ(r，t+1))dx和Y
2c
＝∫(Φ(r，t+1)
*
Y
1c
Φ(r，t+1))
dy得到X
2c
和Y
2c
，并进一步循环计算得到(X
3c
，Y
3c
)，......，(X
nc
，Y
nc
)，实现目标轨迹的连续帧预测。5.一种实现权利要求1
‑
4中任一所述方法的基于物质波函数的多目标跟踪系统，其特征在于，包括：目标检测网络、物质波计算模块和物质波运动预测模块，其中：目标检测网络采集输入图像的目标边界框和图像特征，物质波计算模块根据目标被遮挡前的图像以及普朗克常数、虚数单位以及目标的哈密顿量均带入薛定谔方程求解得到目标初始化的物质波函数，物质波运动预测模块根据目标被遮挡前的图像结合物质波的量子演化预测得到目标被遮挡时的坐标位置，将遮挡前后的目标轨迹与目标身份正确连接，通过量子测量和量子演化从湮灭中再生出目标并修复检测的误差进而实现连续帧的多目标跟踪。6.根据权利要求5所述的基于物质波函数的多目标跟踪系统，其特征是，所述的目标检测网络包括：主干网络(backbone)、特征金字塔(FPN)和网络输出单元，其中：backbone使用不同大小的池化核对图像的特征分别进行池化，然后进行堆叠之后再卷积得到128维的高维图像特征；FPN将不同大小的特征层进行特征融合以进行加强特征提取，网络输出单元输出目标的置信度、边界框和类别信息。7.根据权利要求5所述的基于物质波函数的多目标跟踪系统，其特征是，所述的物质波运动预测模块包括：量子测量单元和量子演化单元，其中：量子测量单元将目标检测结果编码到物质波中，在将该编码后的物质波对上一帧目标的坐...

【专利技术属性】
技术研发人员：裴凌，徐成，郁文贤，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：