多目标行人跟踪方法及系统技术方案

本发明专利技术公开了多目标行人跟踪方法及系统，其中所述方法，包括：获取待处理视频；对待处理视频第一帧的多个目标行人进行标注；对待处理视频的非首帧进行目标检测，得到目标检测框；对目标检测框内的图像进行特征提取；对目标检测框进行状态预测和轨迹生成；基于特征提取结果、状态预测结果和轨迹生成结果，确定关联成本；将关联成本大于设定阈值的轨迹和目标检测框，进行匹配得到初步匹配结果；将未匹配的轨迹和未匹配的目标检测框，再次进行匹配；最后确定跟踪结果，完成多目标行人的跟踪任务。在保持精度的同时缩小模型权重大小。保持精度的同时缩小模型权重大小。保持精度的同时缩小模型权重大小。

【技术实现步骤摘要】
多目标行人跟踪方法及系统


[0001]本专利技术涉及多目标跟踪
，特别是涉及多目标行人跟踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]目标跟踪一直是机器视觉领域比较富有挑战性的研究方向，近年来多目标跟踪变成了许多研究者的重点研究对象，多目标跟踪是为视频中不同物体赋予相应ID，并在后面所有帧中跟踪物体，不同物体具有不同ID,相同物体ID理论上一直不会变。与目标检测不同的是，目标跟踪可以在后续帧中精准查找同一物体，还可以实现物体的轨迹预测，这些特性使得多目标跟踪在自动驾驶、智能监控等方面有着大量应用空间。
[0004]近年来随着GPU设备不断更新换代，深度学习变成了研究热门，基于深度学习的目标跟踪有着与传统方法相比更高的准确率和实时性。其中经典的DeepSort多目标跟踪算法已经应用于许多方面，它对多目标跟踪中ID SWITCH，实时性差等问题提出了一系列解决方案。
[0005]传统DeepSort中检测器和特征提取器采用大规模神经网络，有着精度高，实时性强，漏检率、ID SWITCH少等优点。但同时使用成本较高，对于一些硬件条件差的小设备、移动端等没有足够的存储空间、GPU、散热来支撑算法运行。

技术实现思路

[0006]为了解决现有技术的不足，本专利技术提供了多目标行人跟踪方法及系统；目标检测部分使用最新的yolov5，目标跟踪使用deepsort，在跟踪器中修改传统deepsort的特征提取网络，使用更加轻量化的ShuffleNetV2代替，在保持精度的同时缩小模型权重大小。
[0007]第一方面，本专利技术提供了多目标行人跟踪方法；
[0008]多目标行人跟踪方法，包括：
[0009]获取待处理视频；对待处理视频第一帧的多个目标行人进行标注；
[0010]对待处理视频的非首帧进行目标检测，得到目标检测框；
[0011]对目标检测框内的图像进行特征提取；
[0012]对目标检测框进行状态预测和轨迹生成；
[0013]基于特征提取结果、状态预测结果和轨迹生成结果，确定关联成本；
[0014]将关联成本大于设定阈值的轨迹和目标检测框，进行匹配得到初步匹配结果；将未匹配的轨迹和未匹配的目标检测框，再次进行匹配；最后确定跟踪结果，完成多目标行人的跟踪任务。
[0015]第二方面，本专利技术提供了多目标行人跟踪系统；
[0016]多目标行人跟踪系统，包括：
[0017]获取模块，其被配置为：获取待处理视频；对待处理视频第一帧的多个目标行人进行标注；
[0018]目标检测模块，其被配置为：对待处理视频的非首帧进行目标检测，得到目标检测框；
[0019]特征提取模块，其被配置为：对目标检测框内的图像进行特征提取；
[0020]状态预测和轨迹生成模块，其被配置为：对目标检测框进行状态预测和轨迹生成；
[0021]关联成本确定模块，其被配置为：基于特征提取结果、状态预测结果和轨迹生成结果，确定关联成本；
[0022]跟踪模块，其被配置为：将关联成本大于设定阈值的轨迹和目标检测框，进行匹配得到初步匹配结果；将未匹配的轨迹和未匹配的目标检测框，再次进行匹配；最后确定跟踪结果，完成多目标行人的跟踪任务。
[0023]第三方面，本专利技术还提供了一种电子设备，包括：
[0024]存储器，用于非暂时性存储计算机可读指令；以及
[0025]处理器，用于运行所述计算机可读指令，
[0026]其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
[0027]第四方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
[0028]第五方面，本专利技术还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
[0029]与现有技术相比，本专利技术的有益效果是：
[0030]本专利技术使用基于上述原则提出的ShuffleNetV2网络于传统DeepSort结合，替换DeepSort跟踪器中的特征提取网络，大大降低了模型复杂程度、权重参数大小，ShuffleNetV2在ShuffleNetV1的基础上做了大量修改，修改了逐点卷积和瓶颈结构这种会增加内存访问成本的操作等。修改后的DeepSort可以实现在硬件设备差的低性能嵌入式终端设备上运行，增大了算法的应用性。
附图说明
[0031]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0032]图1为本专利技术的方法流程图；
[0033]图2(a)和图2(b)为ShuffleNetV2网络结构中block和下采样层结构示意图；
[0034]图3(a)和图3(b)为两种网络模型的大小对比；
[0035]图4为最终检测效果示意图。
具体实施方式
[0036]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0037]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，
意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0038]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0039]本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
[0040]实施例一
[0041]本实施例提供了多目标行人跟踪方法；
[0042]如图1所示，多目标行人跟踪方法，包括：
[0043]S101：获取待处理视频；对待处理视频第一帧的多个目标行人进行标注；
[0044]S102：对待处理视频的非首帧进行目标检测，得到目标检测框；
[0045]S103：对目标检测框内的图像进行特征提取；
[0046]S104：对目标检测框进行状态预测和轨迹生成；
[0047]S105：基于特征提取结果、状态预测结果和轨迹生成结果，确定关联成本；
[0048]S106：将关联成本大于设定阈值的轨迹和目标检测框，进行匹配得到初步匹配结果；将未匹配的轨迹和未匹配的目标检测框，再次进行匹配；最后确定跟踪结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多目标行人跟踪方法，其特征是，包括：获取待处理视频；对待处理视频第一帧的多个目标行人进行标注；对待处理视频的非首帧进行目标检测，得到目标检测框；对目标检测框内的图像进行特征提取；对目标检测框进行状态预测和轨迹生成；基于特征提取结果、状态预测结果和轨迹生成结果，确定关联成本；将关联成本大于设定阈值的轨迹和目标检测框，进行匹配得到初步匹配结果；将未匹配的轨迹和未匹配的目标检测框，再次进行匹配；最后确定跟踪结果，完成多目标行人的跟踪任务。2.如权利要求1所述的多目标行人跟踪方法，其特征是，对待处理视频的非首帧进行目标检测，得到目标检测框；是采用训练后的Yolov5s目标检测网络来进行目标检测；Yolov5s目标检测网络，包括：依次连接的用于特征提取的CSPNet网络和用于特征融合的PANET网络。3.如权利要求1所述的多目标行人跟踪方法，其特征是，对目标检测框内的图像进行特征提取；具体包括：采用训练后的特征提取网络ShuffleNet V2，对目标检测框内的图像进行特征提取；所述ShuffleNetV2网络是由Stage1
‑
Stage7依次连接组成；Stage1由卷积核大小为3*3步距为2的卷积层和步距为2的最大池化层组成；Stage2由一层下采样和三层Block层组成；Stage3由一层下采样和七层Block层组成；Stage4由一层下采样和三层Block层组成；Stage5由卷积核大小为1*1的卷积层组成；Stage6由全局池化层组成；Stage7由全连接层组成；Block层引入Channel Split运算，在Block层接收到来自上一层的输出后，c个通道的输入被划分成两个分支，分别有c
′
和c
‑
c
′
个通道；其中一个分支为恒等函数，另一个分支由三个卷积组成：两个1*1卷积和一个逐通道卷积；两分支最后经Concat拼接，从而保证通道数量保持不变，最后进行Channel Shuffle操作保证两分支间能进行信息交流；下采样层是对Block层进行了修改，删除了Channel Split运算，由一条经逐通道卷积层、1*1卷积层的分支与另一条经1*1卷积层、逐通道卷积层、1*1卷积层的分支Concat拼接后进行Channel Shuffle组成的。4.如权利要求1所述的多目标行人跟踪方法，其特征是，对目标检测框进行状态预测和轨迹生成；具体包括：采用卡尔曼滤波算法，对目标检测框进行状态预测；结合卡尔曼滤波算法的结果，对目标检测框进行轨迹生成；采用卡尔曼滤波算法，对目标检测框进行状态预测；具体包括：定义八维的状态空间其中(u,v)为BoundingBox的中心坐标，γ为纵横比，h为BoundingBox的高，为图像坐标中相应的速度；把BoundingBox坐标作为物体状态的直接测量，使用卡尔曼滤波器完成目标的状态估计；卡尔曼滤波器的输入值：每个轨迹的均值和方差；卡尔曼滤波器的输出值：返回给定状态估计的投影平均值和协方差矩阵；
结合卡尔曼滤波算法的结果，对目标检测框进行轨迹生成；具体包括：统计每个轨迹距离上次匹配成功的帧数a
k

【专利技术属性】
技术研发人员：刘海英，郑太恒，邓立霞，孙凤乾，王超平，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：