一种基于重复检测优化的体育视频中多目标跟踪方法技术

本发明专利技术公开了一种基于重复检测优化的体育视频中多目标跟踪方法，包括如下步骤：S1，将某训练轮次的某帧图像输入到网络模型中，以获得初步的检测结果；S2，对检测结果的包围盒信息采用所述网络模型的自检测，以得到原检测损失；S3，再对检测结果的包围盒信息采用预设方法检测，以得到复检损失；S4，将复检损失和原检测损失合并为总检测损失，反向传播给所述网络模型进行权重优化，以获得新网络模型；S5，将所述图像再次输入到所述新网络模型中，得到无重复检测的检测结果，解决了现有多目标跟踪方法在体育视频中重复检测的问题，同时能够大幅减少现有多目标跟踪方法的模型在行人视频中的训练时长并保持跟踪质量，提升训练效率。提升训练效率。提升训练效率。

【技术实现步骤摘要】
一种基于重复检测优化的体育视频中多目标跟踪方法


[0001]本专利技术涉及视频监控
，具体而言，涉及一种基于重复检测优化的体育视频中多目标跟踪方法。

技术介绍

[0002]多目标跟踪问题可以定义为：给定一段由若干个连续帧构成的视频，从初始帧到结束帧，里面有多个目标，随机进出视野。我们的目的是针对每个目标，能跟踪它在不同帧的轨迹。最常见的应用是监控视频下行人的跟踪。
[0003]与一般的监控视频下行人跟踪相比，体育视频中的多目标跟踪问题则有一些特别之处，现有的多目标跟踪方法将会面临非常困难的挑战。运动员队服统一可认为是多个目标外观极度相似，则不同目标的视觉特征会有相似的分布，如图1虚线框中所示；这样会导致在某一帧中对某一个或多个目标出现重复检测问题，如图2圆圈所示。对体育视频中的多个目标进行跟踪，能够获得运动员的运动信息，对于比赛选手来说，能够有效辅助分析多名运动员竞技习惯，从而指定针对性方案；对于观众来说，能够多方位展示比赛动态及运动员技术统计等。
[0004]现有的多目标跟踪方法大多解决的问题是在监控视频中跟踪多名行人，在该场景下，目标数量虽然较多，但摄像机视角固定，目标外观具有一定差异性，并且目标移动速度较慢，多目标跟踪方法能够获得较好的跟踪效果。但其仍然具有一定的局限性，目前极少有专门针对体育视频进行多目标跟踪研究。对于前述体育视频中出现的挑战，现有的方法即使能够根据体育视频训练出模型，但其没有针对体育视频场景进行合理的算法设计，所以现有的多目标跟踪方法通常不能直接适用于体育视频场景。若直接使用则会出现以下问题：
[0005]重复检测，体育视频中运动员外观相似，在训练阶段模型有可能学习到多名运动员距离较近或重合的现象，若在推断阶段模型无法分辨某目标是否为近距或重合现象，则会出现重复检测问题，如图2圆圈中所示。
[0006]训练时间过长，在行人视频中进行多目标跟踪任务同样会出现非常隐蔽的重复检测问题，称其“隐蔽”是由于经过长时间的训练，模型能够学习到不同行人的细微差异从而自行消除该问题以达到最优；但该问题需要经过长时间的训练模型才能自行解决；
[0007]为此提出一种基于重复检测优化的体育视频中多目标跟踪方法。

技术实现思路

[0008]本专利技术旨在提供一种基于重复检测优化的体育视频中多目标跟踪方法，以解决或改善上述技术问题中的至少之一。
[0009]有鉴于此，本专利技术的第一方面在于提供一种基于重复检测优化的体育视频中多目标跟踪方法。
[0010]本专利技术的第一方面提供了一种基于重复检测优化的体育视频中多目标跟踪方法，
包括如下步骤：S1，将某训练轮次的某帧图像输入到网络模型中，以获得初步的检测结果；S2，对检测结果的包围盒信息采用所述网络模型的自检测，以得到原检测损失；S3，再对检测结果的包围盒信息采用预设方法检测，以得到复检损失；S4，将复检损失和原检测损失合并为总检测损失，反向传播给所述网络模型进行权重优化，以获得新网络模型；S5，将所述图像再次输入到所述新网络模型中，得到无重复检测的检测结果；其中，所述预设方法通过重复检测优化器对所述包围盒信息进行转化和计算，并设置检测下界以筛选出所述复检损失。
[0011]本专利技术提供的一种基于重复检测优化的体育视频中多目标跟踪方法，通过预设方法的重复检测优化器与现有应用的网络模型一同检测，有助于网络模型能够更好的适应体育视频中中运动员外观相似，而造成的多重检测问题，解决了现有多目标跟踪方法在体育视频中重复检测的问题；
[0012]同时，由于行人视频中同样会出现重复检测问题，但非常隐蔽，通过原检测损失和复检损失对网络模型的童工优化作用，且在单次的图像信息检测中实现，合并为一个总检测损失，能够加快网络模型的自优化，因此本专利技术能够大幅减少现有多目标跟踪方法的模型在行人视频中的训练时长并保持跟踪质量，提升训练效率。
[0013]另外，根据本专利技术的实施例提供的技术方案还可以具有如下附加技术特征：
[0014]上述任一技术方案中，所述包围盒信息通过将某一帧图片在网络模型中计算输出得到，具体为：B＝{b
i
|i＝1,
…
,N}；其中，所述b
i
为在图片中被检测到的单个包围盒，具体为式中所述和所述表示所述包围盒的左上角坐标，所述和所述表示所述包围盒的右下角坐标。
[0015]在该技术方案中，由于在体育视频中会出现多人同框的情况，因此在同一帧图片中会检测出多个不同点位的包围盒信息，每个包围盒信息对应一个活动的人，将多个包围盒集合成一个包围盒信息B，并采用公式记录，B＝{b
i
|i＝1,
…
,N}，其中，N为不小于1的整数；
[0016]对于单个包围盒b
i
，记录其框体上的两个角落，二者在包围盒b
i
呈对角关系，可选的为左上角和右下角，即为和对其进行准确的记录和信息转化，以便后续算法的处理。
[0017]上述任一技术方案中，所述预设方法包括：自泛化交并比损失函数和重复检测优化；其中，所述自泛化交并比损失函数输出的结果作为所述重复检测优化的输入条件，然后得出所述复检损失。
[0018]在该技术方案中，在预设方法的处理流程中，自泛化交并比损失函数率先接收到包围盒信息，并将其转化为可供自泛化交并比损失函数计算的数据，以便进行算法计算获得复检损失。
[0019]上述任一技术方案中，所述自泛化交并比损失函数为SGL，将所述B代入所述SGL中，得到自泛化交并比损失，具体为下述公式：
[0020]M＝SGL(B)＝1
–
GIoU(B,B)；其中，所述GIoU为泛化交并比。
[0021]在该技术方案中，GIoU(Generalized Intersection over Union)为泛化交并比，根据B通过自泛化交并比损失函数Self
‑
GIoU Loss(SGL)构造自泛化交并比损失矩阵M。
[0022]上述任一技术方案中，所述重复检测优化具体包括如下步骤：对所述GIOU中的元素采用下述公式计算：素采用下述公式计算：然后根据交并运算的交换律得到：M
ij
＝M
ji
；在重复检测优化器设置一个重复检测优化下界LB，将所述M中所有小于LB的值输出作为复检损失具体公式如下：具体公式如下：M
ij
<LB；其中，C为能够覆盖区域b
i
∪b
j
的最小矩形、\为作差、IoU为交并比、M
ij
为M中第i行第j列的元素、M为对称矩阵，且主对角线为0、∑
·
表示求和。
[0023]在该技术方案中，通过三步骤采用上述公式将所述自泛化交并比损失最终计算为复检损失，并且设置重复检测优化下界LB对组合复检损失的前置信息进行筛选，保证了输出信息符合预期，b
i
与b
j本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于重复检测优化的体育视频中多目标跟踪方法，其特征在于，包括如下步骤：S1，将某训练轮次的某帧图像输入到网络模型中，以获得初步的检测结果；S2，对检测结果的包围盒信息集合采用所述网络模型的自检测，以得到原检测损失；S3，再对检测结果的包围盒信息集合采用预设方法检测，以得到复检损失；S4，将复检损失和原检测损失合并为总检测损失，反向传播给所述网络模型进行权重优化，以获得新网络模型；S5，将所述图像再次输入到所述新网络模型中，得到无重复检测的检测结果；其中，所述预设方法通过重复检测优化器对所述包围盒信息进行转化和计算，并设置检测下界以筛选出所述复检损失。2.根据权利要求1所述的一种基于重复检测优化的体育视频中多目标跟踪方法，其特征在于，所述包围盒信息通过将某一帧图片在网络模型中计算输出得到，具体为：B＝{b
i
|i＝1,
…
,N}；其中，所述b
i
为在图片中被检测到的单个包围盒，具体为为在图片中被检测到的单个包围盒，具体为式中所述和所述表示所述包围盒的左上角坐标，所述和所述表示所述包围盒的右下角坐标，N表示当前帧中被检测到的包围盒的个数。3.根据权利要求2所述的一种基于重复检测优化的体育视频中多目标跟踪方法，其特征在于，所述预设方法包括：自泛化交并比损失函数和重复检测优化；其中，所述自泛化交并比损失函数输出的结果作为所述重复检测优化的输入条件，然后得出所述复检损失。4.根据权利要求3所述的一种基于重复检测优化的体育视频中多目标跟踪方法，其特征在于，所述自泛化交并比损失函数为SGL，将所述B代入所述SGL中，得到...

【专利技术属性】
技术研发人员：王蕴红，何睿，傅泽华，陈训逊，刘庆杰，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：