本发明专利技术涉及一种球员跟踪与持球人识别方法、装置及存储介质，其中方法包括：相机标定；获取视频帧；基于多目标追踪模型和人体骨骼关键点检测模型进行球员检测；基于双脚关键点标记在场球员；获取视频帧首帧中的球员信息；建立跟踪队列和卡尔曼滤波器；建立跟踪对象位置信息的匀速变化模型；保存匀速变化模型、球员信息至跟踪队列；获取视频帧最新一帧中的球员信息，作为待匹配目标；确定代价矩阵；基于匈牙利算法对代价矩阵进行匹配；基于匹配结果更新跟踪队列实现在场球员的跟踪；基于球手距离与篮球半径的比值得分确定持球人候选人；基于比值的平均值确定持球人。与现有技术相比，本发明专利技术具有检测快速、追踪稳定等优点。追踪稳定等优点。追踪稳定等优点。
【技术实现步骤摘要】
一种球员跟踪与持球人识别方法、装置及存储介质
[0001]本专利技术涉及计算机视觉领域，尤其是涉及一种基于多目标追踪算法的球员跟踪与持球人识别方法、装置及存储介质。
技术介绍
[0002]随着全民运动的不断发展，篮球也成为最受欢迎的运动之一。越来越多的人投入到篮球运动中，并且想要录制并留下自己的投篮高光时刻。但是，如果仅依靠人力对视频进行剪辑，不仅耗费时间长，还容易遗漏高光时刻，因此，利用算法对篮球场上的运动员进行识别和跟踪，为高光视频的自动化剪辑提供跟踪基础具有非常广阔的应用前景。
[0003]目前视频处理中主流的持球人的检测方法依赖于对球员的动作识别。CN112001324A公开了一种篮球比赛视频的球员动作识别方法，基于球员的检测框和最后一层特征图的特征向量，输入到关系提取网络中得到特征矩阵；基于线性前馈运算网络降维，根据降维后的特征矩阵进行球员动作的识别。该方法虽然通过特征提取和降维实现了球员的动作识别，一定程度上提高了识别速度，但是在运动员部分被遮挡时会出现效果不理想的情况，导致检测精度下降，并且需要对视频中的每一帧都进行球员识别追踪和相应球员的动作识别检测，不仅会耗费大量的时间，还对设备的计算能力有很高的要求。
技术实现思路
[0004]本专利技术的目的就是为了提供一种基于多目标追踪算法的球员跟踪与持球人识别方法，可以提高检测效率，并稳定地识别球场上的持球人。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于多目标追踪算法的球员跟踪与持球人识别方法，包括以下步骤：
[0007]对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；
[0008]获取相机拍摄的视频帧；
[0009]对视频帧基于多目标追踪模型和人体骨骼关键点检测模型进行球员检测，得到球员信息，其中，所述球员信息包括球员ID、球员图像特征向量、球员检测框、球员人体骨骼关键点位姿估计矩阵；
[0010]确定球员人体骨骼关键点位姿估计矩阵中的双脚关键点的图像坐标，其中，所述图像坐标为相机视角下的球场坐标系中的坐标；
[0011]基于相机外参参数将双脚关键点的图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系下的三维坐标；
[0012]基于双脚关键点在真实坐标系下的三维坐标判断是否球员在目标场地内，若是，则将当前双脚关键点对应的球员标记为在场球员，否则，标记为非在场球员并过滤；
[0013]获取视频帧首帧中的在场球员的球员信息；
[0014]基于视频帧首帧中的在场球员的球员信息建立跟踪队列和卡尔曼滤波器，并进行
初始化，其中，所述跟踪队列中设有多个跟踪器，一个跟踪器对应一个球员信息；
[0015]基于卡尔曼滤波器建立跟踪对象位置信息的匀速变化模型，所述跟踪对象为在场球员，跟踪对象位置信息为在场球员的球员信息中检测框的大小和所处位置；
[0016]保存跟踪对象的匀速变化模型、球员信息至跟踪队列；
[0017]获取视频帧最新一帧中的在场球员的球员信息，作为待匹配目标；
[0018]基于球员信息确定待匹配目标与跟踪队列中保存的跟踪对象的代价矩阵；
[0019]基于匈牙利算法对代价矩阵进行匹配；
[0020]判断是否匹配成功，若匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若匹配失败，则进行IOU匹配；
[0021]判断IOU匹配是否匹配成功，若IOU匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若IOU匹配失败，判断是待匹配目标匹配失败还是跟踪对象匹配失败，
[0022]若是跟踪对象匹配失败，则判断执行时间是否超过预配置的时间阈值，若超过，则删除跟踪对象，否则，保留跟踪对象并进行下一次基于匈牙利算法的匹配判断；
[0023]若是待匹配目标匹配失败，则判断置信度是否大于第一置信度阈值，若是，则将匹配失败的待匹配目标作为新的跟踪对象加入跟踪队列，若否，删除待匹配目标，其中，所述置信度基于跟踪对象位置信息与卡尔曼滤波器预测的位置信息差异值确定，差异值越大，置信度越低；
[0024]实时更新跟踪队列实现在场球员的跟踪；
[0025]基于篮球场事件确定时间窗口，获取所述时间窗口内的视频帧；
[0026]确定当前帧球员人体骨骼关键点位姿估计矩阵中手部关键点和篮球检测框中心的球手距离，所述篮球检测框基于篮球检测模型得到；
[0027]计算球手距离与篮球半径的比值；
[0028]判断球手距离与篮球半径的比值是否小于预配置的距离阈值，若小于，则计一次得分，否则不得分；
[0029]遍历当前时间窗口内的所有视频帧，对每个球员的得分进行累加，确定每个球员的总得分，并基于总得分确定持球人候选人；
[0030]计算当前时间窗口内持球人候选人球手距离与篮球半径的比值的平均值，将所述平均值最小的持球人候选人标记为持球人。
[0031]所述相机内参参数包括畸变系数、内参矩阵；所述相机外参参数包括旋转向量、位移向量、投影矩阵、单应变化矩阵。
[0032]所述球员人体骨骼关键点共计18个。
[0033]所述球员人体骨骼关键点中的双脚关键点位于左脚和右脚的前脚掌，手部关键点位于左手和右手的手腕。
[0034]所述代价矩阵基于待匹配目标和跟踪对象的人体骨骼关键点位姿估计矩阵中的人体骨骼关键点相对位置变化值和图像特征向量差异值加权平均得到。
[0035]所述代价矩阵中置信度低于第二置信度阈值的匹配项代价值被设为无穷大。
[0036]所述更新跟踪器中的球员信息包括基于迭代的方式更新球员图像特征向量，所述更新球员图像特征向量的更新规则为：更新后的球员图像特征向量＝0.9*跟踪队列中保存的球员图像特征向量+0.1*最新一帧中的球员图像特征向量。
[0037]所述更新跟踪器中的球员信息包括更新球员ID，所述更新球员ID为延续跟踪对象的球员ID，丢弃待匹配目标的球员ID。
[0038]一种基于多目标追踪算法的球员跟踪与持球人识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0039]一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0040]与现有技术相比，本专利技术具有以下有益效果：
[0041](1)本专利技术利用篮球半径与手球距离的比值，实现了球场上持球人的识别，，提升了识别效果，无需对每一帧视频帧进行识别，简化了识别的复杂度，缩短了检测视频所用时间，提高了检测速度和检测效率。
[0042](2)本专利技术利用双目视觉，解决了在单目相机中因为遮挡而产生的追踪不稳定的问题，提高了跟踪的持续性。
附图说明
[0043]图1为本专利技术的方法流程图。
具体实施方式
[0044]下面结合附图和具体实施例对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多目标追踪算法的球员跟踪与持球人识别方法，其特征在于，包括以下步骤：对相机的内参和外参进行标定，得到相机内参参数和相机外参参数，其中，所述相机外参参数基于真实坐标系和相机视角下的球场坐标系标定得到；获取相机拍摄的视频帧；对视频帧基于多目标追踪模型和人体骨骼关键点检测模型进行球员检测，得到球员信息，其中，所述球员信息包括球员ID、球员图像特征向量、球员检测框、球员人体骨骼关键点位姿估计矩阵；确定球员人体骨骼关键点位姿估计矩阵中的双脚关键点的图像坐标，其中，所述图像坐标为相机视角下的球场坐标系中的坐标；基于相机外参参数将双脚关键点的图像坐标转换到真实坐标系中，确定双脚关键点在真实坐标系下的三维坐标；基于双脚关键点在真实坐标系下的三维坐标判断是否球员在目标场地内，若是，则将当前双脚关键点对应的球员标记为在场球员，否则，标记为非在场球员并过滤；获取视频帧首帧中的在场球员的球员信息；基于视频帧首帧中的在场球员的球员信息建立跟踪队列和卡尔曼滤波器，并进行初始化，其中，所述跟踪队列中设有多个跟踪器，一个跟踪器对应一个球员信息；基于卡尔曼滤波器建立跟踪对象位置信息的匀速变化模型，所述跟踪对象为在场球员，跟踪对象位置信息为在场球员的球员信息中检测框的大小和所处位置；保存跟踪对象的匀速变化模型、球员信息至跟踪队列；获取视频帧最新一帧中的在场球员的球员信息，作为待匹配目标；基于球员信息确定待匹配目标与跟踪队列中保存的跟踪对象的代价矩阵；基于匈牙利算法对代价矩阵进行匹配；判断是否匹配成功，若匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若匹配失败，则进行IOU匹配；判断IOU匹配是否匹配成功，若IOU匹配成功，更新跟踪器中的球员信息和卡尔曼滤波器的参数，若IOU匹配失败，判断是待匹配目标匹配失败还是跟踪对象匹配失败，若是跟踪对象匹配失败，则判断执行时间是否超过预配置的时间阈值，若超过，则删除跟踪对象，否则，保留跟踪对象并进行下一次基于匈牙利算法的匹配判断；若是待匹配目标匹配失败，则判断置信度是否大于第一置信度阈值，若是，则将匹配失败的待匹配目标作为新的跟踪对象加入跟踪队列，若否，删除待匹配目标，其中，所述置信度基于跟踪对象位置信息与卡尔曼滤波器预测的位置信息差异值确定，差异值越大，置信度越低；实时更新跟踪队列实现在场球员的跟踪；基于篮球场事件确定时间窗口，获取所述时间窗口内的视频帧；确定当前帧球员人体骨骼关键点位姿估计矩阵中手部关键点和篮球检测框中心的球手距...
【专利技术属性】
技术研发人员：董延超，李昀，周昕，
申请(专利权)人：同济大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。