对运动物体进行轨迹跟踪的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了对运动物体进行轨迹跟踪的方法、装置、设备及存储介质，选取视频流中相邻或相近的图片帧A和图片帧B；将图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；将图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；在物体目标框bdbox_A上叠加光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；计算预测位置bdbox_B’所包含的物体目标框与物体目标框bdbox_B的交并比；将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。本发明专利技术提高了跟踪效果的稳定性和准确性。

【技术实现步骤摘要】
对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
本专利技术涉及计算机视觉领域，特别涉及对运动物体进行轨迹跟踪的方法、装置、设备及存储介质。
技术介绍
目标跟踪技术为计算机视觉研究领域中的研究热点之一，目标跟踪技术在诸如智能监控、军事侦察、机器人视觉导航、三维重建等领域具有广泛的研究及应用前景。目标的不定向运动改变了目标和场景的外观模式，非刚性目标结构、目标间及目标与场景间的遮挡、摄像机的运动等情况使目标跟踪任务变得更加困难。跟踪可简单地定义为估计物体围绕一个场景运动时在图像平面中的轨迹，即一个跟踪系统给同一个视频中不同帧的跟踪目标分配一致的标签。随着高性能计算机的增多，物美价廉摄影机的普及，对自动视频分析与日俱增的需求引起人们对目标跟踪技术的浓厚兴趣。以智能监控应用场景为例，良好的目标跟踪技术可提供更为可靠的物体数量，物体流量及物体密度等信息，同时也能为更高级的计算机视觉算法在实际场景中的应用提供准确的目标框。传统的目标跟踪技术通常会根据图像帧中的纹理，颜色信息以及这些具有一定组织规律的信息在帧间的像素运动信息来进行目标跟踪检测。但现有技术的跟踪效果在稳定性和准确性等方面还有待提高。
技术实现思路
本专利技术的目的是提供对运动物体进行轨迹跟踪的方法、装置、设备及存储介质，旨在解决现有目标跟踪技术在稳定性和准确性方面有待提高的问题。第一方面，本专利技术实施例提供一种对运动物体进行轨迹跟踪的方法，其中，包括；选取视频流中相邻或相近的图片帧A和图片帧B；将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。优选的，所述交并比为IoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的IoU：其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域。优选的，所述交并比为GIoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的GIoU：其中，其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域，C表示可包围所述物体目标框bdbox_A和所述物体目标框bdbox_B的最小方框。优选的，所述在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’，包括：获取所述物体目标框bdbox_A上的所有子目标框；将所有子目标框均叠加所述光流场矩阵，得到对应的叠加光流场矩阵的多个子目标框；将叠加光流场矩阵的多个子目标框作为图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’。优选的，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：获取所述物体目标框bdbox_B上的所有子目标框；将所述预测位置bdbox_B’包含的所有子目标框与所述物体目标框bdbox_B上的所有子目标框进行两两之间的配对，并计算所有配对的两个子目标框的交并比；当计算出的交并比大于预设阈值时，则判定两个子目标框中的物体为同一物体。优选的，所述目标检测模型为Yolo目标检测模型、SSD目标检测模型、Mask-RCNN目标检测模型、Fast-RCNN目标检测模型或Faster-RCNN目标检测模型。优选的，所述光流模型为Farneback光流模型或金字塔LK光流模型。第二方面，本专利技术实施例提供一种对运动物体进行轨迹跟踪的装置，其中，包括：选取单元，用于选取视频流中相邻或相近的图片帧A和图片帧B；光流场矩阵计算单元，用于将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；目标检测单元，用于将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；预测单元，用于在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；相似度计算单元，用于计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；轨迹追踪单元，用于将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。第三方面，本专利技术实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如第一方面所述的对运动物体进行轨迹跟踪的方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的对运动物体进行轨迹跟踪的方法。本专利技术实施例提供了对运动物体进行轨迹跟踪的方法、装置、设备及存储介质，选取视频流中相邻或相近的图片帧A和图片帧B；将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。本专利技术实施例的方法通过光流计算、物体目标检测推理、交并比计算及阀值判定来完成视频中物体跟踪，提高了跟踪效果的稳定性和准确性。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使本文档来自技高网...

【技术保护点】
1.一种对运动物体进行轨迹跟踪的方法，其特征在于，包括；/n选取视频流中相邻或相近的图片帧A和图片帧B；/n将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；/n将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；/n在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；/n计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；/n将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。/n

【技术特征摘要】
1.一种对运动物体进行轨迹跟踪的方法，其特征在于，包括；
选取视频流中相邻或相近的图片帧A和图片帧B；
将所述图片帧A和图片帧B输入光流模型中，获得图片帧A到图片帧B上的光流场矩阵；
将所述图片帧A和图片帧B分别输入至目标检测模型中，推理得到图片帧A中的物体目标框bdbox_A和图片帧B中的物体目标框bdbox_B；
在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’；
计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比；
将所述交并比与预设阀值进行比较，根据比较结果判定所述物体目标框bdbox_A和物体目标框bdbox_B是否为同一目标，若是则实现轨迹追踪。


2.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述交并比为IoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的IoU：



其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域。


3.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述交并比为GIoU，所述计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的交并比，包括：
采用如下公式计算所述预测位置bdbox_B’所包含的物体目标框与所述物体目标框bdbox_B的GIoU：

其中，
其中，A表示物体目标框bdbox_A的覆盖区域，B表示物体目标框bdbox_B的覆盖区域，C表示可包围所述物体目标框bdbox_A和所述物体目标框bdbox_B的最小方框。


4.根据权利要求1所述的对运动物体进行轨迹跟踪的方法，其特征在于，所述在所述物体目标框bdbox_A上叠加所述光流场矩阵，得到图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’，包括：
获取所述物体目标框bdbox_A上的所有子目标框；
将所有子目标框均叠加所述光流场矩阵，得到对应的叠加光流场矩阵的多个子目标框；
将叠加光流场矩阵的多个子目标框作为图片帧A中物体目标框bdbox_A在图片帧B上的预测位置bdbox_B’...

【专利技术属性】
技术研发人员：宋开银，叶春雨，刘显标，
申请(专利权)人：深研人工智能技术深圳有限公司，
类型：发明
国别省市：广东;44