流动目标实时统计方法及装置制造方法及图纸

本发明专利技术提供了一种流动目标实时统计方法及装置，该方法包括：获取监控区域的监控视频；根据端到端的多目标跟踪模型，对监控视频的图像帧进行流动目标跟踪；该端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；统计经过预设统计位置的流动目标的数量。本发明专利技术实施例采用端到端的多目标跟踪模型对欲统计目标进行跟踪，利用监控视频对目标跟踪器进行无标签的有监督训练，提高了对任意种类目标进行统计的可行性，以及兼顾跟踪速度和精度；复用监控视频，无需额外视频采集终端，在成本和维护等方面有很大的优势。

【技术实现步骤摘要】
流动目标实时统计方法及装置
本专利技术涉及智能监控
，具体而言，涉及一种流动目标实时统计方法及装置。
技术介绍
随着经济社会的发展和工业技术的进步，针对各类流动目标的实时统计，呈现越来越明显的刚性需求。流动目标实时统计，能够为各类场景的资源分配、运维管理和人员服务等方面，提供及时准确且有效的数据支撑。例如，商场实时人流统计：通过实时人流统计数据分析，可以及时调整各类资源分配，保障体系的高效运转，以及优化店铺管理，找出最适合店铺的经营模式；还可以根据客户逛店路径分析热点区域，调整主打产品陈列。流动目标实时统计，有利于从宏观到细节的各类优化，达到利益最大化，有很迫切的实际需求和很重要的现实意义。现有流动目标实时统计方式常采用基于多目标跟踪(MultipleObjectTracking，MOT)的目标统计，其无法兼顾速度和精度，且针对不同场景需要分别进行数据标注及训练，而目标跟踪的数据标注工作繁重导致成本较高。
技术实现思路
本专利技术解决的是现有流动目标实时统计方式的速度和精度无法兼顾、成本较高的问题。为解决上述问题，本专利技术提供一种流动目标实时统计方法，所述方法包括：获取监控区域的监控视频；根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪；所述端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；统计经过预设统计位置的所述流动目标的数量。可选地，所述根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪，包括：对所述监控视频的第二图像帧进行目标检测，得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息；所述第二图像帧为与所述第一图像帧相邻的下一帧；通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹。可选地，所述通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹，包括：根据所述第二图像帧中第一目标在所述第一图像帧中的位置信息，确定所述第一图像帧中与所述位置信息最接近且未被关联的第二目标，以及将所述第一目标与所述第二目标关联；若在所述第一图像帧中不存在未被关联的第二目标，则为所述第二图像帧中第一目标新建轨迹；所述第二目标与所述第一目标的距离小于距离超参数。可选地，所述端到端的多目标跟踪模型的目标函数如下：其中，f表示目标函数，F表示假设空间，xi表示输入的训练样例，R表示正则项，g表示领域相关的约束函数，具体如下：g(x)＝||(A(ATA)-1AT-I)*f(x)||1+γ1*h1(x)+γ2*h2(x)h1(x)＝-std(f(x))h2(x)＝max(ReLU(f(x)-10))+max(ReLU(0-f(x)))其中，A表示关于时间差Δt的矩阵，T表示A的转置矩阵，I表示单位矩阵，γ1、γ2表示权值超参数，h1、h2表示正则项。可选地，所述端到端的多目标跟踪模型设置有预测所述第二图像帧中目标在所述第一图像帧中的位置信息的损失函数，所述损失函数采用最小均方法确定。可选地，所述端到端的多目标跟踪模型包括深度神经网络，所述深度神经网络增加了多个输入通道以及输出通道；所述输入通道包括所述第一图像帧及所述第一图像帧的目标的位置信息；所述输出通道包括所述第二图像帧的目标在所述第一图像帧中的位置信息。可选地，所述统计经过预设统计位置的所述流动目标的数量，包括：所述预设统计位置设置有进线及出线；所述进线与所述出线间隔相对设置；若所述流动目标经过所述进线且经过所述出线，则将所述流动目标的数量加一。可选地，所述统计经过预设统计位置的所述流动目标的数量，包括：在所述预设统计位置对应的统计区域一侧的所述流动目标的状态为第一状态，在所述统计区域另一侧的所述流动目标的状态为第二状态；若所述流动目标的状态由所述第一状态变更为所述第二状态，或由所述第二状态变更为所述第一状态，则将对应计数器的数量加一。本专利技术提供一种流动目标实时统计装置，所述装置包括：获取模块，用于获取监控区域的监控视频；跟踪模块，用于根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪；所述端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；计数模块，用于统计经过预设统计位置的所述流动目标的数量。可选地，所述跟踪模块，具体用于：对所述监控视频的第二图像帧进行目标检测，得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息；所述第二图像帧为与所述第一图像帧相邻的下一帧；通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹。本专利技术提供的流动目标实时统计方法及装置，采用端到端的多目标跟踪模型对欲统计目标进行跟踪，利用监控视频对目标跟踪器进行无标签的有监督训练，提高了对任意种类目标进行统计的可行性，以及兼顾跟踪速度和精度；复用监控视频，无需额外视频采集终端，在成本和维护等方面有很大的优势。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术的一个实施例中一种流动目标实时统计方法的示意性流程图；图2为本专利技术的一个实施例中流动目标统计示意图；图3为本专利技术的一个实施例中端到端的多目标跟踪模型的结构示意图；图4为本专利技术的一个实施例中一种流动目标实时统计装置的结构示意图。附图标记说明：401-获取模块；402-跟踪模块；403-计数模块。具体实施方式为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。现有部分高效的MOT方法，使用卡尔曼滤波和匈牙利算法，直接基于目标的运动特征进行关联匹配，会出现很频繁的标识交换(IDswitch)，准确度较低。为解决上述问题，后继的一些算法常结合运动特征和外观特征进行关联匹配，可以在很大程度上提高跟踪的准确度，但其引入了计算密集的重识别(Re-Identification，ReID)模型来提取嵌入特征(Embedding)，同时也增加了关联匹配的复杂度，导致此方法效率很低，很难满足实时性要求。其次，对于特殊或复杂的场景，上述方法可用性严重降低。现有的目标跟踪公开数据集，都只对一些常见的物体例如人体进行标注。但实际应用场景中(例如煤矿)则需要对多种类目标(例如运煤车、矿车等)进行跟踪因此需要针对不同应用场景进行数据标注。而目标跟踪的数据标注工作是十分繁重的，针对每个应用场景都进行数据标注是本文档来自技高网...

【技术保护点】
1.一种流动目标实时统计方法，其特征在于，所述方法包括：/n获取监控区域的监控视频；/n根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪；所述端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；/n统计经过预设统计位置的所述流动目标的数量。/n

【技术特征摘要】
1.一种流动目标实时统计方法，其特征在于，所述方法包括：
获取监控区域的监控视频；
根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪；所述端到端的多目标跟踪模型基于无标签的有监督训练方法，采用领域知识作为训练时的监督信息训练得到；
统计经过预设统计位置的所述流动目标的数量。


2.根据权利要求1所述方法，其特征在于，所述根据端到端的多目标跟踪模型，对所述监控视频的图像帧进行流动目标跟踪，包括：
对所述监控视频的第二图像帧进行目标检测，得到所述第二图像帧中目标的检测结果以及所述第二图像帧中目标在第一图像帧中的位置信息；所述第二图像帧为与所述第一图像帧相邻的下一帧；
通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹。


3.根据权利要求2所述方法，其特征在于，所述通过贪婪算法将所述第二图像帧中目标关联至所述第一图像帧中的目标，或为所述第二图像帧中目标新建轨迹，包括：
根据所述第二图像帧中第一目标在所述第一图像帧中的位置信息，确定所述第一图像帧中与所述位置信息最接近且未被关联的第二目标，以及将所述第一目标与所述第二目标关联；
若在所述第一图像帧中不存在未被关联的第二目标，则为所述第二图像帧中第一目标新建轨迹；
所述第二目标与所述第一目标的距离小于距离超参数。


4.根据权利要求1所述方法，其特征在于，所述端到端的多目标跟踪模型的目标函数如下：



其中，f表示目标函数，F表示假设空间，xi表示输入的训练样例，R表示正则项，g表示领域相关的约束函数，具体如下：
g(x)＝||(A(ATA)-1AT-I)*f(x)||1+γ1*h1(x)+γ2*h2(x)
h1(x)＝-std(f(x))
h2(x)＝max(ReLU(f(x)-10))+max(ReLU(0-f(x)))
其中，A表示关于时间差Δt的矩阵，T表示A的转置矩阵，I表示单位矩阵，γ1、γ2表示权值超参数，h1、h2表示正则项。


5....

【专利技术属性】
技术研发人员：朱晓宁，贾艳南，李园园，
申请(专利权)人：精英数智科技股份有限公司，
类型：发明
国别省市：山西;14