一种目标关联视频追踪处理方法和装置制造方法及图纸

本公开提供了一种目标关联视频追踪处理方法和装置，以多区域设置的不同监控摄像头采集多组视频，通过计算视频图像帧序列中目标的图像和时间、地点特征，从而实现实时监测有行动关联性合作行动的概率值的功能。计算标注为同一目标的概率偏差距D，并获取其空间连接性C，根据D和C对比集合T中各目标的移动时间和移动路线，计算出集合T中各目标之间有行动关联性的概率值。相比现有的目标追踪技术，有如下优点：（1）充分利用了视频监测目标的时间地点特征，进行目标追踪；（2）有效监测目标之间行动关联性概率，实现概率阈值监控；（3）达到有针对性大幅度视频压缩的效果。性大幅度视频压缩的效果。性大幅度视频压缩的效果。

【技术实现步骤摘要】
一种目标关联视频追踪处理方法和装置


[0001]本公开涉及目标追踪
，具体涉及一种目标关联视频追踪处理方法和装置。

技术介绍

[0002]计算机视觉算法是目前广泛有效的目标识别技术，在公共场合的目标识别和目标追踪有广泛的应用，但单纯使用计算机视觉算法不足以进行公共场所的目标关联视频追踪。在已有的目标关联视频追踪方法技术中，绝大多数方法仅仅着眼于视频中目标的识别，大程度忽略了对目标的地点和时间的特征计算，难以计算目标移动的行动趋势。

技术实现思路

[0003]本公开提供一种目标关联视频追踪处理方法和装置，以多区域设置的不同监控摄像头采集多组视频，通过计算视频图像帧序列中目标的图像和时间、地点特征，从而实现实时监测有行动关联性合作行动的概率值的功能。
[0004]为了实现上述目的，根据本公开的一方面，提供一种目标关联视频追踪处理方法和装置，所述方法包括以下步骤：
[0005]步骤1，通过多个区域设置的不同位置的监控摄像头采集多个视频，通过目标检测算法对各个视频进行目标检测得到的多个目标作为集合T；
[0006]步骤2，将每一段视频处理为标记有采集时间地点的图像帧序列S；
[0007]步骤3，通过计算不同图像帧序列S的各个目标的时间地点特征，求出标注为同一目标的概率偏差距D；
[0008]步骤4，根据计算所得同一目标在当前采集地点l
i
到下一采集地点定位l
i+1
的特征值，来获取其空间连接性C；
[0009]步骤5，以同一目标的移动时间和移动路线，根据D和C对比集合T中各目标的移动时间和移动路线，计算出集合T中各目标之间有行动关联性的概率值。
[0010]进一步地，在步骤1中，通过多个区域设置的不同位置的监控摄像头采集多个视频，通过目标检测算法对各个视频进行目标检测得到的多个目标作为集合T的方法为：在多个区域的公共场所或人行道放置多个不同位置的摄像头，全天候采集行人视频信息，提取视频段V的视频帧P＝{P
t
,
…
,P
t
‑
n
}(t为视频段V的总帧数，n为(0,t)的正整数)，利用Spatial
‑
Temporal Graph Transformer即简称为STGT算法(参考文献为：Chu P,Wang J,You Q,et al.Spatial
‑
Temporal Graph Transformer for Multiple Object Tracking[J].2021.)或利用SiamFC++算法(参考文献为：Xu Y,Wang Z,Li Z,et al.SiamFC++:Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines[J].2019.)，对视频帧P进行筛选预处理，输出多个目标目标作为集合T以及含有检测目标的视频帧集P`。
[0011]进一步地，在步骤2中，将每一段视频处理为标记有采集时间地点的图像帧序列S：
用记录摄像头采集时间和采集地点，标注视频帧集P`中各图像帧记录的采集时间和采集地点，由此将每一视频帧集处理为标记有采集时间地点的图像帧序列S，序列S中每个数据项s由图像帧、其对应的采集时间、其对应的采集地点组成。
[0012]进一步地，在步骤2中，还包括以下步骤：将图像帧序列S，通过各摄像头的无线网络连接输送到服务器后端数据库进行数据长期存储，或者直接在服务器上储存S的实时数据集。
[0013]进一步地，在步骤3中，通过计算不同图像帧序列S的各个目标的时间地点特征，求出标注为同一目标的概率偏差距D，具体为：
[0014]步骤3.1，取序列S中每个数据项s中的图像帧，将其图像帧转化为512
×
512的图像帧数组f,令f(m,n)为数组f的第m行第n列取值(m，n皆为小于等于512的正整数)；
[0015]步骤3.2，令n序列S的长度，设数据项s的序号i取值范围属于[1，n]，则S中第i个数据项s
i
中的图像帧的图像帧矩阵为f
i
，该第i个数据项中对应的读取时间取年、月、日、时、分、秒为一个6维数组表示为d
i
,该第i个数据项中对应的读取位置定位取经度o
i
、纬度a
i
为一个2维数组表示为l
i
＝[o
i
,a
i
]，则有S中第i个数据项s
i
数学表示为s
i
＝[f
i
，d
i
，l
i
]；
[0016]步骤3.3，设函数K(f,d,l)以提取数据项s的特征值k
i
，，其中R(d,l)为d
i
,l
i
的处理过程，令d(m,n),l(m,n)为数组d
i
,l
i
的第m行第n列取值，具体计算为R(d,l)＝[exp(d(1,1)*l(1,1))+exp(d(1,1)*l(1,2)]+[exp(d(1,2)*l(1,1))+exp(d(1,2)*l(1,2)]+[exp(d(1,3)*l(1,1))+exp(d(1,3)*l(1,2)]+[exp(d(1,4)*l(1,1))+exp(d(1,4)*l(1,2)]+[exp(d(1,5)*l(1,1))+exp(d(1,5)*l(1,2)]+[exp(d(1,6)*l(1,1))+exp(d(1,6)*l(1,2)]，即s
i
＝[f
i
，d
i
，l
i
]通过函数K(s
i
)＝K(f
i
，d
i
，l
i
)可以得到k
i
＝K(s
i
)，则有序列S可表示为K(S)＝{k1,k2,
…
,k
i
‑1,k
i
}；
[0017]步骤3.4，设集合T中不同目标a和b,将对应含有a和b的任意两个视频处理为标记有采集时间地点的图像帧序列S
a
和S
b
，计算两段不同序列S
a
和S
b
的概率偏差距，判断两段视频中的目标的概率偏差距D
a
‑
b
，具体计算为：K(S
a
)＝{k
a,1
,k
a,2
,
…
,k
a,i
‑1,k
a,i
},K(S
b
)＝{k
b,1
,k
b,2
,
…
,k
b,i...

【技术保护点】

【技术特征摘要】
1.一种视频目标跟踪路线标注方法和装置，其特征在于，所述方法包括以下步骤：步骤1，通过多个区域设置的不同位置的监控摄像头采集多个视频，通过目标检测算法对各个视频进行目标检测得到的多个目标作为集合T；步骤2，将每一段视频处理为标记有采集时间地点的图像帧序列S；步骤3，通过计算不同图像帧序列S的各个目标的时间地点特征，求出标注为同一目标的概率偏差距D；步骤4，根据计算所得同一目标在当前采集地点l
i
到下一采集地点定位l
i+1
的特征值，来获取其空间连接性C；步骤5，以同一目标的移动时间和移动路线，根据D和C对比集合T中各目标的移动时间和移动路线，计算出集合T中各目标之间有行动关联性的概率值。2.根据权利要求1所述的一种目标关联视频追踪处理方法和装置，其特征在于，在步骤1中，通过多个区域设置的不同位置的监控摄像头采集多个视频，通过目标检测算法对各个视频进行目标检测得到的多个目标作为集合T的方法为：在多个区域的公共场所或人行道放置多个不同位置的摄像头，全天候采集行人视频信息，提取视频段V的视频帧P＝{P
t
,
…
,P
t
‑
n
}(t为视频段V的总帧数，n为(0,t)的正整数)，利用Spatial
‑
Temporal Graph Transformer即简称为STGT算法(参考文献为：Chu P,Wang J,You Q,et al.Spatial
‑
Temporal Graph Transformer for Multiple Object Tracking[J].2021.)或利用SiamFC++算法(参考文献为：Xu Y,Wang Z,Li Z,et al.SiamFC++:Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines[J].2019.)，对视频帧P进行筛选预处理，输出多个目标目标作为集合T以及含有检测目标的视频帧集P`。3.根据权利要求1所述的一种目标关联视频追踪处理方法和装置，其特征在于，在步骤2中，将每一段视频处理为标记有采集时间地点的图像帧序列S：用记录摄像头采集时间和采集地点，标注视频帧集P`中各图像帧记录的采集时间和采集地点，由此将每一视频帧集处理为标记有采集时间地点的图像帧序列S，序列S中每个数据项s由图像帧、其对应的采集时间、其对应的采集地点组成。4.根据权利要求1所述的一种目标关联视频追踪处理方法和装置，其特征在于，在步骤2中，还包括以下步骤：将图像帧序列S，通过各摄像头的无线网络连接输送到服务器后端数据库进行数据长期存储，或者直接在服务器上储存S的实时数据集。5.根据权利要求1所述的一种目标关联视频追踪处理方法和装置，其特征在于，在步骤3中，通过计算不同图像帧序列S的各个目标的时间地点特征，求出标注为同一目标的概率偏差距D，具体为：步骤3.1，取序列S中每个数据项s中的图像帧，将其图像帧转化为512
×
512的图像帧数组f,令f(m,n)为数组f的第m行第n列取值(m，n皆为小于等于512的正整数)；步骤3.2，令n序列S的长度，设数据项s的序号i取值范围属于[1，n]，则S中第i个数据项s
i
中的图像帧的图像帧矩阵为f
i
，该第i个数据项中对应的读取时间取年、月、日、时、分、秒为一个6维数组表示为d
i
,该第i个数据项中对应的读取位置定位取经度o
i
、纬度a
i
为一个2维数组表示为l
i
＝[o
i
,a
i
]，则有S中第i个数据项s
i
数学表示为s
i
＝[f
i
，d
i
，l
i
]；步骤3.3，设函数K(f,d,l)以提取数据项s的特征值k
i
，
其中R(d,l)为d
i
,l
i
的处理过程，令d(m,n),l(m,n)为数组d
i
,l
i
的第m行第n列取值，具体计算为R(d,l)＝[exp(d(1,1)*l(1,1))+exp(d(1,1)*l(1,2)]+[exp(d(1,2)*l(1,1))+exp(d(1,2)*l(1,2)]+[exp(d(1,3)*l(1,1))+exp...

【专利技术属性】
技术研发人员：秦军瑞，吴劲，李启文，段志奎，邝伟锋，许剑锋，邓锐，李洋，
申请(专利权)人：广州智慧城市发展研究院，
类型：发明
国别省市：