一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法技术

本发明专利技术提供的方法主要有两个发明专利技术点，一是研究基于特征匹配的目标匹配跟踪算法，采用多种具有互补性质的表观特征建立匹配模型，并将多种特征的匹配结果进行决策级的融合；二是提出一种无监督的拓扑估计算法，使系统能够在匹配与跟踪的过程中自动建立监控网络的时空拓扑关系，同时利用时空拓扑约束极大地提高了匹配与跟踪的准确度。本发明专利技术对跨摄像机目标匹配中由于遮挡、环境、光照等变化带来的干扰具有较强的鲁棒性，有利于实现多摄像机视频监控系统对目标的鲁棒协同跟踪。

【技术实现步骤摘要】
一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法
本专利技术涉及图像跟踪领域，更具体地，涉及一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法。
技术介绍
随着人们对公共安全问题的日益关注，以及国家对建设平安城市、智慧城市的规划部署，视频监控作为一种有效的安防策略，已经在社会各个方面得到了广泛的应用。其中目标跟踪作为关键技术成为了计算机视觉领域的研究热点。传统的视频监控方法需要由人工对采集的视频图像序列进行处理和分析，而人工监控处理方式需要耗费大量时间以及精力，同时由于监控范围和规模的扩大，人工监控处理的方式很难做到全天候的实时操作。因此人们希望能借助计算机视觉技术，实现对监控录像数据智能化地分析以及实时处理，完成预先设定的任务，比如自动进行目标检测、识别和跟踪，并在此基础上对目标行为进行分析。当场景中出现某些异常情况时可以及时反馈到监控中心，以便工作人员进一步的处理工作，从而实现利用目标跟踪技术代替视频监控人员，自动对目标的行为进行分析和理解。因此，视频跟踪方面的研究具有重要的现实意义。目标跟踪技术可分为单摄像机内的目标跟踪和跨摄像机的目标跟踪。单摄像机内的目标跟踪技术研究相对较为成熟，但仅基于单摄像机的监控视域覆盖范围有限，很难实现对感兴趣目标持续地跟踪。在目前的视频监控环境下，监控范围随着摄像机数量的增加不断扩大，有效的智能视频监控必须解决多摄像机的协同跟踪问题，以实现目标跟踪的持续性并克服单摄像跟踪存在的盲点问题。跨摄像机的目标匹配的方法一般可以分为两类，一是研究目标的特征表示方法，提取更具鲁棒性、视角不变性的鉴别特征对行人进行表示，例如提取颜色直方图特征、人体对称性特征等等。二是利用距离度量学习方法，通过学习一个有判别性的距离度量函数，将行人图像特征转化到新的度量空间上，使得匹配行人图像之间的距离小于不匹配图像之间的距离，例如Mahalanobis距离度量等等。然而，由于在监控网络中各个摄像机的视角变化、光照影响等，使得不同摄像机下的行人特征匹配难度非常大。现有方法大多只考虑了行人目标的外观表示，并没有很好地利用摄像机网络之间的拓扑信息。摄像机网络的拓扑结构信息往往体现了目标运动和转移的规律，若能建立起摄像机网络的时间、空间拓扑关系，利用目标运动的拓扑约束就可以极大地提高目标跟踪与匹配算法的性能和效率。
技术实现思路
本专利技术为解决以上现有技术的难题，提供了一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法，该方法能够在匹配与跟踪的过程中自动建立监控网络的时空拓扑关系，同时利用时空拓扑约束极大地提高了匹配与跟踪的准确度。为实现以上专利技术目的，采用的技术方案是：一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法，包括以下步骤：S1.将两两摄像机之间的转移概率初始化为M为监控网络中摄像机的数量；时间窗口设置为TW＝τ，τ为预设值，两两摄像机间的转移计数器初始化为0；S2.设当前摄像机为Ci，摄像机Ci内的行人目标表示为Oi,a；在设定的时间窗口内搜索其他摄像机中出现的行人目标；S3.设在摄像机Cj中搜索得到的行人目标为Oj,b，i≠j,1≤j≤M，计算行人目标Oi,a、Oj,b之间的匹配概率：为表示Oi,a、Oj,b之间转移关系的变量，当Oi,a、Oj,b之间存在转移关系时，取1，否则取0；表示目标Oi,a、Oj,b存在转移关系的后验概率，对应了目标Oi,a、Oj,b的匹配概率；表示在转移关系的条件下目标Oi,a、Oj,b的表观特征分布似然函数，定义为与目标表观相似度函数L(Oi,a,Oj,b)成正比，表示两个目标存在转移关系的先验概率，通过计算摄像机Ci到摄像机Cj的目标转移概率得到；Pi,j(Oi,a,Oj,b)表示目标Oi,a,Oj,b的联合概率分布，是后验概率的归一化因子；S4.对监控网络中除摄像机Ci外的所有摄像机执行步骤S2、S3，然后对得到的各个摄像机的行人目标与摄像机Ci的行人目标的匹配概率进行排序，将匹配概率最高的前m个行人目标作为候选匹配目标，对应的摄像机作为候选匹配摄像机，m的取值为1或2：其中，s1为最高的匹配概率，s2为次高的匹配概率，sτ为设定的阈值；S5.计算摄像机之间的转移次数wp：sp表示最高的匹配概率或次高的匹配概率，1≤p≤m；当m＝1时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1；当m＝2时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1，然后将摄像机Ci到摄像机Ck之间的转移计数Nik增加w2；其中摄像机Cg、摄像机Ck分别为与Ci匹配概率最高、次高的摄像机；S6.将各个摄像机作为当前摄像机然后执行步骤S2～S5；S7.计算摄像机Ci到摄像机Cj之间的转移概率：S8.根据步骤S7计算两两摄像机之间的转移概率；S9.记录摄像机Ci到摄像机Cj所有匹配的行人目标之间的时间间隔，构成时间序列Tij，然后利用自适应的Parzen窗算法估计出摄像机Ci与摄像机Cj之间的转移时间分布的概率密度曲线，取与曲线峰值对应的时间差值作为时间窗口大小T(Cj|Ci)的估计值；S10.根据步骤S9估算出两两摄像机之间的时间窗口大小；S11.更新摄像机Ci、摄像机Cj之间的转移概率：Pij(k)＝(1-α)Pij(k-1)+αP(Cj|Ci)Pij(k)表示第k次迭代得到的摄像机Ci到摄像机Cj的转移概率，α是更新因子，0≤α≤1，Pij(k-1)表示第k-1次迭代得到的摄像机Ci到摄像机Cj的转移概率，当k＝1时，S12.根据步骤S11对两两摄像机之间的转移概率进行更新；S13.更新摄像机Ci与摄像机Cj之间的时间窗口：Tij(k)＝(1-η)Tij(k-1)+ηT(Cj|Ci)其中Tij(k)表示第k次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，Tij(k-1)表示第k-1次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，当k＝1时，Tij(k-1)＝τ，η表示更新因子；S14.判断是否达到了设定的迭代次数，若是则输出转移概率以及时间窗口估计值，完成拓扑结构估计，结束迭代，否则令k＝k+1然后执行步骤S6～S14。优选地，步骤S3通过求取目标Oi,a、Oj,b所有图像对的平均表观相似度来表示目标Oi,a、Oj,b最终的表观相似度，即E[g]为期望函数。其中目标Oi,a、Oj,b每对图像对的表观相似度的求取过程如下：S101.设d＝mn是目标Oi,a的图像IA中以像素x为中心的一个局部小块所展开的像素向量；设V1,V2,...,VK是一系列Walsh-Hardmard变换基，其中d＝mn表示一个由大小为m×n的Walsh-Hardmard变换矩阵所展开的向量；令表示X在第i个变换基上的投影值，则X的概率密度函数可由下式计算：则像素点x的显著值由下式计算：S102.通过对图像IA中的每个像素执行步骤S101可得到目标Oi,a的图像IA的显著图，然后对显著图进行阈值化处理，将显著值低于阈值的像素的显著值置为0，最后计算该阈值下的HSV颜色直方图特征：其中，k＝1,2,...,K，K表示直方图的bin数，m表示颜色通道，Cm(z)表示像素z对应的第m个通道像素值在直方图中的量化值，S(z)为像素z经过阈值化处理后的显著值,δ(g)为指示函数，S103.利用不同的阈值依本文档来自技高网...

【技术保护点】
一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法，其特征在于：包括以下步骤：S1.将两两摄像机之间的转移概率初始化为

【技术特征摘要】
1.一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法，其特征在于：包括以下步骤：S1.将两两摄像机之间的转移概率初始化为M为监控网络中摄像机的数量；时间窗口设置为TW＝τ，τ为预设值，两两摄像机间的转移计数器初始化为0；S2.设当前摄像机为Ci，摄像机Ci内的行人目标表示为Oi,a；在设定的时间窗口内搜索其他摄像机中出现的行人目标；S3.设在摄像机Cj中搜索得到的行人目标为Oj,b，i≠j,1≤j≤M，计算行人目标Oi,a、Oj,b之间的匹配概率：为表示Oi,a、Oj,b之间转移关系的变量，当Oi,a、Oj,b之间存在转移关系时，取1，否则取0；表示目标Oi,a、Oj,b存在转移关系的后验概率，对应了目标Oi,a、Oj,b的匹配概率；表示在转移关系的条件下目标Oi,a、Oj,b的表观特征分布似然函数，定义为与目标表观相似度函数L(Oi,a,Oj,b)成正比，表示两个目标存在转移关系的先验概率，通过计算摄像机Ci到摄像机Cj的目标转移概率得到；Pi,j(Oi,a,Oj,b)表示目标Oi,a,Oj,b的联合概率分布，是后验概率的归一化因子；S4.对监控网络中除摄像机Ci外的所有摄像机执行步骤S2、S3，然后对得到的各个摄像机的行人目标与摄像机Ci的行人目标的匹配概率进行排序，将匹配概率最高的前m个行人目标作为候选匹配目标，对应的摄像机作为候选匹配摄像机，m的取值为1或2：其中，s1为最高的匹配概率，s2为次高的匹配概率，sτ为设定的阈值；S5.计算摄像机之间的转移次数wp：sp表示最高的匹配概率或次高的匹配概率，1≤p≤m；当m＝1时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1；当m＝2时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1，然后将摄像机Ci到摄像机Ck之间的转移计数Nik增加w2；其中摄像机Cg、摄像机Ck分别为与Ci匹配概率最高、次高的摄像机；S6.将各个摄像机作为当前摄像机然后执行步骤S2～S5；S7.计算摄像机Ci到摄像机Cj之间的转移概率：S8.根据步骤S7计算两两摄像机之间的转移概率；S9.记录摄像机Ci到摄像机Cj所有匹配的行人目标之间的时间间隔，构成时间序列Tij，然后利用自适应的Parzen窗算法估计出摄像机Ci与摄像机Cj之间的转移时间分布的概率密度曲线，取与曲线峰值对应的时间差值作为时间窗口大小T(Cj|Ci)的估计值；S10.根据步骤S9估算出两两摄像机之间的时间窗口大小；S11.更新摄像机Ci、摄像机Cj之间的转移概率：Pij(k)＝(1-α)Pij(k-1)+αP(Cj|Ci)Pij(k)表示第k次迭代得到的摄像机Ci到摄像机Cj的转移概率，α是更新因子，0≤α≤1，Pij(k-1)表示第k-1次迭代得到的摄像机Ci到摄像机Cj的转移概率，当k＝1时，S12.根据步骤S11对两两摄像机之间的转移概率进行更新；S13.更新摄像机Ci与摄像机Cj之间的时间窗口：Tij(k)＝(1-η)Tij(k-1)+ηT(Cj|Ci)其中Tij(k)表示第k次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，Tij(k-1)表示第k-1次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，当k＝1时，Tij(k-1)＝τ，η表示更新因子；S14.判断是否达到了设定的迭代次数，若是则输出转移概率以及时间窗口估计值，完成拓扑结构估计，结束迭代，否则令k＝k+1然后执行步骤S6～S14。2.根据权利要求1所述的结合时空拓扑估计的跨摄像机目标匹配与跟踪方法，其特征在于：步骤S3通过求取目标Oi,a、Oj,b所有图像对的平均表观相似度来表示目标Oi,a、Oj,b最终的表观相似度，即E[g]为期望函数。其中目标Oi,a、O...

【专利技术属性】
技术研发人员：郑慧诚，林大钧，许丹丹，林梓健，柯博，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44