一种行人追踪方法、设备和存储介质技术

本发明专利技术公开一种行人追踪方法、设备和存储介质，属于通信技术领域。该方法包括：对预设监控摄像头采集的视频画面进行行人轨迹分析，生成行人轨迹图片集；对所述行人轨迹图片集进行多模态特征提取，并形成行人多模态数据库；将所述行人多模态数据库输入到训练好的多模态识别系统中，进行行人追踪，生成行人在预设监控摄像头中的移动轨迹。控摄像头中的移动轨迹。控摄像头中的移动轨迹。

【技术实现步骤摘要】
一种行人追踪方法、设备和存储介质


[0001]本专利技术涉及通信
，尤其涉及一种行人追踪方法、设备和存储介质。

技术介绍

[0002]如今，视频监控已经遍布在我们生活的各个角落中，并且人脸识别技术已经非常成熟。然而，在实际的安防应用场景中，并非所有的摄像头都能够拍摄到清晰的人脸，由于头发、口罩和帽子等遮挡，很难通过人脸识别系统判定行人身份。不仅如此，在实际的应用场景中，一个摄像头往往无法覆盖所有的区域，而且多个摄像头之间一般也没有重叠，因此跨镜追踪检索系统对人员进行锁定和查找显得十分必要。
[0003]目前，跨镜追踪技术在产业界和学术界都受到广泛关注，并取得显著进展，从政策方面看，公安部推出平安城市的概念，并且发布了多项预研课题，相关的行业标准也在紧锣密鼓的制定当中。跨镜追踪检索系统使用最多的就是行人重识别。在该领域，大多研究者一般采用基于行人图片特征来定位和检索行人的方案，这样对行人特征的鲁棒性提出了很高的要求，但是真实的场景往往都是非常复杂，比如无正脸照、姿态变换、服装变换、遮挡、光线、摄像头分辨率较低和室内外环境变化等，这些因素通常会导致行人检索与追踪的失败。

技术实现思路

[0004]本专利技术实施例的主要目的在于提出一种行人追踪方法、设备和存储介质，旨在通过多模态的方式，利用多种模态特征融合成一个综合属性特征，这样各种特征中优势和劣势会形成互补，对跨镜追踪系统会有更好的效果，具有较高的应用价值。
[0005]为实现上述目的，本专利技术实施例提供了一种行人追踪方法，所述方法包括以下步骤：
[0006]对预设监控摄像头采集的视频画面进行行人轨迹分析，生成行人轨迹图片集；
[0007]对所述行人轨迹图片集进行多模态特征提取，并形成行人多模态数据库；
[0008]将所述行人多模态数据库输入到训练好的多模态识别系统中，进行行人追踪，生成行人在预设监控摄像头中的移动轨迹。
[0009]为实现上述目的，本专利技术提供了一种行人追踪的设备，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行，以实现前述方法的步骤。
[0010]为实现上述目的，本专利技术提供了一种计算机可读存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
[0011]本专利技术提出的一种行人追踪方法、设备和存储介质，其结合多目标跟踪、行人重识别、行人属性、人脸识别及摄像机拓扑时空约束等多模态智能分析方法的跨镜行人追踪检索系统。通过对各个模态权重参数的调整，最终得到一个针对特定监控区域行人的最优综合评价特征，可以极大的提升跨镜行人追踪的准确率，使得拥有更优的跨镜行人检索体验。
附图说明
[0012]图1是本专利技术实施例一提供的一种行人追踪方法的流程图。
[0013]图2是本专利技术实施例提供的一种行人追踪系统流程图。
[0014]图3是本专利技术实施例提供的一种行人追踪系统结构框图。
具体实施方式
[0015]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0016]在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
[0017]本专利技术提出了一种基于多模态的跨镜追踪检索系统，以多目标行人追踪为基础，结合行人重识别网络、行人质量分析、行人属性分析、人脸识别和摄像头的时间和空间位置信息，来进一步提高跨镜追踪检索的准确率和速度。
[0018]实施例一
[0019]如图1所示，本实施例提供了一种行人追踪方法，该方法包括以下步骤：
[0020]步骤S110：对预设监控摄像头采集的视频画面进行行人轨迹分析，生成行人轨迹图片集；
[0021]步骤S120：对所述行人轨迹图片集进行多模态特征提取，并形成行人多模态数据库；
[0022]步骤S130：将所述行人多模态数据库输入到训练好的多模态识别系统中，进行行人追踪，生成行人在预设监控摄像头中的移动轨迹。
[0023]本专利技术实施例还包括：接收目标行人轨迹，提取所述目标行人的多模态特征，并在所述行人多模态数据库中查找与所述目标行人的多模态特征匹配的第一行人轨迹；将所述目标行人轨迹和所述第一行人轨迹合并生成第二行人轨迹，在所述行人多模态数据库中查询与所述第二行人轨迹匹配的行人轨迹；根据与所述第二行人轨迹匹配的行人轨迹，生成所述目标行人在预设监控摄像头中的移动轨迹。
[0024]本专利技术实施例还包括从所述行人轨迹图片集选取质量参数在预设范围内的图像，并对所述选取的质量参数在预设范围内的图像进行特征提取。
[0025]其中，根据训练集对所述多模态识别系统中各模态参数的影响因子进行调整，得到所述训练好的多模态识别系统。
[0026]具体地说，所述行人轨迹图片集中的图片名称包括：轨迹ID、视频帧号、所述图片拍摄时间、地点信息。
[0027]其中，所述生成行人在预设监控摄像头中的移动轨迹包括：根据所述监控摄像机分布拓扑的图结构进行行人的移动规律分析。
[0028]具体的，将监控摄像头的时空拓扑关系与目标的外观表现模型匹配算法进行结合,使用监控摄像头拓扑的图结构分析行人移动和转移的规律，从而对行人的跨镜追踪进行时空约束。如果跟踪目标在某个节点(摄像头)处消失，则在其相邻几步可达的节点处进行目标检测，再进行匹配与关联。
[0029]更进一步地，空间关系定义了节点之间是否建立边，以及边的方向。图模型的建立
过程中，如果两个节点之间在物理空间位置上一步可达，即不经过其他任何节点，则为它们之间建立一条边。
[0030]在实际应用系统中，采用统计学习方法为目标的运动建立时间约束，从而定义节点之间合理的权值。想要获取一组摄像头节点数据的统计规律往往比较困难，这是由许多因素决定的：包括目标的运动规律、摄像机的地理位置、监控周边交通环境变化等。本实施例中，对所有观测时间进行聚类并计算每个类内的方差；根据摄像头相对坐标及路线情况初始化权重，根据行人重识别比对情况进行修正。
[0031]考虑到行人无法同时出现在多个摄像头以及从一个摄像头移动到另一个摄像头需要考虑其时间统计规律，可以利用该时空约束显著减少待查询的样本量，减少了查询时间并提高了检索性能。
[0032]结合摄像头的空间经纬坐标及可行走路线的空间约束，可以估计出摄像头节点间的连接关系及初始移动时间。后续结合行人重识别的间隔时间进行不断的修正，可以获得摄像头网络拓扑的边权值。
[0033]后续查询时，首先根据待查询轨迹确定以此节点为中心的摄像机网络拓扑中的临近节点，再结合边权值限定临近节点中查询数据的时间范围。在每个临近节点的对应时间范围内进行轨迹匹配。
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人追踪方法，其特征在于，所述方法包括以下步骤：对预设监控摄像头采集的视频画面进行行人轨迹分析，生成行人轨迹图片集；对所述行人轨迹图片集进行多模态特征提取，并形成行人多模态数据库；将所述行人多模态数据库输入到训练好的多模态识别系统中，进行行人追踪，生成行人在预设监控摄像头中的移动轨迹。2.根据权利要求1所述的方法，其特征在于，还包括：接收目标行人轨迹，提取所述目标行人的多模态特征，并在所述行人多模态数据库中查找与所述目标行人的多模态特征匹配的第一行人轨迹；将所述目标行人轨迹和所述第一行人轨迹合并生成第二行人轨迹，在所述行人多模态数据库中查询与所述第二行人轨迹匹配的行人轨迹；根据与所述第二行人轨迹匹配的行人轨迹，生成所述目标行人在预设监控摄像头中的移动轨迹。3.根据权利要求1所述的方法，其特征在于，还包括从所述行人轨迹图片集选取质量参数在预设范围内的图像，并对所述选取的质量参数在预设范围内的图像进行特征提取。4.根据权利要求1所述的方法，其特征在于，根据训练集对所述多模态识别系统中各模态参数的影响因子进行调整，得到所述训练好的多模态识别系统。5.根据权利要求1所述的方法，其特征在于，所述行人轨迹图片集中的图片名称包括：轨迹I...

【专利技术属性】
技术研发人员：窦笑，申光，侯春华，李东方，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：