一种行人跟踪方法及系统技术方案

本发明专利技术公开了一种行人跟踪方法及系统，包括：基于待跟踪的目标人物的图像，提取所述目标人物的关键部件；将各个关键部件的原始图像传递给目标跟踪模型，使所述目标跟踪模型对各个关键部件的辅助生物特征进行学习；使用所述目标跟踪模型进行目标跟踪，得到所述目标人物在图像中的坐标。本发明专利技术在深度学习技术的基础上，创新性地利用目标人物的关键部件作为辅助生物特征实现了对目标人物进行实时跟踪的功能，解决了因摄像机遮挡等情况造成的无法跟踪的问题。的问题。的问题。

【技术实现步骤摘要】
一种行人跟踪方法及系统


[0001]本专利技术属于目标检测及跟踪领域，具体涉及一种行人跟踪方法及系统。

技术介绍

[0002]行人跟踪算法是一个重要的研究领域和应用方向，该算法是利用一个视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标位置的一种技术。随着社会的发展和实际应用的需求，行人跟踪技术在智能视频监控系统、智能人机交互、智能交通和刑侦等领域得到了广泛应用。
[0003]常用的行人跟踪技术主要包括基于生成式模型的跟踪算法、基于判别模型的方法和基于深度学习的方法。其中，生成式模型主要依靠传统的特征提取方法(LK光流法)对目标进行建模，通过在图像中搜索与目标模型最匹配的区域作为跟踪结果；判别式模型则将跟踪问题看做分类或回归问题，将目标从背景中分离出来，从而实现对目标的跟踪。但这两种方法在实际环境中的复杂背景下效果并不理想。随着深度学习技术的发展，基于深度学习的目标跟踪方法由于其强大的表征能力而成为目标跟踪算法的主流。
[0004]传统的基于深度学习的行人目标跟踪技术主要依靠人脸、虹膜等主生物特征对目标进行描述。但是在实际中，由于摄像机视角的限制造成遮挡、数据质量降低、伪造等现象，导致基于面部、虹膜等单一生物特征的目标跟踪系统难以实现，从而不能满足实际应用的需求。

技术实现思路

[0005]为克服相关技术中存在的问题，本专利技术提供一种行人跟踪方法及系统。
[0006]根据本专利技术实施例的第一方面，提供一种行人跟踪方法，包括：r/>[0007]基于待跟踪的目标人物的图像，提取所述目标人物的关键部件；
[0008]将各个关键部件的原始图像传递给目标跟踪模型，使所述目标跟踪模型对各个关键部件的辅助生物特征进行学习；
[0009]使用所述目标跟踪模型进行目标跟踪，得到所述目标人物在图像中的坐标。
[0010]进一步，基于待跟踪的目标人物的图像，提取所述目标人物的关键部件，具体包括：
[0011]提取目标人物图像中的人体关键点；
[0012]对所述人体关键点进行二分图优化，将各个人体关键点分别划分到对应于人体不同关键部件的集合中；
[0013]根据各个集合中人体关键点的坐标提取各个关键部件。
[0014]进一步，所述待跟踪的目标人物的图像的获取过程，包括：
[0015]使用目标检测算法对视频流进行推理分析，对当前视频区域内的所有人物进行检测，得到每一个人物的位置信息；
[0016]根据所述位置信息将人物图像发送到人脸识别算法中进行识别，所述人脸识别算
法将每一个人物图像的人脸信息与需要识别的目标人物的人脸信息进行对比，从当前视频区域中找到目标人物。
[0017]进一步，所述目标检测算法采用改进的SSD算法，具体是将SSD的底层特征conv4_3经过多个串联的空洞卷积，然后将得到的特征图送入到non_local网络中，得到增强之后的conv4_3特征，记作(conv4_3+)，将conv_fc7的特征经过反卷积进行上采样，和(conv4_3+)在通道维度上进行拼接，在经过1*1的卷积，得到最终的增强之后的conv4_3特征，记作(conv4_3++)，将(conv4_3++)作为最终的底层特征进行目标检测。
[0018]进一步，该方法还包括：
[0019]将目标人物在图像中的坐标转换为相机坐标并发送给摄像头云台，控制所述摄像头云台根据转换得到的所述相机坐标进行转动，使得目标人物始终在摄像头的拍摄区域内，实现对目标人物的实时跟踪。
[0020]根据本专利技术实施例的第二方面，提供一种基于多模态生物特征的行人跟踪系统，包括：
[0021]姿态估计模块，用于基于待跟踪的目标人物的图像，提取所述目标人物的关键部件；
[0022]目标跟踪模块，用于将各个关键部件的原始图像传递给目标跟踪模型，使所述目标跟踪模型对各个关键部件的辅助生物特征进行学习；还用于使用所述目标跟踪模型进行目标跟踪，得到所述目标人物在图像中的坐标。
[0023]进一步，所述姿态估计模块，具体包括：
[0024]姿态估计单元，用于提取目标人物图像中的人体关键点；
[0025]二分图优化单元，用于对所述人体关键点进行二分图优化，将各个人体关键点分别划分到对应于人体不同关键部件的集合中；
[0026]关键部件提取单元，用于根据各个集合中人体关键点的坐标提取各个关键部件。
[0027]进一步，该系统还包括：
[0028]目标检测模块，用于使用目标检测算法对视频流进行推理分析，对当前视频区域内的所有人物进行检测，得到每一个人物的位置信息；
[0029]人脸识别模块，用于根据所述位置信息将人物图像发送到人脸识别算法中进行识别，所述人脸识别算法将每一个人物图像的人脸信息与需要识别的目标人物的人脸信息进行对比，从当前视频区域中找到目标人物。
[0030]进一步，该系统还包括：
[0031]云台联动模块，用于将目标人物在图像中的坐标转换为相机坐标并发送给摄像头云台，控制所述摄像头云台根据转换得到的所述相机坐标进行转动，使得目标人物始终在摄像头的拍摄区域内，实现对目标人物的实时跟踪。
[0032]根据本专利技术实施例的第三方面，提供一种终端设备，包括：
[0033]处理器；以及
[0034]存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
[0035]本专利技术的实施例提供的技术方案可以包括以下有益效果：
[0036]本专利技术在深度学习技术的基础上，创新性地利用目标人物的关键部件作为辅助生
物特征实现了对目标人物进行实时跟踪的功能，解决了因摄像机遮挡等情况造成的无法跟踪的问题。
[0037]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0038]通过结合附图对本专利技术示例性实施方式进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本专利技术示例性实施方式中，相同的参考标号通常代表相同部件。
[0039]图1为本专利技术实施例提供的一种行人跟踪系统的整体架构图；
[0040]图2为本专利技术实施例提供的行人检测模型原理示意图；
[0041]图3为本专利技术实施例提供的行人识别流程图；
[0042]图4为本专利技术实施例提供的行人跟踪流程图；
[0043]图5为本专利技术实施例提供的人体姿态估计模型原理示意图图；
[0044]图6为本专利技术实施例提供的基于Transformer的多模态生物特征目标跟踪模型原理示意图；
[0045]图7为本专利技术实施例提供的摄像头云台联动模型原理示意图。
具体实施方式
[0046]下面将参照附图更详细地描述本专利技术的优选实施方式。虽然附图中显示了本专利技术的优选实施方式，然而应该理解，可以以各种形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人跟踪方法，其特征在于，包括：基于待跟踪的目标人物的图像，提取所述目标人物的关键部件；将各个关键部件的原始图像传递给目标跟踪模型，使所述目标跟踪模型对各个关键部件的辅助生物特征进行学习；使用所述目标跟踪模型进行目标跟踪，得到所述目标人物在图像中的坐标。2.根据权利要求1所述的方法，其特征在于，基于待跟踪的目标人物的图像，提取所述目标人物的关键部件，具体包括：提取目标人物图像中的人体关键点；对所述人体关键点进行二分图优化，将各个人体关键点分别划分到对应于人体不同关键部件的集合中；根据各个集合中人体关键点的坐标提取各个关键部件。3.根据权利要求1所述的方法，其特征在于，所述待跟踪的目标人物的图像的获取过程，包括：使用目标检测算法对视频流进行推理分析，对当前视频区域内的所有人物进行检测，得到每一个人物的位置信息；根据所述位置信息将人物图像发送到人脸识别算法中进行识别，所述人脸识别算法将每一个人物图像的人脸信息与需要识别的目标人物的人脸信息进行对比，从当前视频区域中找到目标人物。4.根据权利要求3所述的方法，其特征在于，所述目标检测算法采用改进的SSD算法，具体是将SSD的底层特征conv4_3经过多个串联的空洞卷积，然后将得到的特征图送入到non_local网络中，得到增强之后的conv4_3特征，记作(conv4_3+)，将conv_fc7的特征经过反卷积进行上采样，和(conv4_3+)在通道维度上进行拼接，在经过1*1的卷积，得到最终的增强之后的conv4_3特征，记作(conv4_3++)，将(conv4_3++)作为最终的底层特征进行目标检测。5.根据权利要求1所述的方法，其特征在于，还包括：将目标人物在图像中的坐标转换为相机坐标并发送给摄像头云台，控制所述摄像头云台根据转换得...

【专利技术属性】
技术研发人员：朱晓宁，员娇娇，李忠义，
申请(专利权)人：精英数智科技股份有限公司，
类型：发明
国别省市：