基于多目标跟踪的行人轨迹预测方法及系统技术方案

本发明专利技术公开了基于多目标跟踪的行人轨迹预测方法及系统，获取待跟踪视频，对视频第一帧的多个目标行人进行标注；将待跟踪视频，输入到训练后的多目标跟踪模型中，多目标跟踪模型输出多个目标行人在每一帧图像中的目标检测框，以及多个目标行人轨迹的跟踪结果；多目标跟踪模型的检测器对待跟踪视频的非首帧进行目标检测，得到可见光模态特征和红外光模态特征；对可见光模态特征和红外光模态特征进行加权融合，得到加权融合后的特征；对加权融合后的特征进行定位，得到目标人体的坐标框；跟踪器根据目标人体的坐标框的中心点位置，对目标行人进行位置预测；将预测的位置与目标人体的当前位置进行关联，得到目标人体的预测轨迹。迹。迹。

【技术实现步骤摘要】
基于多目标跟踪的行人轨迹预测方法及系统


[0001]本专利技术涉及计算机视觉
，特别是涉及基于多目标跟踪的行人轨迹预测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]随着居民生活水平的不断提高，大型公共场所的休闲娱乐型客流量逐渐增大，行人出行密度也日益增加，随之便会发生一系列拥挤事故，导致整个客流系统瘫痪，从而影响到居民生活水平和身心健康。对行人出行的运动轨迹进行预测，及时采取安全有效的预防管理措施，是目前预防此类事故发生的重要措施。为了对环境中的行人交通进行有效管理，发现事故发生的潜在风险区域，保障行人交通安全是当前交通管理工作者研究的重点。
[0004]智能视频源自计算机视觉技术，是在图像及图像描述之间建立关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容，达到自动分析和抽取视频源中关键信息的目的，也就是智能视频分析技术(IVS)。作为强化视频监控系统应用的一门主要技术，智能视频分析技术近几年一直得到业界的广泛关注，其通过对视频内容的分析，将客户所关注的目标从监控背景中分离出来，按照目标的移动方向、速度、时间等参数和某些行为特征进行关联，从而达到主动监控防御的目的。
[0005]近年来，随着大数据、云计算、人工智能等领域日新月异的发展及交互融合，智慧电商、智慧交通、智慧城市等概念越发受到关注。随着人们对更智能、更便捷、更高质量生活的向往，同时伴随着重大的学术价值和广阔的商业前景，众多高校、科研机构、政府部门均对相关产业投入了大量的人力、物力和财力。人工智能，被喻为新时代工业革命的引擎，正在悄然渗入到各行各业并改变着我们的生活方式。计算机视觉是人工智能领域的重要分支，旨在研宄如何让计算机像人类视觉系统一样智能地感知、分析、处理现实世界。以图像和视频为信息载体的各项计算机视觉算法，早己渗透到大众的日常生活中，如人脸识别、人机交互、商品检索、智能监控、视觉导航等。视频目标跟踪技术，作为计算机视觉领域中基础的、重要的研宄方向之一，一直是研宄人员的关注热点。
[0006]同时，行人轨迹预测对于交通出行也有重要的研究意义，针对多目标跟踪的行人轨迹预测可广泛应用于无人驾驶技术、互联网出行、视频监控、交通枢纽信息获取、人机交互等领域，可有效减少交通事故和拥挤事故的发生，对于交通事业的建设与发展有不可忽视的促进作用。
[0007]目前，现有的基于多目标跟踪的行人轨迹预测系统存在如下问题：
[0008]1、针对目标行人频繁被障碍物遮挡、多人重叠跟踪等现象，现有技术难以得到精确的预测轨迹，存在对预测结果产生的误差难以消除等困难。
[0009]2、行人轨迹具有运动不确定性和尺度不规则性，参与城市道路环境的复杂性和行人的密集性给轨迹预测技术提出了更高的要求，传统的跟踪与识别模式难以满足行人轨迹预测精准化、实时化与智能化的要求。
[0010]3、傍晚至清晨由于人员密度低、监管人员警惕性下降、环境光线不佳等原因的影响，成为了交通事故、安全意外、犯罪事件的高发阶段，传统的摄像机已经不能满足夜间的监控需求，安全隐患大，无法高效对行人自动识别和跟踪。

技术实现思路

[0011]为了解决现有技术的不足，本专利技术提供了基于多目标跟踪的行人轨迹预测方法及系统；解决了传统的摄像机已经不能满足夜间的监控需求，安全隐患大，无法高效对行人自动识别和跟踪的技术问题。
[0012]第一方面，本专利技术提供了基于多目标跟踪的行人轨迹预测方法；
[0013]基于多目标跟踪的行人轨迹预测方法，包括：
[0014]获取待跟踪视频，对视频第一帧的多个目标行人进行标注；所述待跟踪视频通过数字摄像机和红外线传感器获取的；
[0015]将待跟踪视频，输入到训练后的多目标跟踪模型中，多目标跟踪模型输出多个目标行人在每一帧图像中的目标检测框，以及多个目标行人轨迹的跟踪结果；
[0016]所述训练后的多目标跟踪模型，包括相互连接的检测器和跟踪器；
[0017]其中，检测器对待跟踪视频的非首帧进行目标检测，得到可见光模态特征和红外光模态特征；对可见光模态特征和红外光模态特征进行加权融合，得到加权融合后的特征；对加权融合后的特征进行定位，得到目标人体的坐标框；
[0018]跟踪器根据目标人体的坐标框的中心点位置，对目标行人进行位置预测；将预测的位置与目标人体的当前位置进行关联，得到目标人体的预测轨迹；对目标人体的预测轨迹进行修正，得到修正后的轨迹。
[0019]第二方面，本专利技术提供了基于多目标跟踪的行人轨迹预测系统；
[0020]基于多目标跟踪的行人轨迹预测系统，包括：
[0021]获取模块，其被配置为：获取待跟踪视频，对视频第一帧的多个目标行人进行标注；所述待跟踪视频通过数字摄像机和红外线传感器获取的；
[0022]跟踪模块，其被配置为：将待跟踪视频，输入到训练后的多目标跟踪模型中，多目标跟踪模型输出多个目标行人在每一帧图像中的目标检测框，以及多个目标行人轨迹的跟踪结果；
[0023]所述训练后的多目标跟踪模型，包括相互连接的检测器和跟踪器；
[0024]其中，检测器对待跟踪视频的非首帧进行目标检测，得到可见光模态特征和红外光模态特征；对可见光模态特征和红外光模态特征进行加权融合，得到加权融合后的特征；对加权融合后的特征进行定位，得到目标人体的坐标框；
[0025]跟踪器根据目标人体的坐标框的中心点位置，对目标行人进行位置预测；将预测的位置与目标人体的当前位置进行关联，得到目标人体的预测轨迹；对目标人体的预测轨迹进行修正，得到修正后的轨迹。
[0026]第三方面，本专利技术还提供了一种电子设备，包括：
[0027]存储器，用于非暂时性存储计算机可读指令；以及
[0028]处理器，用于运行所述计算机可读指令，
[0029]其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
[0030]第四方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
[0031]第五方面，本专利技术还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
[0032]与现有技术相比，本专利技术的有益效果是：
[0033]本公开的一种基于多目标跟踪的行人轨迹预测系统，安全监控需要对特定区域中的行人进行持续的检测和跟踪，以便及时发现行人的异常行为或场景中的安全隐患，广泛应用于日常生活的各个角落，智能监控通过对可疑行人的识别和跟踪，自动分析，提高效率的同时极大地减轻了人们的工作负担。
附图说明
[0034]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。...

【技术保护点】

【技术特征摘要】
1.基于多目标跟踪的行人轨迹预测方法，其特征是，包括：获取待跟踪视频，对视频第一帧的多个目标行人进行标注；所述待跟踪视频通过数字摄像机和红外线传感器获取的；将待跟踪视频，输入到训练后的多目标跟踪模型中，多目标跟踪模型输出多个目标行人在每一帧图像中的目标检测框，以及多个目标行人轨迹的跟踪结果；所述训练后的多目标跟踪模型，包括相互连接的检测器和跟踪器；其中，检测器对待跟踪视频的非首帧进行目标检测，得到可见光模态特征和红外光模态特征；对可见光模态特征和红外光模态特征进行加权融合，得到加权融合后的特征；对加权融合后的特征进行定位，得到目标人体的坐标框；跟踪器根据目标人体的坐标框的中心点位置，对目标行人进行位置预测；将预测的位置与目标人体的当前位置进行关联，得到目标人体的预测轨迹；对目标人体的预测轨迹进行修正，得到修正后的轨迹。2.如权利要求1所述的基于多目标跟踪的行人轨迹预测方法，其特征是，所述检测器，包括：用于特征提取的CAPsNet网络、用于特征融合的concat函数层和注意力模块；所述跟踪器，包括：依次连接的卡尔曼滤波算法模型、匈牙利算法模型和轨迹修正模型。3.如权利要求1所述的基于多目标跟踪的行人轨迹预测方法，其特征是，所述检测器对待跟踪视频的非首帧进行目标检测，得到可见光模态特征和红外光模态特征，具体包括：采用CAPsNet网络，对待跟踪视频的非首帧进行目标检测，得到可见光模态特征和红外光模态特征；所述对可见光模态特征和红外光模态特征进行加权融合，得到加权融合后的特征，具体包括：其中，Γ
i
表示加权融合后的特征值；f
cat
表示concat融合函数；A
i
表示可见光模态特征；B
i
表示红外光模态特征；W
v
表示经过Sigmoid激活函数处理过后的可见光模态特征；W
i
表示经过Sigmoid激活函数处理过后的红外光模态特征；W表示经过Sigmoid激活函数处理过后的可见光模态特征与红外光模态特征之和；表示可见光模态特征权重；表示红外光模态特征权重，f
nin
表示对可见光模态特征与红外光模态特征通过NIN网络层维度压缩。4.如权利要求1所述的基于多目标跟踪的行人轨迹预测方法，其特征是，所述得到加权融合后的特征之后，所述对加权融合后的特征进行定位之前，还包括：通过注意力模块CBAM的通道注意力机制模块和空间注意力机制模块对融合的特征进行优化，具体优化过程包括：利用通道注意力机制模块对融合后的特征进行处理；利用空间注意力机制模块对通道注意力机制模块输出值进行处理；其中，所述利用通道注意力机制模块对融合后的特征进行处理，具体包括：首先，将加权融合后的特征输入通道注意力机制模块；然后对整个特征进行最大池化和平均池化，用来挤压特征，获得通道之间的全局信息；再通过多层感知器获取每个通道的权重；最后进行加权运算输出通道注意力信息；
其中，所述利用空间注意力机制模块对通道注意力机制模块输出值进行处理，具体包括：对整个识别的图像信息特征依次进行最大池化和平均池化，然后将池化后的两张特征图在通道维度堆叠，并保留特征的关键信息，便可得到行人轨迹最重要的信息点，然后，使用卷积核融合通道信息，最后，将卷积后的结果经过Sigmoid激活函数对特征图的空间权重归一化，再将输入特征图和权重相乘。5.如权利要求1所述的基于多目标跟踪的行人轨迹预测方法，其特征是，所述检测器，其损失函数Loss，包括：目标框位置损失函数L
box
、目标置信度损失函数L
obj
和类别损失函数L
cls
的求和结果；其中，目标框位置损失函数L
box
表示预测框的定位误差，用于表示中心坐标误差的权重；目标框位置损失函数L
box
，具体为：其中，目标置信度损失函数L
obj
表示交并比误差，其作为衡量指标来描述实际框与预测框之间的重合度，保证目标检测网络的查准率和查全率；目标置信度损失函数L
obj
，具体为：其中，类别损失函数L
...

【专利技术属性】
技术研发人员：成卫，伍权，肖海承，蒋银凤，李博，王帅，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：