一种基于LSTM模型扶梯场景下的行人跟踪方法、装置和介质制造方法及图纸

本发明专利技术公开了一种基于LSTM模型扶梯场景下的行人跟踪方法，包括：获取监控视频中扶梯场景下行人的视频流；创建目标检测模型，对视频流进行检测，得到跟踪目标；按照行人所处的位置对跟踪目标进行分类，筛选跟踪目标，对跟踪目标进行跟踪，生成目标跟踪轨迹；利用神经网络对扶梯正常运转情况下行人的轨迹数据进行训练，得到行人常规运动轨迹；利用基于LSTM的轨迹匹配模型将目标跟踪轨迹与行人常规运动轨迹进行匹配，区分出具有异常轨迹的目标；对异常跟踪目标进行重点跟踪。本发明专利技术实施例公开的一种基于LSTM模型扶梯场景下的行人跟踪方法，采用LSTM模型的轨迹匹配方法融合扶梯场景对多目标进行分类和跟踪优化，提高了检测速度、跟踪效率以及跟踪精度。

【技术实现步骤摘要】
一种基于LSTM模型扶梯场景下的行人跟踪方法、装置和介质
本专利技术涉及安全监控
，特别涉及一种基于LSTM模型扶梯场景下的行人跟踪方法、装置和介质。
技术介绍
随着经济条件的改善，人们对安全性的要求不断提高。监控摄像已几乎覆盖公共生活的每个角落。传统的视频监控很难起到及时预警和报警的作用。若要保证实时监控异常行为，并及时采取有效措施，就需要投入大量人力。在面对多路监控系统时，人为识别的方式效果有限，这造就了智能视频监控技术的兴起。如今，智能视频监控技术应用场景非常广泛，自动扶梯是在公共场所中十分常见的设备之一，由于其存在的安全隐患和实时预警的需求，目前也已成为智能监控系统的应用场景之一。对扶梯行人危险行为的预警事关人们生命安全，对预警速度具有极高的要求。然而，目前自动扶梯预警系统所用到的跟踪方法都是单纯的使用卡尔曼滤波或者粒子滤波，这些方法因为无法有效的结合自动扶梯场景从而产生效率瓶颈，大大限制了扶梯预警系统的预警速度。
技术实现思路
本专利技术要解决的技术问题，在于提供一种基于LSTM模型扶梯场景下的行人跟踪方法、装置和介质，采用基于LSTM模型的轨迹匹配方法融合扶梯场景对多目标分类和跟踪优化，提高了检测速度、跟踪效率以及跟踪精度。第一方面，本专利技术提供了一种基于LSTM模型扶梯场景下的行人跟踪方法，包括：获取监控视频中扶梯场景下行人的视频流并对其进行预处理；创建目标检测模型，对预处理后的视频流进行检测，得到跟踪目标；利用卷积神经网络按照行人所处的位置对跟踪目标进行分类；当一所述跟踪目标分类为扶梯范围内的跟踪目标时，利用帧间关系对跟踪目标进行跟踪，并生成目标跟踪轨迹；当一所述跟踪目标分类为扶梯范围外的跟踪目标时，结束对该跟踪目标的跟踪；利用神经网络对扶梯正常运转场景下行人的轨迹数据进行训练，得到行人常规运动轨迹；利用基于LSTM的轨迹匹配模型将目标跟踪轨迹与行人常规运动轨迹进行匹配，当目标跟踪轨迹与行人常规运动轨迹不匹配时，所述跟踪目标为异常跟踪目标；对所述异常跟踪目标进行重点跟踪。进一步地，利用卷积神经网络按照行人所处的位置对跟踪目标进行分类，具体包括：将扶梯行人数据集标注出行人所处的位置范围，所述位置范围包括扶梯范围内和扶梯范围外，得到标注数据集；利用所述标注数据集对卷积神经网络进行训练，得到扶梯范围分类模型；将跟踪目标输入所述扶梯范围分类模型，实现对跟踪目标进行分类。进一步地，利用帧间关系对跟踪目标进行跟踪，并生成目标跟踪轨迹，具体包括：步骤A1、设定目标检测框和目标预测框的重叠率阈值；步骤A2、根据历史轨迹信息，利用卡尔曼滤波器对当前帧的目标检测框轨迹进行预测，得到目标预测框；步骤A3、计算目标预测框和当前帧目标检测框的交并比，求出最大交并比；步骤A4、当最大交并比大于所述重叠率阈值时，直接更新跟踪目标的框体信息和轨迹信息；当最大交并比小于所述重叠率阈值时，则目标消失，保持跟踪目标的框体尺寸，将跟踪目标的框体中心更新为目标预测框的中心，记为缓存目标；利用紧邻最优跟踪算法，判断跟踪目标交互情况，若该跟踪目标存在紧邻目标，且出现新目标时紧邻目标消失，则认定跟踪目标被遮挡后重新出现，将新目标的信息更新为所述缓存目标的信息，结束步骤；若不存在紧邻目标或紧邻目标没有消失，则认定当前出现的目标为新目标，返回步骤A2。进一步地，利用神经网络对扶梯正常运转情况下行人的轨迹数据进行训练，得到行人常规运动轨迹，具体包括：获取扶梯正常运转情况下行人的轨迹信息数据，然后拆分为训练集和测试集；将训练集数据输入神经网络进行训练，然后用测试集进行测试，获得行人常规运动轨迹模型；根据实际场景利用行人常规运动轨迹模型得到行人常规运动轨迹。进一步地，利用基于LSTM的轨迹匹配模型将目标跟踪轨迹与行人常规运动轨迹进行匹配，当目标跟踪轨迹与行人常规运动轨迹不匹配时，所述跟踪目标为异常跟踪目标，具体包括：步骤B1、采用卷积神经网络生成多维特征，并输入到LSTM模型计算输出，根据与当前时刻检测到的特征匹配情况，利用二元匹配分类器进行训练，生成表观特征匹配判断器；取相对位移为基本输入特征，并输入LSTM模型计算每个时刻的输出，然后与常规轨迹进行匹配，利用二元匹配分类器进行训练，生成运动特征匹配判断器；步骤B2、获取一检测目标；步骤B3、利用所述表观特征匹配判断器判断所述检测目标，若匹配，则进入步骤B3，若不匹配，则返回步骤B2；步骤B3、利用所述运动特征匹配判断器判断所述检测目标，若不匹配，则进入步骤B4；若匹配，则返回步骤B2；步骤B4：标注所述检测目标为异常目标，然后返回步骤B2。进一步地，对所述异常跟踪目标进行重点跟踪，具体包括：对所述异常跟踪目标设置更高的关注度，在处理目标交互时突出显示所述异常跟踪目标。第二方面，本专利技术提供了一种基于LSTM模型扶梯场景下的行人跟踪装置，包括：预处理模块、目标检测模块、分类跟踪模块、常规运动轨迹模块、匹配模块以及重点跟踪模块；所述预处理模块，用于获取监控视频中扶梯场景下行人的视频流并对其进行预处理；所述目标检测模块，用于创建目标检测模型，对预处理后的视频流进行检测，得到跟踪目标；所述分类跟踪模块，用于利用卷积神经网络按照行人所处的位置对跟踪目标进行分类；当一所述跟踪目标分类为扶梯范围内的跟踪目标时，利用帧间关系对跟踪目标进行跟踪，并生成目标跟踪轨迹；当一所述跟踪目标分类为扶梯范围外的跟踪目标时，结束对该跟踪目标的跟踪；所述常规运动轨迹模块，用于利用神经网络对扶梯正常运转场景下行人的轨迹数据进行训练，得到行人常规运动轨迹；所述匹配模块，用于利用基于LSTM的轨迹匹配模型将目标跟踪轨迹与行人常规运动轨迹进行匹配，当目标跟踪轨迹与行人常规运动轨迹不匹配时，所述跟踪目标为异常跟踪目标；所述重点跟踪模块，用于对所述异常跟踪目标进行重点跟踪。进一步的，所述常规运动轨迹模块进一步具体包括：训练数据获取模块、训练模块以及常规运动轨迹生成模块；所述训练数据获取模块，用于获取扶梯正常运转情况下行人的轨迹信息数据，然后拆分为训练集和测试集；所述训练模块，用于将所述训练集数据输入神经网络进行训练，然后用所述测试集进行测试，获得行人常规运动轨迹模型；所述常规运动轨迹生成模块，用于根据实际场景利用行人常规运动轨迹模型得到行人常规运动轨迹。进一步的，所述匹配模块进一步具体包括：判断器生成模块、检测目标获取模块、表观特征匹配模块、运动特征匹配模块以及异常目标标注模块；所述判断器生成模块，用于采用卷积神经网络生成多维特征，并输入到LSTM模型计算输出，根据与当前时刻检测到的特征匹配情况，利用二元匹配分类器进行训练，生成表观特征匹配判断器；取相对位移为基本输入特征，并输入LSTM模型计算每个时刻的输出，然后与常规轨本文档来自技高网...

【技术保护点】
1.一种基于LSTM模型扶梯场景下的行人跟踪方法，其特征在于：包括：/n获取监控视频中扶梯场景下行人的视频流并对其进行预处理；/n创建目标检测模型，对预处理后的视频流进行检测，得到跟踪目标；/n利用卷积神经网络按照行人所处的位置对跟踪目标进行分类；当一所述跟踪目标分类为扶梯范围内的跟踪目标时，利用帧间关系对跟踪目标进行跟踪，并生成目标跟踪轨迹；当一所述跟踪目标分类为扶梯范围外的跟踪目标时，结束对该跟踪目标的跟踪；/n利用神经网络对扶梯正常运转场景下行人的轨迹数据进行训练，得到行人常规运动轨迹；/n利用基于LSTM的轨迹匹配模型将目标跟踪轨迹与行人常规运动轨迹进行匹配，当目标跟踪轨迹与行人常规运动轨迹不匹配时，所述跟踪目标为异常跟踪目标；/n对所述异常跟踪目标进行重点跟踪。/n

【技术特征摘要】
1.一种基于LSTM模型扶梯场景下的行人跟踪方法，其特征在于：包括：
获取监控视频中扶梯场景下行人的视频流并对其进行预处理；
创建目标检测模型，对预处理后的视频流进行检测，得到跟踪目标；
利用卷积神经网络按照行人所处的位置对跟踪目标进行分类；当一所述跟踪目标分类为扶梯范围内的跟踪目标时，利用帧间关系对跟踪目标进行跟踪，并生成目标跟踪轨迹；当一所述跟踪目标分类为扶梯范围外的跟踪目标时，结束对该跟踪目标的跟踪；
利用神经网络对扶梯正常运转场景下行人的轨迹数据进行训练，得到行人常规运动轨迹；
利用基于LSTM的轨迹匹配模型将目标跟踪轨迹与行人常规运动轨迹进行匹配，当目标跟踪轨迹与行人常规运动轨迹不匹配时，所述跟踪目标为异常跟踪目标；
对所述异常跟踪目标进行重点跟踪。


2.根据权利要求1所述的一种基于LSTM模型扶梯场景下的行人跟踪方法，其特征在于：利用卷积神经网络按照行人所处的位置对跟踪目标进行分类，具体包括：
将扶梯行人数据集标注出行人所处的位置范围，所述位置范围包括扶梯范围内和扶梯范围外，得到标注数据集；
利用所述标注数据集对卷积神经网络进行训练，得到扶梯范围分类模型；
将跟踪目标输入所述扶梯范围分类模型，实现对跟踪目标进行分类。


3.根据权利要求1所述的一种基于LSTM模型扶梯场景下的行人跟踪方法，其特征在于：利用帧间关系对跟踪目标进行跟踪，并生成目标跟踪轨迹，具体包括：
步骤A1、设定目标检测框和目标预测框的重叠率阈值；
步骤A2、根据历史轨迹信息，利用卡尔曼滤波器对当前帧的目标检测框轨迹进行预测，得到目标预测框；
步骤A3、计算目标预测框和当前帧目标检测框的交并比，求出最大交并比；
步骤A4、当最大交并比大于所述重叠率阈值时，直接更新跟踪目标的框体信息和轨迹信息；
当最大交并比小于所述重叠率阈值时，则目标消失，保持跟踪目标的框体尺寸，将跟踪目标的框体中心更新为目标预测框的中心，记为缓存目标；利用紧邻最优跟踪算法，判断跟踪目标交互情况，若该跟踪目标存在紧邻目标，且出现新目标时紧邻目标消失，则认定跟踪目标被遮挡后重新出现，将新目标的信息更新为所述缓存目标的信息，结束步骤；若不存在紧邻目标或紧邻目标没有消失，则认定当前出现的目标为新目标，返回步骤A2。


4.根据权利要求1所述的一种基于LSTM模型扶梯场景下的行人跟踪方法，其特征在于：利用神经网络对扶梯正常运转情况下行人的轨迹数据进行训练，得到行人常规运动轨迹，具体包括：
获取扶梯正常运转情况下行人的轨迹信息数据，然后拆分为训练集和测试集；
将训练集数据输入神经网络进行训练，然后用测试集进行测试，获得行人常规运动轨迹模型；
根据实际场景利用行人常规运动轨迹模型得到行人常规运动轨迹。


5.根据权利要求1所述的一种基于LSTM模型扶梯场景下的行人跟踪方法，其特征在于：利用基于LSTM的轨迹匹配模型将目标跟踪轨迹与行人常规运动轨迹进行匹配，当目标跟踪轨迹与行人常规运动轨迹不匹配时，所述跟踪目标为异常跟踪目标，具体包括：
步骤B1、采用卷积神经网络生成多维特征，并输入到LSTM模型计算输出，根据与当前时刻检测到的特征匹配情况，利用二元匹配分类器进行训练，生成表观特征匹配判断器；取相对位移为基本输入特征，并输入LSTM模型计算每个时刻的输出，然后与常规轨迹进行匹配，利用二元匹配分类器进行训练，生成运动特征匹配判断器；
步骤B2、获取一检测目标；
步骤B3、利用所述表观...

【专利技术属性】
技术研发人员：郑力新，叶靓玲，曾远跃，李伟达，林俊杰，
申请(专利权)人：华侨大学，福建省特种设备检验研究院泉州分院，
类型：发明
国别省市：福建;35