扶梯行为检测方法、装置、终端及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种扶梯行为检测方法、装置、终端及计算机可读存储介质，扶梯行为检测方法通过获取针对扶梯区域采集的监控视频中的当前视频帧；对当前视频帧进行目标检测，确定目标对象；对目标对象的行为进行识别，确定目标对象的行为类别；基于目标对象在当前视频帧的行为类别、以及在监控视频中当前视频帧之前的历史视频帧中的行为类别，确定目标对象是否存在异常行为。本申请通过对当前视频帧进行目标检测，并对检测得到的目标对象的行为进行识别，根据目标对象在当前视频帧中的行为类别和历史视频帧中的行为类别，确定目标对象是否存在异常行为，进而提高对目标对象的行为的检测准确率，便于保护目标对象的安全。便于保护目标对象的安全。便于保护目标对象的安全。

【技术实现步骤摘要】
扶梯行为检测方法、装置、终端及计算机可读存储介质


[0001]本专利技术涉及视频监测
，特别是涉及一种扶梯行为检测方法、装置、终端及计算机可读存储介质。

技术介绍

[0002]在扶梯监控场景中，由于扶梯是不同楼层之间的快速连接桥梁，被广泛使用在商场、地铁、医院等公共领域，方便了人们的生活，然而乘客往往由于各种各样的错误乘梯行为、增加了乘梯的风险，甚至有些时候会造成人员的伤亡。因此，国家、政府、各公共场所的管理部门等高度重视扶梯乘坐过程中的乘客安全。虽然，很多扶梯处都有人为的安全乘梯指导和警示线，但有些乘客还是会疏忽这些，最后造成不必要的损伤。

技术实现思路

[0003]本专利技术主要解决的技术问题是提供扶梯行为检测方法、装置、终端及计算机可读存储介质，解决现有技术中对于乘客行为的检测准确率低的问题。
[0004]为解决上述技术问题，本专利技术采用的第一个技术方案是：提供一种扶梯行为检测方法，扶梯行为检测方法包括：获取针对扶梯区域采集的监控视频中的当前视频帧；对当前视频帧进行目标检测，确定目标对象；对目标对象的行为进行识别，确定目标对象的行为类别；基于目标对象在当前视频帧的行为类别、以及在监控视频中当前视频帧之前的历史视频帧中的行为类别，确定目标对象是否存在异常行为。
[0005]其中，对目标对象的行为进行识别，确定目标对象的行为类别，包括：对目标对象进行姿态识别，得到目标对象的姿态类别；其中，姿态类别包括站立、跌倒、坐下、蹲下和攀爬。
[0006]其中，对目标对象的行为进行识别，确定目标对象的行为类别，还包括：响应于目标对象的姿态类别为站立，则对目标对象的站立朝向进行识别，得到目标对象的站立状态。
[0007]其中，基于目标对象在当前视频帧的行为类别、以及在监控视频中当前视频帧之前的历史视频帧中的行为类别，确定目标对象是否存在异常行为，包括：计算得到当前视频帧中的各目标对象与当前视频帧之前的历史视频帧中的各预设目标的相似度；将目标对象与预设目标对应的相似度与相似度阈值进行比对；响应于目标对象与预设目标的相似度超过相似度阈值，则确定相似度对应的目标对象与预设目标是同一目标；将当前视频帧和目标对象在当前视频帧中的行为类别更新至预设目标的历史轨迹，得到目标对象的跟踪轨迹。
[0008]其中，基于目标对象在当前视频帧的行为类别、以及在监控视频中当前视频帧之前的历史视频帧中的行为类别，确定目标对象是否存在异常行为，包括：响应于目标对象与各预设目标分别对应的相似度均不超过相似度阈值，则确定相似度对应的目标对象与所有的预设目标均不匹配；将目标对象记为另一预设目标，并将当前视频帧作为另一预设目标的第一视频帧。
[0009]其中，基于目标对象在当前视频帧的行为类别、以及在监控视频中当前视频帧之前的历史视频帧中的行为类别，确定目标对象是否存在异常行为，包括：响应于预设目标与各目标对象对应的相似度均不超过相似度阈值，则确定相似度对应的预设目标与各目标对象均不匹配；确定预设目标在当前视频帧中丢失，并统计连续丢失预设目标的视频帧的帧数。
[0010]其中，基于目标对象在当前视频帧的行为类别、以及在监控视频中当前视频帧之前的历史视频帧中的行为类别，确定目标对象是否存在异常行为，包括：响应于连续丢失预设目标的视频帧的帧数超过预设帧数，则删除预设目标。
[0011]其中，基于目标对象在当前视频帧的行为类别、以及在监控视频中当前视频帧之前的历史视频帧中的行为类别，确定目标对象是否存在异常行为，包括：判断当前视频帧与目标对象的第一视频帧之间的时间间隔是否超过预设时间；如果当前视频帧与目标对象的第一视频帧之间的时间间隔超过预设时间，则基于目标对象的跟踪轨迹确定目标对象是否存在异常行为。
[0012]其中，基于目标对象的跟踪轨迹确定目标对象是否存在异常行为，包括：判断跟踪轨迹中目标对象处于扶梯区域的视频帧的数量是否超过第一预设值；如果视频帧的数量超过第一预设值，则判断视频帧中目标对象的行为类别属于预设行为类别的帧数是否超过第二预设值；其中，第二预设值不大于第一预设值；如果帧数超过第二预设值，则确定目标对象存在异常行为。
[0013]其中，扶梯区域包括扶梯上行区域或扶梯下行区域；预设行为类别包括反向站立；判断跟踪轨迹中目标对象处于扶梯区域的视频帧的数量是否超过第一预设值，包括：判断跟踪轨迹中目标对象仅处于扶梯上行区域或仅处于扶梯下行区域的视频帧的数量是否超过第一预设值；如果视频帧的数量超过第一预设值，则判断视频帧中目标对象的行为类别属于预设行为类别的帧数是否超过第二预设值，包括：如果视频帧的数量超过第一预设值，则判断目标对象仅处于扶梯上行区域或仅处于扶梯下行区域的视频帧中目标对象的站立状态属于反向站立的帧数是否超过第二预设值；如果帧数超过第二预设值，则确定目标对象存在异常行为，包括：如果帧数超过第二预设值，则确定目标对象存在逆行行为。
[0014]其中，还包括：基于目标对象的异常行为，对目标对象发出危险警告。
[0015]其中，异常行为包括跌倒、攀爬、蹲下、坐下和逆行中的至少一种；对目标对象发出危险警告，包括如下至少一种：发出针对目标对象的语音提醒；停止运行扶梯；降低扶梯的运行速度。
[0016]其中，对当前视频帧进行目标检测，包括：基于目标检测网络对当前视频帧进行目标检测；其中，训练得到目标检测网络的方法包括：获取第一训练样本集；第一训练样本集包括多张包含预设目标的第一图像，第一图像中标注有预设目标的目标真实框；通过初始目标检测网络对第一图像进行目标预测，得到预设目标的目标预测框；基于同一预设目标的目标预测框和目标真实框构建第一损失函数；基于第一损失函数对初始目标检测网络进行迭代训练，得到目标检测网络。
[0017]其中，对目标对象进行姿态识别，包括：基于第一分类网络对目标对象的姿态类别进行识别；其中，训练得到第一分类网络的方法包括：获取第二训练样本集，第二训练样本集包括多张第二图像，第二图像包括包含一个目标的图像和背景图像；第二图像中标注有
对应的真实姿态类别；真实姿态类别包括站立、跌倒、坐下、蹲下、攀爬和背景；通过初始分类网络对第二图像进行行为检测，得到第二图像对应的预测姿态类别；基于同一第二图像对应的真实姿态类别和预测姿态类别构建第二损失函数；根据第二损失函数对初始分类网络进行迭代训练，得到第一分类网络。
[0018]其中，对目标对象的站立朝向进行识别，包括：基于第二分类网络对目标对象的站立状态进行识别；其中，训练得到第二分类网络的方法包括：获取第三训练样本集，第三样本集包括多张包含一个站立姿态的目标的第三图像，第三图像中标注目标的真实站立状态；真实站立状态包括正向、反向和侧向；通过初始分类网络对第三图像进行站立状态检测，得到第三图像对应的预测站立状态；基于同一第三图像中包含的目标的真实站立状态和预测站立状态构建第三损失函数；根据第三损失函数对初始分类网络进行迭代训练，得到第二分类网络。
[0019]为解决上述技术问题，本专利技术采用的第二个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种扶梯行为检测方法，其特征在于，所述方法包括：获取针对扶梯区域采集的监控视频中的当前视频帧；对所述当前视频帧进行目标检测，确定目标对象；对所述目标对象的行为进行识别，确定所述目标对象的行为类别；基于所述目标对象在所述当前视频帧的所述行为类别、以及在所述监控视频中所述当前视频帧之前的历史视频帧中的所述行为类别，确定所述目标对象是否存在异常行为。2.根据权利要求1所述的扶梯行为检测方法，其特征在于，所述对所述目标对象的行为进行识别，确定所述目标对象的行为类别，包括：对所述目标对象进行姿态识别，得到所述目标对象的姿态类别；其中，所述姿态类别包括站立、跌倒、坐下、蹲下和攀爬。3.根据权利要求2所述的扶梯行为检测方法，其特征在于，所述对所述目标对象的行为进行识别，确定所述目标对象的行为类别，还包括：响应于所述目标对象的姿态类别为站立，则对所述目标对象的站立朝向进行识别，得到所述目标对象的站立状态。4.根据权利要求1所述的扶梯行为检测方法，其特征在于，所述基于所述目标对象在所述当前视频帧的所述行为类别、以及在所述监控视频中所述当前视频帧之前的历史视频帧中的所述行为类别，确定所述目标对象是否存在异常行为，包括：计算得到所述当前视频帧中的各所述目标对象与所述当前视频帧之前的历史视频帧中的各预设目标的相似度；将所述目标对象与所述预设目标对应的所述相似度与相似度阈值进行比对；响应于所述目标对象与所述预设目标的所述相似度超过所述相似度阈值，则确定所述相似度对应的所述目标对象与所述预设目标是同一目标；将所述当前视频帧和所述目标对象在所述当前视频帧中的行为类别更新至所述预设目标的历史轨迹，得到所述目标对象的跟踪轨迹。5.根据权利要求4所述的扶梯行为检测方法，其特征在于，所述基于所述目标对象在所述当前视频帧的所述行为类别、以及在所述监控视频中所述当前视频帧之前的历史视频帧中的所述行为类别，确定所述目标对象是否存在异常行为，包括：响应于所述目标对象与各所述预设目标分别对应的所述相似度均不超过所述相似度阈值，则确定所述相似度对应的所述目标对象与所有的所述预设目标均不匹配；将所述目标对象记为另一预设目标，并将所述当前视频帧作为所述另一预设目标的第一视频帧。6.根据权利要求4所述的扶梯行为检测方法，其特征在于，所述基于所述目标对象在所述当前视频帧的所述行为类别、以及在所述监控视频中所述当前视频帧之前的历史视频帧中的所述行为类别，确定所述目标对象是否存在异常行为，包括：响应于所述预设目标与各所述目标对象对应的相似度均不超过所述相似度阈值，则确定所述相似度对应的所述预设目标与各所述目标对象均不匹配；
确定所述预设目标在所述当前视频帧中丢失，并统计连续丢失所述预设目标的视频帧的帧数。7.根据权利要求6所述的扶梯行为检测方法，其特征在于，所述基于所述目标对象在所述当前视频帧的所述行为类别、以及在所述监控视频中所述当前视频帧之前的历史视频帧中的所述行为类别，确定所述目标对象是否存在异常行为，包括：响应于连续丢失所述预设目标的视频帧的所述帧数超过预设帧数，则删除所述预设目标。8.根据权利要求4所述的扶梯行为检测方法，其特征在于，所述基于所述目标对象在所述当前视频帧的所述行为类别、以及在所述监控视频中所述当前视频帧之前的历史视频帧中的所述行为类别，确定所述目标对象是否存在异常行为，包括：判断所述当前视频帧与所述目标对象的第一视频帧之间的时间间隔是否超过预设时间；如果所述当前视频帧与所述目标对象的第一视频帧之间的时间间隔超过所述预设时间，则基于所述目标对象的跟踪轨迹确定所述目标对象是否存在异常行为。9.根据权利要求8所述的扶梯行为检测方法，其特征在于，所述基于所述目标对象的跟踪轨迹确定所述目标对象是否存在异常行为，包括：判断所述跟踪轨迹中所述目标对象处于扶梯区域的视频帧的数量是否超过第一预设值；如果所述视频帧的数量超过所述第一预设值，则判断所述视频帧中所述目标对象的行为类别属于预设行为类别的帧数是否超过第二预设值；其中，所述第二预设值不大于所述第一预设值；如果所述帧数超过所述第二预设值，则确定所述目标对象存在异常行为。10.根据权利要求9所述的扶梯行为检测方法，其特征在于，所述扶梯区域包括扶梯上行区域或扶梯下行区域；所述预设行为类别包括反向站立；所述判断所述跟踪轨...

【专利技术属性】
技术研发人员：李志涵，蔡丹平，周祥明，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：