一种基于双向轨迹预测网络的行人异常行为检测方法技术

本发明专利技术公开一种基于双向轨迹预测网络的行人异常行为检测方法，本方法使用一个双向轨迹预测网络输出视频中每帧的行人骨架位置，并采用基于身体关节和姿态设计的损失函数对双向轨迹预测网络进行训练优化，以行人预测姿态和真实姿态之间的骨架位置误差为指标区分正常和异常事件。本发明专利技术通过评估视频中行人异常事件的期望来识别行人异常事件，输出视频中每帧检测到的异常分数，并支持预测结果可视化。并支持预测结果可视化。并支持预测结果可视化。

【技术实现步骤摘要】
一种基于双向轨迹预测网络的行人异常行为检测方法


[0001]本专利技术涉及计算机视觉和神经网络领域，具体为一种基于双向轨迹预测网络的行人异常行为检测方法。

技术介绍

[0002]行人异常检测是指从视频序列中识别不符合预期行为(即异常)的行人活动和事件，这是车辆安全自动驾驶的一项重要任务。如果一个行人突然跑到汽车前面或跳起来，或者一个孩子把一个球扔到街上，智能自动驾驶汽车必须能够识别这些潜在的异常活动，以便使用适当的路径规划和控制策略避障，确保安全。行人异常检测问题由一个训练集和一个测试集建立，其中训练视频只包含正常的步行活动(如步行)，测试视频可以包含正常和异常的活动(如跑步、跳跃、扔袋子等)，目标是学习训练数据中呈现的正常行人活动模式，并在测试集中检测异常。
[0003]行人异常事件的发生频率通常远低于正常活动，通常很难获得包含大量标记异常事件的训练数据。因此，行人异常检测问题的现有解决方案主要是无监督学习方法，通常通过重建视频帧来学习正常活动的特征表示，计算测试实例的重建误差来检测异常。通过重建获得的基于像素的特征可能是非结构化的、高维的，这可能导致对噪声敏感、缺乏可解释性和冗余。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术公开一种基于双向轨迹预测网络的行人异常行为检测方法，
[0005]为了解决所述技术问题，本专利技术采用的技术方案是：一种基于双向轨迹预测网络的行人异常行为检测方法，其特征在于：包括以下步骤：
[0006]S01)、准备行人异常检测数据集视频；
[0007]S02)、使用多人姿态估计系统AlphaPose提取行人二维骨架关节位置，并最小化组合姿态损失函数，训练模型，得到训练好的行人异常检测模型，行人异常检测模型为双向轨迹预测网络；
[0008]S03)、推理时，使用AlphaPose提取检测视频中的行人二维骨架关节位置，输入双向轨迹预测网络，双向轨迹预测网络预测行人关节位置；
[0009]S04)、计算人体关节误差，根据人体关节误差判断是否有行人异常行为。
[0010]进一步的，双向轨迹预测网络基于CVAE模型设计，采用门控循环单元编码器网络对输入轨迹序列进行编码，得到输入轨迹序列的编码特征向量，然后利用CVAE对输入的行人序列轨迹在观测时间步和真实时间步上的高斯分布均值和协方差进行预测，从学习到的分布中采样一个潜在变量，并与编码的特征向量连接，预测轨迹的目标位置；预测的目标位置作为输入进入一个包含双向RNN的双向解码器，前向RNN为常规RNN解码器，只是其输出不被转换到轨迹空间，后向RNN先从输入编码器隐藏状态初始化，将估计的目标作为输入向后
传播，然后将同一时间步的前向和向后隐藏状态连接，以预测该时间步处的最终姿势。
[0011]进一步的，在COCO数据集17个人体骨架关节标注点上，增加了关节点18作为左右肩关节和髋关节的平均值，使用多人姿态估计系统AlphaPose 为所有行人序列生成二维骨架关节位置。
[0012]进一步的，组合姿态损失函数引入基于骨、关节和端点的组合姿态约束，在轨迹损失的基础上加入人体骨骼结构的物理特性，组合姿态损失函数为：
[0013]L＝L
T
+αL
B
+βL
E
+γL
J
，
[0014]其中L
T
是轨迹损失函数，L
B
是骨损失，L
J
是关节损失，L
E
是端点损失，α，β和γ是各项损失的权重，各项损失计算方式为：
[0015][0016][0017]B
n
＝J
parent(n)
‑
J
n
，
[0018][0019]L
E
＝δ
LA
+δ
RA
+δ
LF
+δ
RF
+δ
LL
+δ
RL
，
[0020][0021][0022][0023][0024][0025][0026]其中‖
·
‖是求L1范数操作，||
·
||2是求L2范数操作，表示时间步k时相对坐标下的真实行人骨架关节点，表示时间步k时预测的行人骨架，和分别是真实情况和预测行人在最后一个时间步即时间步t+r上的最终目标姿态，D
KL
(P||Q)表示CVAE中的先验和识别网络学习到的均值和协方差分布的KL
‑
散度；和J
n
分别是预测的和真实的关节位置，J
parent(n)
表示子关节 n的父关节，B
n
是AlphaPose得到的真实骨向量，是从预测关节计算出的骨向量，n表示关节点数，端点损失L
E
由六项损失组成，分别为左臂δ
LA
，右臂δ
RA
，左脸δ
LF
,右脸δ
RF
,左腿δ
LL
和右腿δ
RL
，左臂损失δ
LA
是左臂上的关节端点。
[0027]进一步的，人体关节误差为预测的行人姿态与地面行人姿态之间的差，表达式为：
[0028]公式中J
kt
是通过AlphaPose获得的在时间步t时第k个骨关节的位置，是预测值，ω
kt
是由AlphaPose得到的置信度得分，表示第k个关节在时间步t时的可见性。
[0029]本专利技术的有益效果：主流的行人异常检测问题的解决方案主要是用重构的方法，假设仅在正常数据上学习到的模型不能准确地重构异常。但是缺点是通过重构获得的基于
像素的特征是对噪声敏感的高维非结构信号，掩盖了关于场景的信息；而且基于像素的特征中存在的冗余信息增加了用它们训练的模型来区分信号和噪声的负担。本专利技术使用了AlphaPose提取的骨架关节向量作为特征输入避免了上述两个问题。
附图说明
[0030]图1为本专利技术使用的人体骨架关节标注点；
[0031]图2为本方法的实施流程图。
具体实施方式
[0032]为使本专利技术专利的目的、技术方案更加清楚明白，下文中将结合附图，对专利技术专利进行详细说明。
[0033]实施例1
[0034]本实施例公开一种基于双向轨迹预测网络的行人异常行为预测方法，本方法先训练双向轨迹预测网络，然后进行预测，具体包括以下步骤：
[0035]S01)、准备行人异常检测数据集视频，行人异常检测数据集视频包括训练集和测试集视频，训练集仅包含正常事件(如步行活动)，不包含异常事件。测试集包含正常和异常事件。
[0036]S02)、使用多人姿态估计系统AlphaPose提取行人二维骨架关节位置，并最小化组合姿态损失函数，训练模型，得到训练好的行人异常检测模型，行人异常检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向轨迹预测网络的行人异常行为检测方法，其特征在于：包括以下步骤：S01)、准备行人异常检测数据集视频；S02)、使用多人姿态估计系统AlphaPose提取行人二维骨架关节位置，并最小化组合姿态损失函数，训练模型，得到训练好的行人异常检测模型，行人异常检测模型为双向轨迹预测网络；S03)、推理时，使用AlphaPose提取检测视频中的行人二维骨架关节位置，输入双向轨迹预测网络，双向轨迹预测网络预测行人关节位置；S04)、计算人体关节误差，根据人体关节误差判断是否有行人异常行为。2.根据权利要求1所述的基于双向轨迹预测网络的行人异常行为检测方法，其特征在于：双向轨迹预测网络基于CVAE模型设计，采用门控循环单元编码器网络对输入轨迹序列进行编码，得到输入轨迹序列的编码特征向量，然后利用CVAE对输入的行人序列轨迹在观测时间步和真实时间步上的高斯分布均值和协方差进行预测，从学习到的分布中采样一个潜在变量，并与编码的特征向量连接，预测轨迹的目标位置；预测的目标位置作为输入进入一个包含双向RNN的双向解码器，前向RNN为常规RNN解码器，只是其输出不被转换到轨迹空间，后向RNN先从输入编码器隐藏状态初始化，将估计的目标作为输入向后传播，然后将同一时间步的前向和向后隐藏状态连接，以预测该时间步处的最终姿势。3.根据权利要求1所述的基于双向轨迹预测网络的行人异常行为检测方法，其特征在于：在COCO数据集17个人体骨架关节标注点上，增加了关节点18作为左右肩关节和髋关节的平均值，使用多人姿态估计系统AlphaPose为所有行人序列生成二维骨架关节位置。4.根据权利要求3所述的基于双向轨迹预测网络的行人异常行为检测方法，其特征在于：组合姿态损失函数引入基于骨、关节和端点的组合姿态约束，在轨迹损失的基础上加入人体骨骼结构的物理特性，组合姿态损失函数为：L＝L
T
+αL
B
+βL
E
+γL
J
，其中LT是轨迹损失函数，L
B
是骨损失，L
J
是关节损失，L
E
是端点损失，α，β和...

【专利技术属性】
技术研发人员：葛君正，宋晨，段强，李锐，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：