一种人群安全异常事件识别方法技术

本发明专利技术属于人工智能视觉识别及图像处理领域，具体说是一种人群安全异常事件识别方法，包括以下步骤：通过相机获取连续t帧图像，对连续t帧图像进行目标检测，得到t副包含所有的人群区域的人群图像；对人群图像进行人群运动区域选择，获取所有行人运动区域的mask图，再获取t帧的人群运动区域真实图像，作为预测网络模型的输入；建立预测网络模型，将生成的连续t帧人群运动图像输入至预测网络模型，输出生成的预测图像；将待检测图像的真实图像与生成的预测图像进行异常预测，获取其峰值信噪比，并，设定其动态阈值，进而实现对图像进行判定。本发明专利技术提出对抗网络来使生成网络能更准确的预测未来帧，使预测误差更能反映出人群异常。常。常。

【技术实现步骤摘要】
一种人群安全异常事件识别方法


[0001]本专利技术属于人工智能视觉识别及图像处理领域，具体说是一种人群安全异常事件识别方法。

技术介绍

[0002]随着经济的快速发展，在商场、体育场、车站等公共场所中常常存在人流高峰，而这些拥挤的人群对公共安全带来了极大的隐患。如果能够对人群进行监测，及时发现人群异常的行为，就可以及时采取相应的解决方案，避免重大意外事件的发生。因此，为了保障人群安全，维护公共秩序，越来越多的视频监控系统被投入使用。但大多数传统的监控系统都需要专门的人员对监控视频进行人工判断，需要耗费大量的人力，而且人长时间专注于一件事情，可能会疏忽某些异常情况，从而带来严重后果。
[0003]人群异常事件检测方式主要有两种：传统方式和基于深度学习方式。传统方式主要从光流、梯度方面进行特征提取，然后利用SVM进行分类。用传统方式进行人群异常事件检测，由于自身算法的特性，只能获得一些简单和基本的特征，无法对图像进行深层次的表达。

技术实现思路

[0004]本专利技术目的是提供一种基于深度学习方式进行人群异常事件检测方法，提出对抗网络来使生成网络能更准确的预测未来帧，使预测误差更能反映出人群异常。
[0005]本专利技术为实现上述目的所采用的技术方案是：一种人群安全异常事件识别方法，包括以下步骤：
[0006]1)通过相机获取连续t帧图像，通过Yolo
‑
V4目标检测算法对连续t帧图像进行目标检测，获取每帧图像的所有行人位置，并排除非人群区域，获取到t副包含所有的人群区域的人群图像；
[0007]2)对人群图像进行人群运动区域选择，获取连续t帧所有行人运动区域的mask图像，再根据mask图像计算t帧的人群运动区域真实图像，作为预测网络模型的输入；
[0008]3)建立预测网络模型，将生成的t帧的人群运动区域真实图像输入至预测网络模型中，生成下一帧预测图像；
[0009]4)将待检测图像的真实图像与生成的预测图像进行异常预测，获取其峰值信噪比，并根据图像的峰值信噪比，设定其动态阈值，进而实现对图像进行判定。
[0010]所述步骤2)，具体为：
[0011]2‑
1)选择连续t帧图像信息作为输入，提取人群图像中所有人目标位置，生成人群位置为1和背景位置为0的mask图，取连续t帧mask图的并集，获得人在连续帧的运动区域mask图；
[0012]2‑
2)获取原始图像上对应mask位置的原始信息，原始图像mask位置之外的背景图像设定为黑色，生成连续t帧行人运动区域图像，并输入至预测网络模型中。
[0013]所述建立预测网络模型，包括以下步骤：
[0014](1)通过U
‑
Net网络建立预测网络模型的生成网络，通过逐渐降低空间分辨率来提取图像特征，建立编码器；添加通过增加空间分辨率逐渐恢复帧，建立解码器；
[0015](2)采用Pixel2Pixel结构形成的生成对抗网络；
[0016](3)在生成对抗网络中建立相应的损失函数并对损失函数进行训练，以使预测图像更接近于真实图像；
[0017](4)在生成网络中，建立光流估计模型RAFT，并对光流值进行估计；
[0018](5)训练生成对抗网络，完成预测网络模型的建立；
[0019](6)将生成的t帧的人群运动区域真实图像输入至预测网络模型的生成器中，生成下一帧预测图像
[0020]步骤(1)中，所述编码器，包括：每一次编码都要经过2个3*3的卷积、一个ReLU激活函数和一个步长为2的下采样，最终通过生成器生成特征图；
[0021]所述解码器，包括：每一次解码都由特征图的上采样、2*2上卷积和两个3*3卷积组成，其中2*2上卷积将特征通道的数量减半，2*2上卷积与编码中相应裁剪的特征图相连，每个卷积后面都设置一个ReLU激活函数；在最后一层，使用1x1卷积将每个64个组成要素向量映射到所需的类别数，最终生成预测图。
[0022]所述步骤(3)，具体为：
[0023]通过梯度惩罚锐化生成器生成的图像，在强度空间中最小化的预测帧与真实帧I之间的l2距离，L
int
表示强度损失，则强度损失函数为：
[0024][0025]为保证生成图像梯度和原始图像梯度一致，设计了梯度损失，对于数字图像，相当于是二维离散函数求梯度，使用差分来近似导数，x方向梯度为|I
i,j
‑
I
i
‑
1,j
|，y方向梯度为|I
i,j
‑
I
i,j
‑1|，分别计算预测帧梯度和真实帧梯度，并用预测帧和真实帧梯度差作为梯度损失L
gd
，即为：
[0026][0027]步骤(4)中，所述建立光流估计模型，具体为：
[0028]通过真实下一帧图像I
t+1
和当前帧图像I
t
的光流值f(I
t+1
,I
t
)与预测下一帧与当前真实帧I
t
的光流值得差作为光流损失，其中f代表RAFT光流生成算法，RAFT光流模型需要提前训练完成，具体公式如下，用L
op
表示光流损失，即：
[0029][0030]所述步骤(5)，具体为：
[0031]生成对抗网络包含一个对抗网络D和一个生成网络G，引入对抗网络加入判别器，用于区分出预测帧和真实帧，对于生成器，用于欺骗判别器；
[0032]训练生成网络时，固定判别网络参数，优化对抗损失，增加判别器的真假判别能力，并采用均方误差损失计算判别器损失，即：
[0033][0034]其中，Y为实际值，取值为{0,1}，为预测值，取值范围为Y∈[0,1]；
[0035]当训练判别器时，对于真实帧I
t+1
，判别器D需要判定为1，对于预测帧使判别器D判定为0，其中，1代表为真，0代表为假，因此对抗损失表示为：
[0036][0037]其中，为预测帧，I为真实帧，L
MSE
()为均方误差损失计算，D(I)
i，j
为判别器中的实际帧，为判别器中的预测帧；
[0038]对于生成器，即生成网络U
‑
Net，增加一个对抗损失，使生成帧为1更接近真实值，采用均方误差损失MES计算对抗损失
[0039][0040]根据生成损失和对抗损失得到以下目标函数，包含生成器的目标函数L
G
和判别器的目标函数L
D
，并交替训练这两个损失，即：
[0041][0042][0043]其中，α，β，γ，δ为权重系数，分别取1.0，2.0，0.1和0.5，为预测下一帧，I
t+1
为实际下一帧；
[0044]获取到包含生成器的目标函数L
G
和判别器的目标函数L
...

【技术保护点】

【技术特征摘要】
1.一种人群安全异常事件识别方法，其特征在于，包括以下步骤：1)通过相机获取连续t帧图像，通过Yolo
‑
V4目标检测算法对连续t帧图像进行目标检测，获取每帧图像的所有行人位置，并排除非人群区域，获取到t副包含所有的人群区域的人群图像；2)对人群图像进行人群运动区域选择，获取连续t帧所有行人运动区域的mask图像，再根据mask图像计算t帧的人群运动区域真实图像，作为预测网络模型的输入；3)建立预测网络模型，将生成的t帧的人群运动区域真实图像输入至预测网络模型中，生成下一帧预测图像；4)将待检测图像的真实图像与生成的预测图像进行异常预测，获取其峰值信噪比，并根据图像的峰值信噪比，设定其动态阈值，进而实现对图像进行判定。2.根据权利要求1所述的一种人群安全异常事件识别方法，其特征在于，所述步骤2)，具体为：2
‑
1)选择连续t帧图像信息作为输入，提取人群图像中所有人目标位置，生成人群位置为1和背景位置为0的mask图，取连续t帧mask图的并集，获得人在连续帧的运动区域mask图；2
‑
2)获取原始图像上对应mask位置的原始信息，原始图像mask位置之外的背景图像设定为黑色，生成连续t帧行人运动区域图像，并输入至预测网络模型中。3.根据权利要求1所述的一种人群安全异常事件识别方法，其特征在于，所述建立预测网络模型，包括以下步骤：(1)通过U
‑
Net网络建立预测网络模型的生成网络，通过逐渐降低空间分辨率来提取图像特征，建立编码器；添加通过增加空间分辨率逐渐恢复帧，建立解码器；(2)采用Pixel2Pixel结构形成的生成对抗网络；(3)在生成对抗网络中建立相应的损失函数并对损失函数进行训练，以使预测图像更接近于真实图像；(4)在生成网络中，建立光流估计模型RAFT，并对光流值进行估计；(5)训练生成对抗网络，完成预测网络模型的建立；(6)将生成的t帧的人群运动区域真实图像输入至预测网络模型的生成器中，生成下一帧预测图像4.根据权利要求3所述的一种人群安全异常事件识别方法，其特征在于，步骤(1)中，所述编码器，包括：每一次编码都要经过2个3*3的卷积、一个ReLU激活函数和一个步长为2的下采样，最终通过生成器生成特征图；所述解码器，包括：每一次解码都由特征图的上采样、2*2上卷积和两个3*3卷积组成，其中2*2上卷积将特征通道的数量减半，2*2上卷积与编码中相应裁剪的特征图相连，每个卷积后面都设置一个ReLU激活函数；在最后一层，使用1x1卷积将每个64个组成要素向量映射到所需的类别数，最终生成预测图。5.根据权利要求3所述的一种人群安全异常事件识别方法，其特征在于，所述步骤(3)，具体为：通过梯度惩罚锐化生成器生成的图像，在强度空间中最小化的预测帧与真实帧I之间
的l2距离，L
int
表示强度损失，则强度损失函数为：为保证生成图像梯度和原始图像梯度一致，设计了梯度损失，对于数字图像，相当于是二维离散函数求梯度，使用差分来近似导数，x方向梯度为|I
i，j
‑
I
i
‑
1，j
|，y方向梯度为|I
i，j
‑
I
i，j
‑1|，分别计算预测帧梯度和真实帧梯度，并用预测帧和真实帧梯度差作为梯度损失L
gd
，即为：6.根据权利要求3所述的一种人群安全异常事件识别方法，其特征在于，步骤(4)中，所述建立光流估计模型，具体为：通过真实下一帧图像I
t+1
和当前帧...

【专利技术属性】
技术研发人员：周磊，周晓，王磊，孙岩，
申请(专利权)人：沈阳瞻言科技有限公司，
类型：发明
国别省市：