一种基于注意力的异常检测方法技术

本发明专利技术公开了一种基于注意力的异常检测方法。该方法取t个连续帧，记为I1、I2…

【技术实现步骤摘要】
一种基于注意力的异常检测方法


[0001]本专利技术涉及视频监控和人工智能
，尤其涉及一种基于注意力的异常检测方法。

技术介绍

[0002]大量的监控设备安装在了各种公共场所中，产生的海量监控视频需要进行实时处理来满足人们不断提高的安全需求。通常人们并不关心反复出现的正常情况，而极少发生的异常事件才是关注的重点，比如：在人行道上出现机动车等情况。在拥挤的公共场所中检测异常行为具有很大的挑战性，主要原因是：人员聚集的公共场所由于存在环境杂乱、相互交错、动态遮挡等因素的干扰，使得想要在这种密集人群场景下通过分析每个个体来实现异常检测是不切实际的；其次异常行为极少发生，而且模式多变，显然通过少量的异常样本来构建完备的异常模型是不可行的。
[0003]由于正常情况的监控视频获取相对容易，异常行为检测通常被当成一个只利用正常样本进行训练的无监督问题。通常无监督的异常检测方法通过利用正常视频中的先验信息训练模型，在测试过程中无法被正常模型描述的事件被认为是异常，一般根据重构或预测误差来判断。一种直接的方法是对正常样本进行聚类，例如使用高斯混合模型(GMM)和层次聚类，然后根据测试样本是否遵循正常模型来检测异常。经典的聚类算法需要预先定义聚类的数量或用于判断样本是否属于聚类的阈值。然而，在密集人群场景中，聚类的数量和聚类阈值无法提前知道，首先是因为运动模式是连续随机变化的，其次是因为整个场景存在透视失真，即远离镜头的感兴趣目标很小，而近处的目标尺寸较大。另一类异常检测方法是基于稀疏表示。通过使用正常样本构建的字典重构测试样本，并将重构误差超过预设阈值的样本识别为异常。
[0004]近年来，对于复杂和庞大的数据集，深度学习的特征优于手工制作的特征。出于这个原因，一些研究人员已经应用自动编码器来检测异常，以提高描述复杂人群场景的能力。使用正常样本训练的卷积自编码器(Con
‑
AE)预计会对异常样本产生更高的重构误差，这可以作为识别异常的标准。由于卷积自动编码器具有很强的泛化能力，在正常样本上训练的自动编码器有时对异常样本也能很好地进行重构，此时根据重构误差的大小来辨识异常，很难获得理想的异常检测结果。Gong等人开始通过采用记忆模块来缓解卷积自动编码器泛化能力过强的问题。在训练卷积自动编码器时，利用正常样本的编码特征构建记忆模块；在推理时，利用与测试样本编码特征相关的记忆项来重构测试样本。但是，该类方法在实践中，用记忆项重构的正常样本的误差也经常增大，这使得区分正常情况和异常情况仍然很困难。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部
分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]鉴于上述现有存在的问题，提出了本专利技术。
[0007]因此，本专利技术解决的技术问题是：克服现有技术中基于构建记忆模块的异常检测方法在实践中用记忆项重构正常样本的误差经常增加，区分正常情况和异常情况仍然很困难的问题。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：一种基于注意力的异常检测方法，包括，
[0009]利用视频数据构建密集人群场景中的异常行为检测数据集并进行预处理得到视频帧序列；
[0010]基于注意力的卷积神经网络构建自动编码器；
[0011]将视频帧序列输入到自动编码器中处理输出得到预测帧；
[0012]构造损失函数，对自动编码器进行训练；
[0013]对含有异常样本的测试集进行异常判断。
[0014]作为本专利技术所述的基于注意力的异常检测方法的一种优选方案，其中：所述预处理包括，将长视频数据切分为单个视频帧图像，将所有视频帧的分辨率统一调整为256
×
256像素，并将像素值归一化为[0,1]。
[0015]作为本专利技术所述的基于注意力的异常检测方法的一种优选方案，其中：所述自动编码器为卷积神经网络的左侧路径对应编码器，右侧路径对应解码器，其中，空间注意力模块被添加到编码器和解码器之间的跳跃连接前。
[0016]作为本专利技术所述的基于注意力的异常检测方法的一种优选方案，其中：所述将视频帧序列输入到自动编码器中处理输出得到预测帧包括，
[0017]首先，编码器对输入的视频帧序列进行两次卷积核为3
×
3卷积处理，然后进入具有2
×
2核的最大池化层；
[0018]重复执行上述操作4次，视频帧的分辨率变为输入时的1/16，输出得到编码特征图M
CR
；
[0019]解码器对编码特征图M
CR
进行两次卷积核为3
×
3卷积处理，然后使用最近邻插值算法实现上采样提高特征图的分辨率，得到解码特征图M
UP
；
[0020]上采样操作后得到的解码特征图M
UP
和与其分辨率相同的编码特征图M
CR
一起输入到空间注意模块，再将注意力模块的输出与解码器中对应的特征进行拼接；
[0021]重复执行上述操作4次，得到与输入帧具有相同分辨率的解码特征图M
UP
；
[0022]对解码特征图M
UP
进行两次卷积核为3
×
3卷积处理和1次卷积核为1
×
1卷积处理，输出预测帧
[0023]作为本专利技术所述的基于注意力的异常检测方法的一种优选方案，其中：所述输入的视频帧序列是由连续的分辨率为h
input
×
w
input
的t帧I1、I2…
I
t
组成的大小为c
input
×
h
input
×
w
input
的矩阵M
input
，其中，c
input
、h
input
和w
input
分别表示矩阵的通道数、高和宽。
[0024]作为本专利技术所述的基于注意力的异常检测方法的一种优选方案，其中：所述构造损失函数，包括，采用重构损失L
rec
和梯度损失L
gra
来构造损失函数，公式如下:
[0025]L＝α
rec
·
L
rec
+α
gra
·
L
gra
[0026]其中，α
rec
、α
gra
为调整L
rec
、L
gra
平衡的超参数。
[0027]作为本专利技术所述的基于注意力的异常检测方法的一种优选方案，其中：所述构造损失函数，其中，重构损失L
rec
描述的是预测帧和真实帧I
t+1<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力的异常检测方法，其特征在于，包括：利用视频数据构建密集人群场景中的异常行为检测数据集并进行预处理得到视频帧序列；基于注意力的卷积神经网络构建自动编码器；将视频帧序列输入到自动编码器中处理输出得到预测帧；构造损失函数，对自动编码器进行训练；对含有异常样本的测试集进行异常判断。2.如权利要求1所述的基于注意力的异常检测方法，其特征在于：所述预处理包括，将长视频数据切分为单个视频帧图像，将所有视频帧的分辨率统一调整为256
×
256像素，并将像素值归一化为[0,1]。3.如权利要求1所述的基于注意力的异常检测方法，其特征在于：所述自动编码器为卷积神经网络的左侧路径对应编码器，右侧路径对应解码器，其中，空间注意力模块被添加到编码器和解码器之间的跳跃连接前。4.如权利要求1所述的基于注意力的异常检测方法，其特征在于：所述将视频帧序列输入到自动编码器中处理输出得到预测帧包括，首先，编码器对输入的视频帧序列进行两次卷积核为3
×
3卷积处理，然后进入具有2
×
2核的最大池化层；重复执行上述操作4次，视频帧的分辨率变为输入时的1/16，输出得到编码特征图M
CR
；解码器对编码特征图M
CR
进行两次卷积核为3
×
3卷积处理，然后使用最近邻插值算法实现上采样提高特征图的分辨率，得到解码特征图M
UP
；上采样操作后得到的解码特征图M
UP
和与其分辨率相同的编码特征图M
CR
一起输入到空间注意模块，再将注意力模块的输出与解码器中对应的特征进行拼接；重复执行上述操作4次，得到与输入帧具有相同分辨率的解码特征图M
UP
；对解码特征图M
UP
进行两次卷积核为3
×
3卷积处理和1次卷积核为1
×
1卷积处理，输出预测帧5.如权利要求1或4所述的基于注意力的异常检测方法，其特征在于：所述输入的视频帧序列是由连续的分辨率为h
input
×
w
input
的t帧I1、I2…
I
t
组成的大小为c
input
×
h
input
×
w
input
的矩阵M
input
，其中，c
input
、h
input
和w
input
分别表示矩阵的通道数、高和宽，c
input
＝3
×
t。6.如权利要求1所述的基于注意力的异常检测方法，其特征在于：所述构造损失函...

【专利技术属性】
技术研发人员：张新峰，方金鹏，
申请(专利权)人：扬州大学，
类型：发明
国别省市：