一种基于双流时空自编码器的视频异常事件检测方法技术

本发明专利技术属于视频监控领域，公开了一种基于双流时空自编码器的视频异常事件检测方法，该方法具体包括：视频预处理；设定深度时空自编码器；构建伪异常数据集并进行对抗训练；使用重构误差训练二元分类器；异常事件检测。本发明专利技术通过有效地组合外观和运动信息，可以有效地对正常事件进行建模；通过忽略冗余环境信息来提高重构框架的性能，以检测异常事件；此外，这两个分支中的每一个都由一个标准分支和一个对抗分支组成，对抗分支可以通过使用伪异常数据集进一步提高异常检测的精确度，该伪异常数据集可以增强识别异常事件的能力；在三个数据集上的实验证明该方法在帧级和像素级上优于一系列最先进的方法。一系列最先进的方法。一系列最先进的方法。

【技术实现步骤摘要】
一种基于双流时空自编码器的视频异常事件检测方法


[0001]本专利技术属于智能安防中的视频监控领域，尤其涉及一种基于双流时空自编码器的视频异常事件检测方法。

技术介绍

[0002]随着互联网技术的迅速发展，智能监控在维护公共场所秩序方面的重要性也日益增加，而异常事件检测技术是其中的核心技术。然而，目前大部分的视频内容监督分析工作依赖于人工进行，这样传统的人工异常事件检测不仅是对人力资源的极大浪费，更无法实现对异常事件的及时预警。由于异常事件发生的频率较低；不同的场景下正、异常事件均无明确定义；异常检测方法计算代价大，速度慢，不能满足实时需求等难点，异常事件检测仍是一项极具挑战的任务。
[0003]由于异常事件很少发生，可收集到的异常数据较少，大多数方法都采用在无监督的方式下训练仅包含正常样本的异常检测模型。自编码器在视频异常检测中表现出了良好的性能，它遵循基于重构的假设，即由于异常事件是不规则的，这就导致异常事件的重构误差远大于正常事件。Chong等人和Zhao等人将3D卷积和卷积长短期记忆网络添加到原始自动编码器中，以提取时间信息。Wang等人提出了一种混合自动编码器来学习长期视频的外观和运动特征。但以前的方法往往仅仅是简单地整合外观和运动信息，并不能准确地模拟正常事件。
[0004]最近，双流网络已用于视频异常事件检测。其基本思想是使用单帧RGB作为输入来处理空间信息并且使用多帧光流图作为输入来处理时间信息。与正常事件相比，异常事件对应于意外的外观和运动。Wei等人使用双流全卷积神经网络(FCN)来提取互补信息。此外，Li等人将双流框架与自动编码器相结合，以探索异常检测的外观和运动线索。在这些方法中，由于深度神经网络的强大表示，自动编码器和双流网络的组合不能保证异常事件的大重构误差。此外，双流网络需要在大量标记的数据集上进行学习，但是目前缺少异常样本，导致容易出现过拟合问题。
[0005]通过上述分析，现有技术存在的问题及缺陷为：
[0006]由于深度神经网络的强大表示，自动编码器和双流网络的组合不能保证对异常事件有较大重构误差。此外，双流网络的训练需要大量标记的数据集，但异常事件的样本远小于正常事件，容易出现过拟合问题。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种基于双流时空自编码器的视频异常事件检测方法，该方法充分利用了空间和时间信息，空间流将检测到的物体作为输入以重构正常事件的外观模型，而时间流将光流图作为输入以重构正常事件的时间模型，双流能充分利用外观和运动信息。此外，受伪标签的启发，提出了一种基于伪数据集的对抗分支。一方面，它可以弥补经典监督学习所需的异常数据的不足，并解决自编码器仅在正常事件
上进行训练所导致的过拟合问题。另一方面，它可以保证对异常事件较大的异常重构误差，提高检测精度。
[0008]本专利技术通过一下技术方案得以实现。
[0009]本专利技术提供一种基于双流时空自编码器的视频异常事件检测方法，该方法具体包括：
[0010]步骤一，视频预处理；
[0011]步骤二，设定双流时空自编码器；
[0012]步骤三，构建伪异常数据集并进行对抗训练；
[0013]步骤四，使用重构误差训练二元分类器；
[0014]步骤五，异常事件检测。
[0015]进一步，所述步骤一首先将视频处理成帧，使用Yolov3目标检测方法和Selflow光流估计方法，对UCSD Ped1、UCSD Ped2和Avenue数据集进行处理，提取单个视频帧中的前景对象和生成连续视频帧的光流图。
[0016]进一步，所述步骤二中所述双流时空自编码器由空间自编码器和时序自编码器组成，遵循U
‑
Net架构，空间流学习目标对象的外观特征，而时序流从光流图中学习更高级的运动特征；每个编码器e
*
由三个块组成，其中包含卷积层和最大池层；对于空间流，重构输入对象x的损失函数如下所示：
[0017][0018]其中，是标准分支的输出，输入大小为h＝w＝64。
[0019]对于时间流，重构输入光流x
′
的损失函数如下所示：
[0020][0021]其中，是标准分支的输出，输入大小为h＝w＝64，c＝2。
[0022]进一步，所述步骤三中首先设计并构建了一个伪异常数据集，该数据集可以应用于不同的数据集，不包含可能发生在真实异常事件检测场景中的对象，例如人、汽车、滑冰者等。从图像数据集和训练数据集中随机选择两个图像I
i
和I
j
，生成伪异常图像，如下所示：
[0023][0024]其中，i≠j。
[0025]进一步，所述伪异常样本被输入对抗分支，自编码器必须处理这些超出正常事件的情况，使其具备可以处理超出正常事件以外情况的能力。
[0026]进一步，所述步骤四中利用二元分类器，使用经典监督策略来区分正常和伪异常
示例，具体包括：
[0027]在将空间流和时序流分别训练为最优后，提出了两个二元分类器，使用类似的经典监督策略来区分正常和伪异常示例，二元分类器的输入是正常重构分支和对抗性重构分支的输入和输出之间的重构误差；
[0028][0029]其中，x是空间流或时序流的输入，
[0030][0031]其中，是大小为N的输入批次为i
th
的超立方体，
[0032]是空间流或时序流的正常和对抗性重构的预估，
[0033]进一步，所述步骤五中进行异常检测，具体包括：
[0034](1)使用双流网络的正常分支，没有用对抗分支，来获得外观和运动的表示；
[0035](2)计算空间和时间重构误差并将其输入给分类器；
[0036](3)两个二元分类器输出每个对象的正常得分；
[0037](4)通过重新组合检测到的异常分数，可以获得像素级异常检测。
[0038]进一步，所述正常得分在0和1之间归一化，每个对象中的任意像素的异常分数通过从1中减去两个正常分数的平均值来计算，再利用0和1间的适当阈值可以确定异常事件。
[0039]进一步，所述正常分数是针对每一个像素的分数，而帧级异常分数是对应帧的像素分数中的最大值。
[0040]结合上述的技术方案和解决的技术问题，请从以下几方面分析本专利技术所要保护的技术方案所具备的优点及积极效果为：
[0041]第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本专利技术的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本专利技术技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
[0042]本专利技术提出了一种新的双流时空自编码器方法来确定视频中的异常事件，新的方法充分利用双流网络提取的视频帧空间和时序信息。
[0043]本专利技术结合对抗训练的方法，使用伪异常样本作为对抗分支的输入，以防止自编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流时空自编码器的视频异常事件检测方法，其特征在于：所述基于双流时空自编码器的视频异常事件检测方法利用空间和时间信息，空间流将检测到的物体作为输入以重构正常事件的外观模型，而时间流将光流图作为输入以重构正常事件的时间模型，双流能充分利用外观和运动信息。2.如权利要求1所述的基于双流时空自编码器的视频异常事件检测方法，其特征在于：所述基于双流时空自编码器的视频异常事件检测方法具体包括：步骤一，视频预处理；步骤二，设定双流时空自编码器；步骤三，构建伪异常数据集并进行对抗训练；步骤四，使用重构误差训练二元分类器；步骤五，异常事件检测。3.如权利要求2所述的基于双流时空自编码器的视频异常事件检测方法，其特征在于，所述步骤一首先将视频处理成帧，使用yolov3目标检测方法和selflow光流估计方法，对UCSD Ped1、UCSD Ped2和Avenue数据集进行处理，提取单个视频帧中的前景对象和生成连续视频帧的光流图；所述步骤二中所述双流时空自编码器由空间自编码器和时序自编码器组成，遵循U
‑
Net架构，空间流学习目标对象的外观特征，而时序流从光流图中学习更高级的运动特征；每个编码器e
*
由三个块组成，其中包含卷积层和最大池层；对于空间流，重构输入对象x的损失函数如下所示：其中，是标准分支的输出，输入大小为h＝w＝64。对于时间流，重构输入光流x
′
的损失函数如下所示：其中，是标准分支的输出，输入大小为h＝w＝64,c＝2。4.如权利要求2所述的基于双流时空自编码器的视频异常事件检测方法，其特征在于，所述步骤三中首先设计并构建了一个伪异常数据集，该数据集可以应用于不同的数据集，不包含可能发生在真实异常事件检测场景中的对象，例如人、汽车、滑冰者等。从图像数据集和训练数据集中随机选择两个图像I
i
和I
j
，生成伪异常...

【专利技术属性】
技术研发人员：郭标，刘明睿，何倩，蒋明，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：