一种基于动作预测的视频异常行为检测方法技术

本发明专利技术公开了一种基于动作预测的视频异常行为检测方法，具体步骤包括：设计对抗生成网络模型，所设计的对抗生成网络模型包括生成器和判别器；搭建生成器的编码部分；搭建生成器的解码部分；搭建判别器；训练对抗生成网络模型的生成器和判别器；根据得到的最佳生成器网络，对视频中发生的异常事件进行检测。本发明专利技术通过利用一部分正常行为的视频统计其生成误差，根据不同场景以及时间变化动态生成异常检出阈值，能够应用于更多不同的场景，增加鲁棒性。

【技术实现步骤摘要】
一种基于动作预测的视频异常行为检测方法
本专利技术涉及图像与视频处理领域，尤其涉及一种基于动作预测的视频异常行为检测方法。
技术介绍
视频检测是计算机视觉领域的重要应用之一，而其中的视频异常行为检测作为智能视频监控中不可或缺的重要组成部分，目的是为了及时发现监控视频中的异常行为，能够有效地帮助监控人员处理异常行为。异常行为检测方法的关键问题之一是从原始视频中提取相关特征，以便对不同类型的异常进行良好的分类。在传统的特征提取方法中，最常用的是使用空间和时间特征来对行为模式进行建模。空间和时间特征都是基于计算机视觉而提出的，比如方向梯度直方图、光流直方图、社会力模型、密集轨迹和动态纹理。但人工设计的特征需要一定的先验知识，所述先验知识主要依赖于监视目标，并且很难在不同的应用中定义。与传统的人工设计的特征不同，通过深度神经网络能够自动提取得到良好的特征。随着技术发展，深度神经网络在图像分类，图像目标识别等领域取得了巨大的成功，得到了比传统方法更高的准确率。而深度学习在视频异常识别方面也取得了不错的成绩。由于异常行为检测与一般的动作识别和动作检测相比具有异常种类多、异常行为样本少等特点，从而难以通过人工设计行为模式或利用训练数据通过一般的深度学习方法来得到准确度较高的分类器。与正常行为相比，异常行为通常具有不可预知性、突发性大等特点。根据异常行为的不可预知性即异常行为的结果通常与预测不一致的特点，现有技术中利用长短时循环神经网络预测行人轨迹并通过统计预测结果与真实结果的误差来检测视频中的异常行为，所述方法取得了不错的结果。但该方法更实用于人流密集的场景，对于一些异常发生时运动轨迹没有发生改变的场景适用性较低，对于有跑步、跳跃等行为引发的异常事件在检测时，存在鲁棒性较低的缺陷。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于动作预测的视频异常行为检测方法。本专利技术能够更好地提升卷积神经网络在视频一场行为检测任务中的性能和泛化能力。本专利技术的目的能够通过以下技术方案实现：一种基于动作预测的视频异常行为检测方法，具体步骤包括：设计对抗生成网络模型，所设计的对抗生成网络模型包括生成器和判别器；搭建生成器的编码部分；搭建生成器的解码部分；搭建判别器；训练对抗生成网络模型的生成器和判别器；根据得到的最佳生成器网络，对视频中发生的异常事件进行检测。具体地，所述搭建生成器的编码部分步骤中包括动作特征提取模块和图形特征提取模块。在动作特征提取模块中，利用三维卷积的方法提取观测视频的动作特征，形成动作特征图；在图形特征提取模块中，利用二维卷积的方法提取观测视频最后一帧的图形特征，形成图形特征图；将动作特征图与图形特征图结合，作为对视频的编码。更进一步地，所述动作特征提取模块的设置为：第一层由卷积核大小为4×3×3、步长为4×1×1的卷积核形成的卷积层、非线性激活层以及一个大小为1×2×2、步长为1×2×2的最大值池化层组成，之后两层均由卷积核大小为1×3×3、步长为1×1×1的卷积层、非线性激活函数以及大小为1×2×2、步长为1×2×2的最大值池化层串联而成。更进一步地，所述图形特征提取模块由三层组成，具体设置为：每层均由卷积核大小为3×3、步长为1×1的卷积层、非线性激活层、大小为2×2、步长为2×2的最大值池化层串联形成的小模块堆叠而成。输出的图形特征图与动作特征图在长和宽的维度上的大小保持一致。具体地，所述搭建生成器的解码部分步骤中，将输入的动作特征图按时间维度拆分为数个维度为长、宽和通道数的特征图，并按时间维度的先后顺序依次输入到卷积长短期记忆递归神经网络。拆分后的特征图数量与输入的动作特征图中时间维度的长度有关。在所述卷积长短期记忆递归神经网络中，将根据当前输入来更新网络的状态特征图并输出一个动作预测特征图，因而当最后一个时间维度的特征图输入到卷积长短期记忆递归神经网络后，网络会根据之前所有时间维度的输入而更新的状态特征图以及最后一个时间维度的输入而输出一个与所有输入的时间维度相关的动作预测图。由于每个时间维度的特征图输入均能得到一个动作预测特征图，该动作预测特征图与该时间维度以及之前的时间维度相关，因此选择最后一个时间维度作为最终输入的动作预测特征图作为卷积长短期记忆递归神经网络的最终输出。输出一个最终的动作预测特征图后，按通道数的维度拼接动作预测特征图和图形特征图，并输入到两层均由卷积核大小为1×3×3、步长为1×2×2的三维反卷积层和非线性激活层串联形成的网络模块中，最后通过一层卷积核大小为4×3×3、步长为4×2×2的三维反卷积层，然后输入到一个非线性激活层，输出结果为图像大小与原视频相匹配的预测视频的其中四帧，该输出的四帧将作为输入并按搭建生成器编码部分和解码部分中的处理方式进行处理，再次输出新的四帧预测视频片段，直至所有生成预测视频片段的时间长度之和满足要求后按时间先后拼接所有生成的片段，得到完整的预测视频。具体地，所述搭建判别器步骤中的对抗生成网络的判别器包括五层三维卷积模块和三层全连接层；所述三维卷积模块均由三维卷积层、非线性激活层和最大值池化层串联而成；以真实视频以及预测视频作为输出，输出一维的结果对应的分值。具体地，所述训练对抗生成网络模型的生成器和判别器步骤中训练方法为：由生成样本与真实样本分值之差的最小化作为训练判别器的训练方向；对于生成器，由最小化判别器对生成样本的分值以及最小化生成视频与真实视频的生成误差作为训练方向；判别器和生成器交替训练直至生成器网络至最佳。具体地，所述训练对抗生成网络模型的生成器和判别器步骤中生成误差包括真实视频与预测视频进行逐帧像素之差的平方和、真实视频帧间差与预测视频帧间差进行逐帧间差逐像素之差的平方和，分别代表生成预测视频与真实视频图形上的相似程度以及动作上的相似程度。具体地，所述根据得到的最佳生成器网络，对视频中发生的异常事件进行检测步骤中的检测方法为：移除判别器，将视频输入到生成器中得到生成的预测视频，通过记录每个时间段预测视频与真实视频生成的误差动态生成异常检出的阈值，对预测视频的误差超过阈值的判断为视频中发生的异常事件。本专利技术相较于现有技术，具有以下的有益效果：1、本专利技术通过三维卷积结合卷积长短时记忆递归网络，使得训练前不需要预先对视频提取动作特征如光流图等，能够减少数据预处理时间，加快对视频的处理速度。2、本专利技术通过在训练过程中完成对动作和图形的建模，使得模型适用于描述运动轨迹和运动细节，同时也适用于描述场景中图形的外观，能够检测异常动作或异常物体的出现。3、本专利技术通过利用一部分正常行为的视频统计其生成误差，根据不同场景以及时间变化动态生成异常检出阈值，能够应用于更多不同的场景，增加鲁棒性。附图说明图1为本专利技术实施例中一种基于动作预测的视频异常行为检测算法的流程图。图2为本专利技术实施例基于动作预测的视频异常行为检测方法训练阶段网络模型。图3为生成器的编码器部分的动作特征提取模块的流程图。图4为生成器编码部分的图形特征提取模块的流程图。图5为生成器的解码部分流程图。图6为模型判别器流程图。图7为本专利技术实施例基于动作预测的视频异常行为检测方法测试阶段网络模型。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于本文档来自技高网...

【技术保护点】
1.一种基于动作预测的视频异常行为检测方法，其特征在于，具体步骤包括：设计对抗生成网络模型，所设计的对抗生成网络模型包括生成器和判别器；搭建生成器的编码部分；搭建生成器的解码部分；搭建判别器；训练对抗生成网络模型的生成器和判别器；根据得到的最佳生成器网络，对视频中发生的异常事件进行检测。

【技术特征摘要】
1.一种基于动作预测的视频异常行为检测方法，其特征在于，具体步骤包括：设计对抗生成网络模型，所设计的对抗生成网络模型包括生成器和判别器；搭建生成器的编码部分；搭建生成器的解码部分；搭建判别器；训练对抗生成网络模型的生成器和判别器；根据得到的最佳生成器网络，对视频中发生的异常事件进行检测。2.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述搭建生成器的编码部分步骤中生成器编码部分包括动作特征提取模块和图形特征提取模块；在动作特征提取模块中，利用三维卷积的方法提取观测视频的动作特征，形成动作特征图；在图形特征提取模块中，利用二维卷积的方法提取观测视频最后一帧的图形特征，形成图形特征图；将动作特征图与图形特征图结合，作为对视频的编码。3.根据权利要求2所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述动作特征提取模块的设置为：第一层由卷积核大小为4×3×3、步长为4×1×1的卷积核形成的卷积层、非线性激活层以及一个大小为1×2×2、步长为1×2×2的最大值池化层组成，之后两层均由卷积层1×3×3、步长为1×1×1的卷积层、非线性激活函数以及大小为1×2×2、步长为1×2×2的最大值池化层串联而成。4.根据权利要求2所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述图形特征提取模块由三层组成，具体设置为：每层均由卷积核大小为3×3、步长为1×1的卷积层、非线性激活层、大小为2×2、步长为2×2的最大值池化层串联形成的小模块堆叠而成；输出的图形特征图与动作特征图在长和宽的维度上的大小保持一致。5.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述搭建生成器的解码部分步骤中，将输入的动作特征图按时间维度拆分为数个维度为长、宽和通道数的特征图，并按时间维度的先后顺序依次输入到卷积长短期记忆递归神经网络，从而得到一个维度为...

【专利技术属性】
技术研发人员：黎敏婷，余翔宇，范子娟，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44