一种视频流异常事件的检测方法及装置制造方法及图纸

本申请提供的视频流异常事件的检测方法及装置，将自动编码机堆叠起来构建深度神经网络框架，通过无监督的方式学习外形和运动信息的深度表述特征，设计单分类支持向量机作为正常与异常事件的分类器。为了更好地利用外形和运动信息的互补性，使用了两层信息融合方式来提高分类器的分类能力：前期的特征融合和后期的分类结果融合，两次的融合技术来更好利用外形和运动信息之间的互补性，提高了异常事件检测和定位的准确率。

【技术实现步骤摘要】

本专利技术涉及图像处理
，一种视频流异常事件的检测方法及装置。
技术介绍
在视频流中自动检测异常事件是智能视频监控的一个基本研究问题，近年来在工业界和学术界都引起了极大的关注。视频异常事件检测同时也和计算机视觉领域其他的问题相关联，比如：显著性分析，兴趣区域预测等。处理这类问题的方法通常是通过正常行为模式学习一个行为模型，把与此模型显著背离的模式检测为异常行为。以前学者的研究工作大体上可以划分为两类：基于场景中独立目标轨迹分析和基于空间或者时间行为模式构建。现有技术中一种是采用具有相似运动模式且空间上靠近的轨迹被识别出来且用于异常事件检测；另一种是使用多层次光流直方图作为特征描述子，构建一个稀疏词典模型来描述正常行为模式，把特征重构误差作为异常事件检测的标准。但是，这类方法有一个共同的特点：从低层次的外形和动作描述中，人工提取出一些特征用于模型构建。但是这些人工特征隐含了对描述对象的先验知识。然而，在复杂的视频监控场景下，这些先验知识很难获得，因而人工提取特征具有很大的局限性，因此，现有技术的视频流检测中，不仅检测难度大，并且检测的准确性也受到制约，导致检测不准。
技术实现思路
本申请提供一种视频流异常事件的检测方法及装置，可以提高异常事件检测和定位的准确率。根据第一方面，一种实施例中提供一种视频流异常事件的检测方法，包括：将训练样本集输入至深度学习神经网络，学习得到所述深度学习神经网络的模型参数，得到训练后的深度学习神经网络；其中，所述深度学习神经网络包括：堆叠在一起的多个自动编码器机，所述训练样本集为多个训练样本的集合，所述训练样本提取自训练图像；根据所述训练样本，分别学习出所述训练样本的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数；采用支持向量机学习方法，分别对所述训练图像的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数进行学习，对应构建出三个单分类支持向量机模型；将待测的视频流图像预先分成若干个预设大小的待测图像块，将所述待测图像块输入至所述训练后的深度学习神经网络，分别学习出所述待测图像块的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数；将所述待测图像块的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数分别输入至所述三个单分类支持向量机模型，对应计算得到所述图像块的三类异常信息的得分；将所述三类异常信息的得分做加权求和，计算得到所述图像块的异常事件得分；判断所述异常事件得分是否大于阈值，若是，则判定所述图像块为异常事件。根据第二方面，一种实施例中提供一种一种视频流异常事件的检测装置，包括：训练阶段输入单元，用于将训练样本集输入至深度学习神经网络，学习得到所述深度学习神经网络的模型参数，得到训练后的深度学习神经网络；其中，所述深度学习神经网络包括：堆叠在一起的多个自动编码器机，所述训练样本集为多个训练样本的集合，所述训练样本提取自训练图像；训练阶段学习单元，用于根据所述训练样本，分别学习出所述训练样本的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数；判别器构建单元，用于采用支持向量机学习方法，分别对所述训练图像的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数进行学习，对应构建出三个单分类支持向量机模型；输入单元，用于将待测的视频流图像预先分成若干个预设大小的待测图像块，将所述待测图像块输入至所述训练后的深度学习神经网络，分别学习出所述待测图像块的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数；计算单元，用于将所述待测图像块的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数分别输入至所述三个单分类支持向量机模型，对应计算得到所述图像块的三类异常信息的得分；融合单元，用于将所述三类异常信息的得分做加权求和，计算得到所述图像块的异常事件得分；判断单元，用于判断所述异常事件得分是否大于阈值，若是，则判定所述图像块为异常事件。依据上述实施例的视频流异常事件的检测方法及装置，将自动编码机堆叠起来构建深度神经网络框架，通过无监督的方式学习外形和运动信息的深度表述特征，设计单分类支持向量机作为正常与异常事件的分类器。为了更好地利用外形和运动信息的互补性，使用了两层信息融合方式来提高分类器的分类能力：前期的特征融合和后期的分类结果融合，两次的融合技术来更好利用外形和运动信息之间的互补性，提高了异常事件检测和定位的准确率。附图说明图1为本申请实施例的视频流异常事件的检测方法流程图；图2为一种实施例的视频流异常事件的检测方法的步骤101的流程图；图3为一种实施例的视频流异常事件的检测方法步骤101的流程图；图4为一种实施例的视频流异常事件的检测方法步骤101的流程图；图5为一种实施例的神经网络的检测示意图；图6为本申请实施例的视频流异常事件的检测装置结构示意图；图7为一种实施例的视频流异常事件的检测装置结构示意图；图8为一种实施例的视频流异常事件的检测装置结构示意图；图9为一种实施例的视频流异常事件的检测装置结构示意图。具体实施方式目前，深度学习框架已经被成功地应用于解决各种计算机视觉问题，比如：图像分类，物体检测，行为识别等。例如：在现有技术中，基于自动编码机的非监督深度学习方法已经被用于解决物体追踪问题。深度学习方法成功的核心之处在于通过多层次的非线性变换可以学习到具有很强区分能力的特征。本申请的视频流异常事件的检测方法及装置，主要利用层叠的自动稀疏编码机(stackedsparseautoencoders)来学习视频图像外形、运动信息的深度特征表述，然后构建单分类支持向量机(one-classSupportVectorMachine)模型进行异常事件检测。同时，应用一种两次的融合技术来更好利用外形和运动信息之间的互补性，以提高异常事件检测和定位的准确率。下面通过具体实施方式结合附图对本专利技术作进一步详细说明。实施例一：请参考图1，本申请实施例提供一种视频流异常事件的检测方法，包括以下步骤：101、将训练样本集输入至深度学习神经网络，学习得到训练后的深度学习神经网络。深度学习神经网络包括：堆叠在一起的多个自动编码器机，训练样本集为多个训练样本的集合，训练样本提取自训练图像。需要进一步指出的是，应使用大量的图片或者图本文档来自技高网...

【技术保护点】
一种视频流异常事件的检测方法，其特征在于，包括：将训练样本集输入至深度学习神经网络，学习得到所述深度学习神经网络的模型参数，得到训练后的深度学习神经网络；其中，所述深度学习神经网络包括：堆叠在一起的多个自动编码器机，所述训练样本集为多个训练样本的集合，所述训练样本提取自训练图像；根据所述训练样本，分别学习出所述训练样本的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数；采用支持向量机学习方法，分别对所述训练图像的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数进行学习，对应构建出三个单分类支持向量机模型；将待测的视频流图像预先分成若干个预设大小的待测图像块，将所述待测图像块输入至所述训练后的深度学习神经网络，分别学习出所述待测图像块的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数；将所述待测图像块的外形信息特征参数、运动信息特征参数以及所述外形信息和所述运动信息的联合特征参数分别输入至所述三个单分类支持向量机模型，对应计算得到所述图像块的三类异常信息的得分；将所述三类异常信息的得分做加权求和，计算得到所述图像块的异常事件得分；判断所述异常事件得分是否大于阈值，若是，则判定所述图像块为异常事件。...

【技术特征摘要】
1.一种视频流异常事件的检测方法，其特征在于，包括：
将训练样本集输入至深度学习神经网络，学习得到所述深度学习神经网络的模型参
数，得到训练后的深度学习神经网络；其中，所述深度学习神经网络包括：堆叠在一起的多
个自动编码器机，所述训练样本集为多个训练样本的集合，所述训练样本提取自训练图像；
根据所述训练样本，分别学习出所述训练样本的外形信息特征参数、运动信息特征参
数以及所述外形信息和所述运动信息的联合特征参数；
采用支持向量机学习方法，分别对所述训练图像的外形信息特征参数、运动信息特征
参数以及所述外形信息和所述运动信息的联合特征参数进行学习，对应构建出三个单分类
支持向量机模型；
将待测的视频流图像预先分成若干个预设大小的待测图像块，将所述待测图像块输入
至所述训练后的深度学习神经网络，分别学习出所述待测图像块的外形信息特征参数、运
动信息特征参数以及所述外形信息和所述运动信息的联合特征参数；
将所述待测图像块的外形信息特征参数、运动信息特征参数以及所述外形信息和所述
运动信息的联合特征参数分别输入至所述三个单分类支持向量机模型，对应计算得到所述
图像块的三类异常信息的得分；
将所述三类异常信息的得分做加权求和，计算得到所述图像块的异常事件得分；
判断所述异常事件得分是否大于阈值，若是，则判定所述图像块为异常事件。
2.如权利要求1所述的视频流异常事件的检测方法，其特征在于，所述训练样本为图像
块的外形信息特征，所述将训练样本输入至深度学习神经网络包括：
使用若干个不同尺寸的滑动窗口对...

【专利技术属性】
技术研发人员：李楠楠，李革，徐旦，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44