基于低秩自适应稀疏重建的异常事件检测方法技术

本发明专利技术公开了一种基于低秩自适应稀疏重建的异常事件检测方法，包括特征提取、训练和检测三个过程：1)提取视频序列的多尺度三维梯度特征；2)对多尺度三维梯度特征进行降维，形成训练特征集和测试特征集；3)初始化剩余训练特征和相关参数；4)对剩余训练特征进行迭代组稀疏字典学习，获得正常模式字典集及其低秩信息；5)利用由训练过程获取的组稀疏字典集及其低秩信息，对测试特征进行加权稀疏重建；6)根据重建误差，判断测试特征是否为异常特征。本发明专利技术解决了异常检测技术中，未充分挖掘视频数据的低秩特性和检测效率不佳的缺点。

【技术实现步骤摘要】

本专利技术涉及模式识别和视频分析领域，更具体地说，涉及一种基基于低秩自适应稀疏重建的异常事件检测方法。
技术介绍
视频序列异常事件检测是计算机视觉中的一个活跃的研究课题，已被广泛使用在许多应用中，如人群监控，公共场所检测，交通安全和个人行为异常。面对海量的视频数据，传统的人工标记异常事件费时、低效。因此，自动化和快速的视频序列异常检测方法是迫切需要的。虽然关于异常事件检测的研究在特征提取、行为建模和异常测量等方面已经取得了很大的进展，但是视频序列异常事件检测仍然是一个非常具有挑战性的任务。首先，对于视频中的异常事件没有精确的定义。一种常见的异常行为识别方法是异常行为模式聚类，另一种是把那些发生率低的检测样本作为异常。第一种方法的困难之处在于没有足够的先验知识来描述异常行为模式；第二种方法需要建立概率模型，异常检测依赖于正常模式的定义和特征的多尺度变化。其次，密集场景中的异常检测要求行为模型可以处理高密度的运动目标，这需要考虑多个目标之间遮掩和相互作用的影响。从特征提取的角度看，异常事件检测方法可以分为基于目标轨迹的方法和基于低层次特征的方法。基于目标轨迹的方法首先进行运动目标跟踪，然后利用目标轨迹来检测异常事件。基于目标轨迹的方法可以清晰地表示各时刻目标的空间状态，但是这一类方法对噪声、遮掩和跟踪错误敏感，不能对密集场景进行异常检测。基于低层次特征的方法通过提取视频序列中像素级别的运动特征和形态特征，可以克服目标轨迹法的缺点。目前，异常事件检测的主流方法包括动态贝叶斯网络(DBNs)，概率主题模型(PTMs)和稀疏表示模型。在DBNs中，隐藏马尔可夫模型(HMM)和马尔可夫随机场(MRF)随着检测目标的增加会成几何级数地提高建模代价，导致这些模型不足以处理密集的场景。与DBNs相比，PTMs，如PLSA和LDA，只关注空间上共生的视觉单词，却忽略了特征的时序信息，使得概率主题模型不能在时空上定位异常事件。近年来，针对异常检测的稀疏表示模型引起了人们的关注。大多数的稀疏表示模型通过训练得到一个过完备字典，但是没有充分挖掘视频数据的低秩特性和内在结构冗余。
技术实现思路
本专利技术的目的在于，针对上述异常检测技术中，未充分挖掘视频数据的低秩特性和检测效率不佳的缺点，利用低秩逼近算法获取字典及其字典基中的低秩信息，提出一种基于低秩自适应稀疏重建的异常事件检测方法。实现本专利技术目的的技术解决方案为：一种基于低秩自适应稀疏重建的异常事件检测方法，包括特征提取、训练和检测三个过程：特征提取过程包括以下步骤：1)提取视频序列的多尺度三维梯度特征；2)对多尺度三维梯度特征进行降维，形成训练特征集和测试特征集。训练过程包括以下步骤：3)初始化剩余训练特征和相关参数；4)对剩余训练特征进行迭代组稀疏字典学习，获得正常模式字典集及其低秩信息。测试过程包括以下步骤：5)利用由训练过程获取的组稀疏字典集及其低秩信息，对测试特征进行加权稀疏重建；6)根据重建误差，判断测试特征是否为异常特征。上述方法中，所述步骤1)包括以下具体步骤：1.1)对视频序列的每一帧图像进行不同尺度的缩放，形成一个三层图像金字塔。1.2)对每一层图像进行时空立方体采样，提取空间上不重叠区域的三维梯度特征。1.3)针对每一层视频序列，将同一空间区域上连续5帧的三维梯度特征叠加在一起，组成一个时空特征。上述方法中，所述步骤2)包括以下具体步骤：2.1)利用主成分分析(PCA)，对上述提取的每一个时空特征进行降维。2.2)利用上述方法，将训练视频序列和测试视频序列转换为训练特征集和测试特征集。上述方法中，所述步骤3)包括以下具体步骤：3.1)将步骤2.2)获取的训练特征集初始化为剩余训练特征集。3.2)初始化正则化参数、误差阈值、迭代次数和正常模式字典集。上述方法中，所述步骤4)包括以下具体步骤：4.1)如果剩余特征集为空，训练过程结束；如果剩余特征集不为空，确定聚类数目，对剩余特征集进行K均值聚类。4.2)分别对每一个特征聚类进行字典学习，得到组稀疏字典。4.3)挑选合适字典去表示剩余特征。如果字典可以表示剩余特征，则将该字典加入正常模式字典集，保留该字典中原子所对应的低秩信息，并将可以用该字典表示的特征从剩余训练特征集中移除；如果字典不可以表示任意一个剩余特征，则丢弃该字典。4.4)迭代次数加1，跳到步骤4.1)。上述方法中，所述步骤5)包括以下具体步骤：5.1)对于每一个测试特征，遍历由训练过程获取的正常模式字典集及其低秩信息，利用本专利技术提出的加权稀疏重建方法，估算字典对应的稀疏系数。5.2)根据5.1)估算的稀疏系数和对应字典及其低秩信息，计算该测试特征对应于该组稀疏字典的重建误差。上述方法中，所述步骤6)包括以下具体步骤：6.1)对于某一测试特征，如果找到一个对应重建误差小于重建阈值的字典，则判断该测试特征为正常特征。6.2)对于某一测试特征，如果其对应的任意字典集的重建误差均大于重建阈值，则判断该测试特征为异常特征；本专利技术与现有技术相比，其显著优点：其一，因为每个视频特征聚类的低秩特性，利用低秩逼近学习正常模式字典的方法，可以有效地表示组相似的正常特征；其二，该方法自适应地决定每个正常行为模式的字典基数目，可以更准确地进行动态场景语义理解；其三，不同于传统的稀疏表示方法，该方法通过在一个字典集中挑选一个合适的字典，来表示检测样本，使得视频事件的稀疏重建更精准，显著提高了检测速度，保证实时性；其四，基于低秩信息加权的视频事件重建方法可以高效地检测异常事件。附图说明图1为自适应异常事件检测方法概览图。图2为三维时空梯度特征提取流程图。图3为多尺度视频帧。图4为三维梯度特征。图5为空间区域上重叠的时空立方体。图6为组稀疏字典学习流程图。图7为异常事件检测流程图。具体实施方式下面结合附图对本专利技术作进一步详细的说明。本专利技术的异常事件检测方法包括特征提取过程、训练过程和测试过程三个主要过程，如图1所示。特征提取过程如图2所示，包括以下具体步骤：视频序列图像帧转换为三维图像金字塔过程21。将视频序列的每一帧图像转换为灰度图像，并将每一帧灰度图像缩放为三种不同尺度：20×20,30×40和120×160，形成一个三层图像金字塔。对于图像金字塔的每个尺度，每一帧被划分为同样空间大小(10×10)的不重叠区域，如图3所示。提取视频序列三维梯度特征过程22。为了兼顾密集场景中目标的形态特征和运动特征，采用三维时空梯度作为特征提取的目标，如图4所示。假设x,y和t分别表示视频序列中的水平、垂直和时间方向，G是一个像素的三维梯度，它对应的三维投影分别是Gx、Gy和Gt。利用时空立方体采样形成时空特征过程23。连续5帧上的同一空间区域组成时空立方体，每一个时空立方体由一个大小为10×10×5的立方体中的所有像素构成，lx×ly＝10×10和lt＝5分别表示时空立方体的空间大小和时序长度。一个时空立方体中的所有像素的三维梯度构成一个三维时空梯度特征。为了保持场景事件的时序信息，在每一个空间区域上采样时序上重叠的时空立方体，如图5所示。假设一个时空立方体的体心为(Sx,Sy,St)，那么其时序上相邻的时空立方体位于(Sx,Sy,St-lt/2)和(Sx,Sy,St+lt/2本文档来自技高网...

【技术保护点】
一种基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：包括特征提取、训练和检测三个过程：特征提取过程，包括以下步骤：1)提取视频序列的多尺度三维梯度特征；2)对多尺度三维梯度特征进行降维，形成训练特征集和测试特征集；训练过程，包括以下步骤：3)初始化剩余训练特征和相关参数；4)对剩余训练特征进行迭代组稀疏字典学习，获得正常模式字典集及其低秩信息；测试过程，包括以下步骤：5)利用由训练过程获取的组稀疏字典集及其低秩信息，对测试特征进行加权稀疏重建；6)根据重建误差，判断测试特征是否为异常特征。

【技术特征摘要】
1.一种基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：包括特征提取、训练和检测三个过程：特征提取过程，包括以下步骤：1)提取视频序列的多尺度三维梯度特征；2)对多尺度三维梯度特征进行降维，形成训练特征集和测试特征集；训练过程，包括以下步骤：3)初始化剩余训练特征和相关参数；4)对剩余训练特征进行迭代组稀疏字典学习，获得正常模式字典集及其低秩信息；测试过程，包括以下步骤：5)利用由训练过程获取的组稀疏字典集及其低秩信息，对测试特征进行加权稀疏重建；6)根据重建误差，判断测试特征是否为异常特征。2.根据权利要求1所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：所述步骤1)包括以下具体步骤：1.1)对视频序列的每一帧图像进行不同尺度的缩放，形成一个三层图像金字塔；1.2)对每一层图像进行时空立方体采样，提取空间上不重叠区域的三维梯度特征；1.3)针对每一层视频序列，将同一空间区域上连续5帧的三维梯度特征叠加在一起，组成一个时空特征。3.根据权利要求1、2所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：所述步骤2)包括以下具体步骤：2.1)利用主成分分析PCA，对上述提取的每一个时空特征进行降维；2.2)利用上述方法，将训练视频序列和测试视频序列转换为训练特征集和测试特征集。4.根据权利要求1或3所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：所述步骤3)包括以下具体步骤：3.1)将步骤2.2)获取的训练特征集初始化为剩余训练特征集；3.2)初始化正则化参数、误差阈值、迭代次数和正常模式字典集。5.根据权利要求1中所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在...

【专利技术属性】
技术研发人员：刘亚洲，余博思，刘柯柯，孙权森，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32