一种基于时序一致性的弱监督异常行为检测方法技术

本发明专利技术公开了一种基于时序一致性的弱监督异常行为检测方法，包括步骤：构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；基于人类行为的时态一致性和平滑特征性处理行为视频对，形成一个行为单元对，获得相关行为片段，并定位行为片段中相关异常动作类的开始帧和结束帧；基于弱监督对获取得到的行为片段进行学习，得到可判断各种行为特征的操作分类器；基于字典学习和求解稀疏编码重建操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。本发明专利技术提供的弱监督异常行为检测方法很容易学习相关行为分类的特征，而不用手动标注帧的边界建立相关的行为模型。

【技术实现步骤摘要】
一种基于时序一致性的弱监督异常行为检测方法
本专利技术涉及图像处理
，涉及一种异常行为检测方法，尤其涉及一种基于时序一致性的弱监督异常行为检测方法。
技术介绍
基于弱监督的异常行为检测方法是国内外学者的研究热点，其主要原理是利用人类行为推进的时态一致性和平滑特性形成一个行为单元对，定位视频中相关异常动作类的开始和结束帧，并训练相应的操作分类器，然后进行基于稀疏重建的异常行为检测。弱监督的异常行为检测方法关键在于如何定位视频中相关异常动作类的开始和结束帧。现有的异常行为检测大多采用人工特征，然而人工特征计算复杂度高，且在复杂场景下很难选择并设计一种有效的行为特征。现在大多数方法依赖于有标注的视频数据，也就是在训练数据集中，行为的开始和结束时间都是有标注的。生活的应用中，这需要创建大量的训练数据，花费代价很大。
技术实现思路
本专利技术的主要目的在于解决现有技术中人工特征计算复杂度高，且在复杂场景下很难选择并设计一种有效的行为特征的问题，提供一基于时序一致性的弱监督异常行为检测方法，具体技术方案如下：一种基于时序一致性的弱监督异常行为检测方法，包括如下步骤：构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；基于人类行为的时态一致性和平滑特征性处理所述行为视频对，形成一个行为单元对，获得候选行为片段，并定位所述行为片段中相关异常动作类的开始帧和结束帧；基于弱监督对获取得到的所述行为片段进行学习，得到可判断各种行为特征的操作分类器；基于字典学习和求解稀疏编码重建所述操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。本专利技术的进一步改进，还包括步骤：定义所述行为视频对，并对定义后的视频进行预设大小长度和宽度子序列的构造；提取视频中帧级别的特征并应用序列池来获得所述行为视频对中每一个视频固定长度的时序编码；根据所述行为视频对构造一相似矩阵，并根据现有公式对每对视频片段进行内积的计算。本专利技术的进一步改进，还包括步骤，通过算法找到行为视频对中两个行为视频具备预设匹配度的片段。本专利技术的进一步改进，还包括步骤，分割所述行为视频对，使两个所述行为视频具有相同数量的子行为数。本专利技术的进一步改进，还包括步骤：将每一个行为视频分割成一系列的帧片段，并给每一个所述帧片段分配一个行为片段。本专利技术的进一步改进，还包括步骤，对所述行为片段中的子行为进行帧大小调整。本专利技术的进一步改进，还包括步骤：将所述行为视频对中的每一个行为作为一系列所述子行为顺序组合而成的模型；以及对每一个行为进行分类，并对每一类行为中的子行为进行相对应的定义，使所述子行为顺序排列。本专利技术的进一步改进，所述行为检测系统基于RNN和HMM建立形成。本专利技术实施例中，通过将RNN和HMM组合在一起建立一个行为检测系统，首先在行为检测系统中导入一行为视频对，通过所述行为视频对构造一时序矩阵，然后基于人类行为推荐的时态一致性和平滑特性对时序矩阵进行处理，得到一行为单元对，获得候选的行为片段，并且同时定位行为视频中的相关异常行为的起始帧和结束帧，将获取得到的行为片段进行分割成若干帧级别，并且每一帧级别匹配一更小的行为片段；随后基于弱监督对获取得到的候选行为片段进行学习，得到可以对视频片段中各异常行为动作进行判断的操作分类器，最后基于字典学习和求解稀疏编码对获取的行为片段进行重建，形成新的检测异常行为类的行为判断逻辑，从而达到对异常行为的检测和判断；本专利技术提供的方法很容易学习相关行为分类的特征，不用手动标注帧的边界建立相关的行为模型，简单而有效。附图说明图1为本专利技术所述方法的流程示意图；图2为本专利技术每一个动作的迭代过程示意图；图3为本专利技术实施例结果所得ROC曲线图；图4为基于行为匹配的无监督行为检测示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例,附图中给出了本专利技术的较佳实施例。本专利技术可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本专利技术的公开内容的理解更加透彻全面。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。和完全监督检测或分割的方法不同，弱监督学习中视频中只有一个有序的行为发生列表可用来训练，基于帧的真实数据是可获得的。参阅图1，在本专利技术实施例中，提供了一种基于时序一致性的弱监督异常行为检测方法，所述方法包括步骤：S1：构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；在本专利技术实施例中，通过RNN和HMM组合建立一个行为检测系统，通过所述行为检测系统完成对异常行为的检测和监督，其中，所述RNN是一种节点定向连接成环的人工神经网络，其内部状态可以展示动态时序行为；HMM为一种分析统计模型；在本专利技术实施例中，RNN主要作为一个反馈动力系统，HMM主要对行为动作进行分析统计，通过RNN和HMM结合实现基于时序一致性的弱监督异常行为检测功能。实施例中，在构建行为检测系统完成后，给定一行为视频对，定义为Xa和Xb，将Xa和Xb导入行为检测系统中，按照预设要求构造出长度为lw宽度为ls的子序列；优选的，分别将Xa和Xb的子序列称为A和B，并将视频帧序列称为视频片段，对于每一个视频片段，提取帧级别的特征并应用序列池来获得固定长度的时序编码；与之相对应的，Xa获得的时序池向量的有续集为Xb获得的时序池向量的有续集为同时，构造一个大小为A×B的相似矩阵(Gram矩阵)G，由于A×B的相似矩阵G来自行为视频对Xa和Xb，所以每对视频片段的内积可根据公式计算得到。S2：基于人类行为的时态一致性和平滑特征性处理所述行为视频对，形成一个行为单元对，获得候选行为片段，并定位所述行为片段中相关异常动作类的开始帧和结束帧；在本专利技术实施例中，基于人类行为推进的时态一致性和平滑特性形成一个行为单元对，定义为(ua,ub)；并通过使用上述相似矩阵进行处理得到最好的候选视频片段；同时设定一个阈值thr，设置为相似矩阵均值的标准差，用于判断两个视频中匹配片段的匹配度大小，并选定相似得分高于阈值thr匹配片段；具体的，如果thr非正，就声明没有匹配段，然后通过搜索算法找到顶部时间一致的候选匹配片段，所述搜索算法具体如下：在本专利技术实施例中，需要找到匹配度最高的k个子序列，本实施例采用启发式算法来减少搜索维度，相比较与传统方法计算复杂度O(A2B2)，本实施例采用的方法在寻找过程中可有效减少计算复杂度；具体的，将识别动作单元对的问题形式化为具有时间一致性约束的二部图匹配问题，如图4所示，图中虚线连接的表示权重小于阈值的边；假设这个图是稀疏的(通过丢弃小于阈值权重的边)，则视频片段匹配的子序列的长度相同并满足时间一致性(也就是有同样的顺序)；当且仅当所有的P∈{0,…,k}时，内积时，子序列和相匹配。在本专利技术实施例中，给定Xa和Xb视频编码视频片段Wa和Wb，该算法查找包含多于L个(L>1)视频段的所有匹配本文档来自技高网...

【技术保护点】
1.一种基于时序一致性的弱监督异常行为检测方法，其特征在于，包括如下步骤：构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；基于人类行为的时态一致性和平滑特征性处理所述行为视频对，形成一个行为单元对，获得候选行为片段，并定位所述行为片段中相关异常动作类的开始帧和结束帧；基于弱监督对获取得到的所述行为片段进行学习，得到可判断各种行为特征的操作分类器；基于字典学习和求解稀疏编码重建所述操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。

【技术特征摘要】
1.一种基于时序一致性的弱监督异常行为检测方法，其特征在于，包括如下步骤：构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；基于人类行为的时态一致性和平滑特征性处理所述行为视频对，形成一个行为单元对，获得候选行为片段，并定位所述行为片段中相关异常动作类的开始帧和结束帧；基于弱监督对获取得到的所述行为片段进行学习，得到可判断各种行为特征的操作分类器；基于字典学习和求解稀疏编码重建所述操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。2.根据权利要求1所述的一种基于时序一致性的弱监督异常行为检测方法，其特征在于，还包括步骤：定义所述行为视频对，并对定义后的视频进行预设大小长度和宽度子序列的构造；提取视频中帧级别的特征并应用序列池来获得所述行为视频对中每一个视频固定长度的时序编码；根据所述行为视频对构造一相似矩阵，并根据现有公式对每对视频片段进行内积的计算。3.根据权利要求2所述的一种基于时序一致性的弱监督异常行为检测方法，...

【专利技术属性】
技术研发人员：孙娴，朱松豪，荆晓远，冷婷，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32