【技术实现步骤摘要】
本专利技术属于视频异常检测，尤其涉及一种基于伪异常重构的视频异常检测方法、系统、介质及设备。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、视频异常检测(vad)是一项极具挑战性的任务。近年来，视频监控在保护公众安全方面发挥巨大作用，而读取视频片段并识别异常行为的视频异常检测技术，也引起人们极大的关注。在现实世界中，异常样本的收集成本很高，这导致异常数据较少，训练数据集的数据不平衡。因此，异常检测被视为单分类问题(occ)，且仅基于正常样本来训练模型。
3、基于重构的视频异常检测方法被广泛用于解决单分类问题，重构模型通过训练正常数据，使其重构误差最小化。训练后的重构模型在测试时很难重构异常数据，进而获得较大的重构误差，通过对重构误差的计算来判别异常。然而，这些方法依赖于异常数据训练后得到的较高的重构误差，但当模型“泛化”的太好，对于异常样本也能做到很好的重构时，可能会导致异常漏检。为了解决这个问题，很多方法在重构过程中抑制异常相关信息，并增大异常数据的重构误差，如记忆模型的广泛应用。该模块在训练过程中存储正常数据的特征，迫使模型在重构输入时应用这些记忆的特征，有效地确保异常数据的重构误差较大。然而，这种方法依赖于记忆模块的大小，过小记忆模块会限制正常数据的重构，但应用多个记忆模块又会导致信息过滤。
4、为了使重构模型更好地区分正常数据和异常数据，利用伪异常辅助训练的想法被提出，并逐渐得到认可。但如何有效生成伪异常来增强模型的学习能力仍然是一个挑
5、通过上述可知，现有的视频异常检测技术存在一定的不足：视频异常检测模型训练中，异常数据稀缺，模型无法更好地学习和检测异常数据，无法准确区分正常数据和异常数据，模型异常检测精准度低；虽然采用了重构方法，但是重构过程，只采用单一的重构误差计算方法来衡量，而单一的重构误差计算方法存在局限性，无法全面反映模型性能，导致异常漏检，模型异常检测准确性差。
技术实现思路
1、为克服上述现有技术的不足，本专利技术提供了一种基于伪异常重构的视频异常检测方法、系统、介质及设备。采用一种伪异常数据辅助训练的数据增强方法，解决了异常数据稀缺的问题，为模型提供更多异常数据进行学习，增强模型对正常数据和异常数据的区分能力；并且提出自监督掩码卷积量化自编码器作为重构模型，在自编码器中引入量化和自监督掩码卷积，在传统重构过程之外引入额外步骤，解决重构误差的局限性。
2、为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
3、第一方面，公开了一种基于伪异常重构的视频异常检测方法，包括：
4、获取待检测视频帧序列并进行预处理；
5、将预处理后的待检测视频帧序列输入至训练后的重构模型，根据重构模型的重构误差判断待检测视频序列是否异常；
6、其中，所述重构模型在训练时，包括：
7、获取正常视频帧序列，伪异常生成器通过跳帧对正常视频帧序列进行处理，包括：
8、随机选择一个帧索引，并选取连续的多帧视频帧来构造正常的输入序列，引入参数，用于控制跳帧的数量，生成相应的伪异常视频帧序列。
9、作为进一步的技术方案，所述重构模型在训练时，还包括：
10、将正常及伪异常视频帧序列输入至编码器进行处理得到混合数据的原始特征向量，量化层用于对原始特征向量进行信息的离散化，得到量化后的特征向量，解码器用于将量化后的特征向量进行解码。
11、作为进一步的技术方案，将正常及伪异常视频帧序列输入至编码器进行处理，编码器生成连续特征向量，即编码器输出原始特征向量。
12、作为进一步的技术方案，编码器输出原始特征向量之后还包括：
13、将原始特征向量输入到量化层，得到量化后的特征向量；
14、基于量化后的特征向量与原始特征向量，构建量化训练平方误差；
15、对量化训练平方误差进行优化，得到优化量化平方误差；
16、基于量化训练平方误差和优化量化平方误差，构建量化损失；
17、基于量化损失，对量化后的特征向量进行优化；
18、并将优化的量化特征向量输入到解码器。
19、作为进一步的技术方案，解码器包括第一部分解码器、自监督卷积掩码层和第二部分解码器，将优化的量化特征向量输入至第一部分解码器，在解码器的中间层生成中间层输出向量，并将所述中间层输出向量输入至自监督卷积掩码层进行自监督掩码重构，得到掩码重构向量，并计算中间层输出向量和掩码重构向量的掩码损失，并将掩码重构向量输入到第二部分解码器，得到最终的解码器输出向量。
20、作为进一步的技术方案，所述将中间层输出向量在解码器的自监督卷积掩码层进行自监督掩码重构，得到掩码重构向量，具体过程为：
21、获取一组3d子核和掩码卷积核，设置掩码区域和卷积核的大小；
22、对中间层输出向量应用掩码卷积，子核在每个位置卷积，得到特征图；
23、从多个通道提取特征，得到输出张量，对输出张量进行空间平均池化，并重塑特征矩阵；
24、对重塑特征矩阵进行处理，获取全局依赖并更新特征表示；
25、基于更新后的特征表示，得到掩码重构向量。
26、作为进一步的技术方案，预处理包括：使用3d-cnn将待检测视频序列提取为视频帧，调整视频帧大小并进行强度归一化操作。
27、第二方面，公开了一种基于伪异常重构的视频异常检测系统，包括：
28、数据获取模块，用于获取待检测视频帧序列并进行预处理；
29、异常训练检测模块，用于将预处理后的检测视频帧序列输入至训练后的重构模型，根据重构模型的重构误差判断待检测视频序列是否异常；
30、所述重构模型在训练时，包括：获取正常视频帧序列，伪异常生成器通过跳帧对正常视频帧序列进行处理，包括：随机选择一个帧索引，并选取连续的多帧视频帧来构造正常的输入序列，引入参数，用于控制跳帧的数量，生成相应的伪异常视频帧序列。
31、本专利技术第三个方面是提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
32、本专利技术第四个方面是提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
33、以上一个或多个技术方案存在以下有益效果：
34、在本实施例中，本专利技术在训练过程中构建伪异常样本，克服了异常数据稀缺的困难，帮助模型更好地学习和检测异常数据；自编码器(ae)中添加量化层，来量化编码器输出并保留关键的判别特征；同时，在传统重构方法的基础上，加入自监督卷积掩码层来实现掩码重构，本文档来自技高网...
【技术保护点】
1.一种基于伪异常重构的视频异常检测方法，其特征在于，包括：
2.如权利要求1所述的一种基于伪异常重构的视频异常检测方法，其特征在于，所述重构模型在训练时，还包括：
3.如权利要求1所述的一种基于伪异常重构的视频异常检测方法，其特征在于，将正常及伪异常视频帧序列输入至编码器进行处理，编码器生成连续特征向量，即编码器输出原始特征向量。
4.如权利要求3所述的一种基于伪异常重构的视频异常检测方法，其特征在于，编码器输出原始特征向量之后还包括：
5.如权利要求4所述的一种基于伪异常重构的视频异常检测方法，其特征在于，解码器包括第一部分解码器、自监督卷积掩码层和第二部分解码器，将优化的量化特征向量输入至第一部分解码器，在解码器的中间层生成中间层输出向量，并将中间层输出向量输入至自监督卷积掩码层进行自监督掩码重构，得到掩码重构向量，并计算中间层输出向量和掩码重构向量的掩码损失，并将掩码重构向量输入到第二部分解码器，得到最终的解码器输出向量。
6.如权利要求5所述的一种基于伪异常重构的视频异常检测方法，其特征在于，将中间层输出向量在
7.如权利要求1所述的一种基于伪异常重构的视频异常检测方法，其特征在于，预处理包括：使用3D-CNN将待检测视频序列提取为视频帧，调整视频帧大小并进行强度归一化操作。
8.一种基于伪异常重构的视频异常检测系统，其特征在于，包括：
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行权利要求1-7任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于伪异常重构的视频异常检测方法，其特征在于，包括：
2.如权利要求1所述的一种基于伪异常重构的视频异常检测方法，其特征在于，所述重构模型在训练时，还包括：
3.如权利要求1所述的一种基于伪异常重构的视频异常检测方法，其特征在于，将正常及伪异常视频帧序列输入至编码器进行处理，编码器生成连续特征向量，即编码器输出原始特征向量。
4.如权利要求3所述的一种基于伪异常重构的视频异常检测方法，其特征在于，编码器输出原始特征向量之后还包括：
5.如权利要求4所述的一种基于伪异常重构的视频异常检测方法，其特征在于，解码器包括第一部分解码器、自监督卷积掩码层和第二部分解码器，将优化的量化特征向量输入至第一部分解码器，在解码器的中间层生成中间层输出向量，并将中间层输出向量输入至自监督卷积掩码层进行自监督掩码重构，得到掩码重构向量，并计算中间层输出向量和掩码重构向量的掩...
【专利技术属性】
技术研发人员：郑向伟，董文敏，张宇昂，边际，嵇存，史文娟，张利峰，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。