一种基于帧预测的监控视频异常检测方法技术

本发明专利技术提出一种基于帧预测的监控视频异常检测方法，目的在于解决现有监控视频中异常行为识别依赖于人工检测、耗时多、准确度低的问题。网络可分为三部分：编码器、记忆存储模块、解码器。使用U

【技术实现步骤摘要】
一种基于帧预测的监控视频异常检测方法


[0001]本专利技术应用于解决现有监控视频中异常行为识别依赖于人工检测、耗时多、准确度低的问题，具体涉及一种基于帧预测的监控视频异常检测方法。

技术介绍

[0002]近些年来，随着计算机网络的飞速发展，对于监控视频进行异常检测已成为图像处理和计算机视觉领域在安防领域的研究热点之一。视频异常检测主要通过获取监控视频数据并对其进行分析，滤除大量冗余信息，提取重要的数据特征实现智能化检测，在无需人工干预的情况下，对监控视频进行信息提取以及异常检测，进而为用户提供有效的信息。
[0003]监控视频中发生次数很少的事件或有违人们客观认知的行为可被定义为异常。利用监控视频对实际的场景进行异常检测，可以帮助识别异常行为，及时发出警报，最大限度的降低危害，现已经在智能交通、人群监控、安防系统等方面应用并取得较好的成效。
[0004]在进行视频分析时，传统方法并不能满足异常检测所需要的准确度和高时效性，依赖于人力资源，且不能及时对异常情况发出警报。而深度学习则能提供更高效的解决手段，适用于多种场景，具有较强的特征提取能力。多层非线性的分层结构使得深度学习模型拥有强大的拟合能力，更能对数据进行本质刻画，提取数据的抽象特征，因此即使在一些复杂环境中也能进行特征提取。
[0005]异常事件通常为不符合预期的外观和运动状态的突发事件，基于帧预测方法进行视频异常检测是无监督视频异常检测领域中重要方法之一。帧预测方法是通过输入一系列的连续帧进行下一帧的预测，通过预测帧与真实地面帧的差距来判断异常事件是否发生。其主要思想为正常帧的行为模式可以被准确预测，而异常行为则无法通过输入的连续帧被准确预测。

技术实现思路

[0006]本专利技术的目的是为了解决监控视频异常检测准确率低、依赖人工的问题，提出了一种基于帧预测的监控视频异常检测方法。
[0007]为了解决上述问题，本专利技术的构想是：
[0008]通过对于未来帧的预测来进行监控视频异常检测，即采用一个预测器，假设输入真实地面帧为I1,I2,I3…
I
t
，通过对于前面t帧图像，进行第t+1帧的预测，设定阈值，当预测值与真实地面值I
t+1
差异较大时，被判别为异常，其主要思想即正常帧是可被预测，而异常帧无法被预测。
[0009]根据上述的专利技术构想，本专利技术采用了如下技术方案：
[0010]一种基于帧预测的监控视频异常检测方法，具体步骤如下：
[0011]1)首先对监控视频数据集进行预处理，将监控视频切割为尺寸大小为256
×
256的图像帧，将连续的前5帧图像输入网络；
[0012]2)编码部分采用U
‑
Net的收缩路径进行下采样，通过编码器对输入的视频帧进行
特征的提取，输出查询特征图；
[0013]3)将提取的查询特征图输入记忆存储模块，该模块通过读取(read)和更新(update)两种操作来不断迭代原型特征项；
[0014]4)解码部分采用U
‑
Net的扩展路径进行上采样，结合编码器输出的查询特征图和检索到的原型特征项，进行视频帧的预测；
[0015]5)将生成的预测帧与真实地面帧I
t+1
进行PSNR指标计算，归一化后得到评分S(t)；通过设定一个阈值，将S(t)与阈值进行对比，根据监控场景和环境的不同，设置不同的阈值；若S(t)大于该阈值则判别为无异常事件发生，若S(t)小于该阈值则判别为有异常事件发生。
[0016]进一步地，所述步骤2)中，每次下采样过程中通过一个多重注意力模块，该模块由通道注意力模块和空间注意力模块组成，用以提取输入特征图中的重点区域，更好地捕捉视频帧的空间特征与通道特征；多重注意力模块应用过程中，首先将特征图F
in
输入通道注意力模块得到A
c
(F
in
)，并与原始特征图F
in
相乘得到特征图F
mid
，再将特征图F
mid
通过空间注意力模块后的特征图A
s
(F
mid
)与F
mid
相乘，叠加原始特征图F
in
，输入下一层下采样过程。
[0017]进一步地，所述步骤3)中，记忆存储模块用于记录正常行为模式，存储相应的原型特征，利用内存中的原型特征组合项进行视频帧的预测；为了防止一些异常视频帧也被用来更新内存，导致提取特征不够准确，采用加权分数用以衡量视频帧中的异常程度，仅当视频帧被判定为正常时才进行记忆内存更新；在更新操作的时候，选择被认为最接近的查询进行更新原型特征项，不断学习正常样本的特征；在视频预测时，利用内存中的原型特征组合项进行视频帧的预测，使得异常事件获得更大的重建误差。
[0018]本专利技术与现有技术比较，具有如下显而易见的突出实质性特点和显著进步：
[0019](1)通过结合记忆存储模块，提升了模型学习正常行为多样性的问题，通过记忆不同的正常模式，从而进行更准确的正常行为预测。
[0020](2)采用基于深度学习的帧预测方法，结合注意力模块，对空间信息和通道信息进行了重点区域的增强处理，可以生成更高质量的预测帧，对于预测帧的细节刻画更为清晰，可以有效提高异常检测性能。
附图说明
[0021]图1为基于帧预测的监控视频异常检测方法流程图。
[0022]图2为本专利技术方法整体网络结构图。
[0023]图3为编码器中添加的多重注意力模块。
具体实施方式
[0024]本专利技术的具体实施结合附图作进一步说明：
[0025]如图1所示，一种基于特征融合的图像篡改检测方法，具体步骤如下：
[0026]步骤1：首先对监控视频数据集进行预处理，将监控视频切割为尺寸大小为256
×
256的图像帧，将连续的前5帧图像输入网络。
[0027]步骤2：编码部分采用U
‑
Net的收缩路径进行下采样，每次下采样过程中通过一个
多重注意力模块，该模块由通道注意力和空间注意力组成，用以提取输入特征图中的重点区域，更好地捕捉视频帧的空间特征与通道特征。多重注意力应用过程中，首先将特征图F
in
输入通道注意力模块得到A
c
(F
in
)，并与原始特征图F
in
相乘得到特征图F
mid
，再将特征图F
mid
通过空间注意力模块后的特征图A
s
(F
mid
)与F
mid
相乘，叠加原始特征图F
in
，输入下一层下采样过程。通过编码器对输入的视频帧进行特征的提取，输出查询特征图。
[0028]步骤3：将提取的查询特征图输入记忆存储模块，该模块用于记录正常行为模式，存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于帧预测的监控视频异常检测方法，其特征在于，具体步骤如下：1)首先对监控视频数据集进行预处理，将监控视频切割为尺寸大小为256
×
256的图像帧，将连续的前5帧图像输入网络；2)编码部分采用U
‑
Net的收缩路径进行下采样，通过编码器对输入的视频帧进行特征的提取，输出查询特征图；3)将提取的查询特征图输入记忆存储模块，该模块通过读取和更新两种操作来不断迭代原型特征项；4)解码部分采用U
‑
Net的扩展路径进行上采样，结合编码器输出的查询特征图和检索到的原型特征项，进行视频帧的预测；5)将生成的预测帧与真实地面帧I
t+1
进行PSNR指标计算，归一化后得到评分S(t)；通过设定一个阈值，将S(t)与阈值进行对比，根据监控场景和环境的不同，设置不同的阈值；若S(t)大于该阈值则判别为无异常事件发生，若S(t)小于该阈值则判别为有异常事件发生。2.根据权利要求1所述的基于帧预测的监控视频异常检测方法，其特征在于，所述步骤2)中，每次下采样过程中通过一个多重注意力模块，该模块由通道注意力模块和空间注意力模块组成，用以提取输入特征图中的重点区域，更好地捕捉...

【专利技术属性】
技术研发人员：冯国瑞，张倩倩，王子驰，
申请(专利权)人：上海大学，
类型：发明
国别省市：