一种基于交叉U-Net网络的视频异常检测方法及装置制造方法及图纸

本发明专利技术属于视频识别技术领域，涉及一种基于交叉U

【技术实现步骤摘要】
一种基于交叉U
‑
Net网络的视频异常检测方法及装置


[0001]本专利技术属于视频识别
，涉及一种基于交叉U
‑
Net网络的视频异常检测方法及装置。

技术介绍

[0002]视频异常检测具有挑战性，因为异常事件在真实场景中是无限的、罕见的、模糊的、不规则的。随着视频监控呈指数级增长，需要一种在自动检测视频监控中异常事件的方法。视频异常检测研究可分为基于对象的异常检测和基于帧的异常检测，它根据是否适合实时进行划分。基于对象的异常检测使用在帧中检测到的对象作为模型的输入。它获得每个对象的异常分数，并使用异常分数推断帧的异常。基于帧的异常检测使用帧作为模型的输入，它获得每个帧的异常分数，并使用异常分数推断帧的异常。与基于对象的异常检测方法不同，该方法可以在任何时间和地点进行实时异常检测。然而，与基于对象的异常检测方法相比，它受到背景噪声的影响，因为它使用帧的整体来推断异常。
[0003]近年来，许多研究利用深度学习来获得较高的异常检测精度。大部分的研究只考虑了异常检测的精度，而没有考虑视频监控中至关重要的异常检测速度。应尽快检测和处理视频监控中的异常事件，并实时检测危险情况。因此如何利用交叉U
‑
Net捕获全局上下文和额外的时间信息，减少帧中的背景噪声，以实现视频进行异常检测，并加快视频监控中的异常检测速度，对检测和处理视频监控中的异常事件并实时检测危险情况至关重要。
[0004]CN202210587622.3提出了一种融合隐空间自回归的预测重构视频异常检测方法，采用了结合UNet网络和隐空间自回归层构造预测网络的构思，将含有连续t
‑
1帧的正常视频帧作为训练数据，按时间顺序堆叠起来输入生成器网络 Attention U
‑
net用来预测其下一帧，加入基于网格特征图分配权重的自我学习软注意力门控机制来提取特征。该方法会产生冗余导致网络训练很慢，影响整体模型的训练速度，并且分类精确度和定位精度无法兼得。
[0005]CN114913599A公开了一种基于自动编码器的视频异常行为检测方法将图像的目标与背景分别输入到双通道自编码器的不同通道，由对应通道中的编码器分别对目标与背景提取图像特征后，在双通道自编码器的隐含层将两个通道分别提取的两个特征进行特征融合，最后将融合后的特征送入解码器进行模型训练；在训练好的模型中使用重构误差判别对输入的待检测样本进行异常行为检测，得到异常行为检测结果，从而解决背景变化对异常行为检测造成的不利影响，使得到的模型通用性更强，易于部署到不同场景。但该方法在双通道之间并未建立特征连接，会导致目标特征和背景特征在编码解码过程中过于割裂，无法保证上文信息的完整性，影响模型重构特征的准确率。

技术实现思路

[0006]上述现有技术的缺点可以总结归纳为：在视频异常检测中，不能很好的同时兼顾异常检测的精度和速度，上下文建模困难并且抗噪能力有限，导致对视频进行异常检测的
准确率不高。因此针对现有技术的不足，本专利技术提出了一种基于交叉U
‑
Net网络的视频异常检测方法及装置。
[0007]一方面，在现实视频监控中，异常视频的情况是无限的、模糊的和复杂的，异常样本难以完全收集。另外对采集到的视频进行异常检测也需要耗费大量的人力、物力和财力，并且异常检测的精度不够高速度不够快。对此，我们构造了一种基于交叉U
‑
Net的视频异常检测方法，以提高检测的速度。交叉U
‑
Net网络的特点是，收缩路径中每三层的输出与其他子网络中相应层的输出相结合，用作下一层的输入。它捕获上下文并使用每个子网络中的前一帧和下一帧对当前帧进行定位，以简明地预测当前帧。每个帧的推理时间一致，即使一帧中有许多对象也不会减慢速度。每个子网由收缩路径和扩展路径组成，每个卷积层后面都有一个添加ReLU激活函数。
[0008]另一方面，在视频异常检测中，无关信息会影响真实帧的分割特征，导致查询图像分割的不准确，为了保证生成的预测接近其基本事实，在解码器加入分配权重的自我学习软注意力门控机制来提取特征，自注意力机制在单层特征中对远距离空间相关性进行建模，自动寻找图像的相关部分，提高对前景内容的响应，采用强度损失和梯度损失作为外观约束，而差分损失作为运动约束，最后利用对抗学习来加强模型对视频中异常行为的检测能力。生成性对抗网络用于使生成的结果在图像和视频生成任务中更真实。在大多数情况下，生成性对抗网络由生成器和鉴别器组成，鉴别器试图将生成的结果与实际结果区分开来。同时，生成器尝试生成可能混淆鉴别器的结果。
[0009]本专利技术采用的具体技术方案如下：一种基于交叉U
‑
Net网络的视频异常检测方法，步骤如下：S1:采用FPN网络进行目标检测，提取视频中的每一帧；S2:构建基于自注意力机制的交叉U
‑
Net模型；所述基于自注意力机制的交叉U
‑
Net模型包括两个子网络，每个子网络都是U
‑
Net网络，两个子U
‑
Net网络分别接收前一帧和下一帧来预测当前帧，并且每个子网络由收缩路径和扩展路径组成，在收缩路径中进行交叉连接进行下采样过程，在扩展路径加入自注意力机制进行上采样过程；S3:训练基于自注意力机制的交叉U
‑
Net网络模型；S4:使用训练后的基于自注意力机制的交叉U
‑
Net网络模型得到预测的当前帧，并使用鉴别器判断是否异常。
[0010]进一步优选，所述收缩路径由一个下采样模块和三个依次连接的下采样交叉模块组成；每个下采样交叉模块由两个卷积层和一个最大池化层依次连接而成，每个下采样交叉模块的第一个卷积层的输出连接另一子网络同层级的下采样交叉模块的最大池化层的输入，从而实现两个子网络同层级的交叉连接；将上层子网络的前一帧信息与下层子网络的后一帧信息相融合，使每个维度包含更多的特征，并且在第三个下采样交叉模块后跳出下采样层。
[0011]进一步优选，所述扩展路径由一个上采样模块I和三个依次连接的上采样模块II组成；上采样模块I依次由一个退出上采样层、一个自注意力机制和两个卷积层组成；每个上采样模块II依次由一个上采样层、一个自注意力机制、两个卷积层组成。
[0012]进一步优选，收缩路径与扩展路径之间通过一个卷积模块连接；两个子网络的收缩路径的输出共同连接一个预测模块。
[0013]进一步优选，所述预测模块由一个3x3的卷积层和一个1x1的卷积层组成。
[0014]进一步优选，每个子网络的收缩路径公式表示如下：（1）其中，k表示层数，x
k
表示收缩路径中下采样模块和前两个依次连接的下采样交叉模块输出的指数，是另一个子网络的相应输出，x0表示子网络的输入，x
k+1
表示下采样模块和前两个依次连接的下采样交叉模块的最终输出；[ ]表示串联操作，D( )表示两个3
×
3卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交叉U
‑
Net网络的视频异常检测方法，其特征在于，步骤如下：S1:采用FPN网络进行目标检测，提取视频中的每一帧；S2:构建基于自注意力机制的交叉U
‑
Net模型；所述基于自注意力机制的交叉U
‑
Net模型包括两个子网络，每个子网络都是U
‑
Net网络，两个子U
‑
Net网络分别接收前一帧和下一帧来预测当前帧，并且每个子网络由收缩路径和扩展路径组成，在收缩路径中进行交叉连接进行下采样过程，在扩展路径加入自注意力机制进行上采样过程；S3:训练基于自注意力机制的交叉U
‑
Net网络模型；S4:使用训练后的基于自注意力机制的交叉U
‑
Net网络模型得到预测的当前帧，并使用鉴别器判断是否异常。2.根据权利要求1所述的基于交叉U
‑
Net网络的视频异常检测方法，其特征在于，所述收缩路径由一个下采样模块和三个依次连接的下采样交叉模块组成；每个下采样交叉模块由两个卷积层和一个最大池化层依次连接而成，每个下采样交叉模块的第一个卷积层的输出连接另一子网络同层级的下采样交叉模块的最大池化层的输入，从而实现两个子网络同层级的交叉连接；将上层子网络的前一帧信息与下层子网络的后一帧信息相融合，使每个维度包含更多的特征，并且在第三个下采样交叉模块后跳出下采样层。3.根据权利要求1所述的基于交叉U
‑
Net网络的视频异常检测方法，其特征在于，所述扩展路径由一个上采样模块I和三个依次连接的上采样模块II组成；上采样模块I依次由一个退出上采样层、一个自注意力机制和两个卷积层组成；每个上采样模块II依次由一个上采样层、一个自注意力机制、两个卷积层组成。4.根据权利要求1所述的基于交叉U
‑
Net网络的视频异常检测方法，其特征在于，收缩路径与扩展路径之间通过一个卷积模块连接；两个子网络的收缩路径的输出共同连接一个预测模块。5.根据权利要求4所述的基于交叉U
‑
Net网络的视频异常检测方法，其特征在于，所述预测模块由一个3x3的卷积层和一个1x1的卷积层组成。6.根据权利要求2所述的基于交叉U
‑
Net网络的视频异常检测方法，其特征在于，每个子网络的收缩路径公式表示如下：（1）其中，k表示层数，x
k
表示收缩路径中下采样模块和前两个依次连接的下采样交叉模块输出的指数，是另一个子网络的相应输出，x0表示子网络的输入，x
k+1
表示下采样模块和前两个依次连接的下采样交叉模块的最终输出；[ ]表示串联操作，D( )表示两个3
×
3卷积层，每个卷积层后面都有一个添加ReLU激活函数激活单元，P( )表示最大池化层；每个子...

【专利技术属性】
技术研发人员：谢昕，李钊，喻思，吴登权，李紫熙，郑晗欣，郑文彬，熊申平，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：