视频异常检测模型训练方法、视频异常检测方法和装置制造方法及图纸

本申请涉及一种视频异常检测模型训练方法、视频异常检测方法、装置、计算机设备和存储介质，包括：获取训练视频帧序列、对应的序列特征信息和训练视频帧序列对应的训练筛选视频帧的目标特征信息；将训练视频帧序列输入初始视频异常检测模型得到训练筛选视频帧对应的预测特征信息；基于目标特征信息和序列特征信息生成初始视频异常检测模型对应的时序判别模型的时序正训练样本，基于序列特征信息和预测特征信息生成时序负训练样本；基于目标特征信息、预测特征信息、时序正训练样本和时序负训练样本对初始视频异常检测模型和时序判别模型进行对抗训练，直至满足收敛条件，得到目标视频异常检测模型。采用本方法能提高视频异常检测模型的准确性。常检测模型的准确性。常检测模型的准确性。

【技术实现步骤摘要】
视频异常检测模型训练方法、视频异常检测方法和装置


[0001]本申请涉及计算机
，特别是涉及一种视频异常检测模型训练方法、视频异常检测方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着视频的不断普及，自动识别视频中的异常事件变得越来越有重要，智能的视频异常检测可以在一定程度上节省人力资源，提高效率。
[0003]传统技术中，主要是将已知的异常视频和正常视频作为训练样本，基于训练样本通过全监督的方式训练视频异常检测模型。然而，由于异常视频的数量有限，并且异常视频中的异常数据难以学习，最终导致训练得到的视频异常检测模型的检测准确性比较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高模型准确性的视频异常检测模型训练方法、视频异常检测方法、装置、计算机设备和存储介质。
[0005]一种视频异常检测模型训练方法，所述方法包括：获取训练视频帧序列和所述训练视频帧序列对应的序列特征信息，获取所述训练视频帧序列对应的训练筛选视频帧的目标特征信息，所述训练视频帧序列是从初始视频帧序列中过滤所述训练筛选视频帧得到的；将所述训练视频帧序列输入初始视频异常检测模型，得到所述训练筛选视频帧对应的预测特征信息；基于所述目标特征信息和所述序列特征信息生成所述初始视频异常检测模型对应的时序判别模型的时序正训练样本，基于所述序列特征信息和所述预测特征信息生成所述时序判别模型对应的时序负训练样本；基于所述目标特征信息、所述预测特征信息、所述时序正训练样本和所述时序负训练样本，对所述初始视频异常检测模型和所述时序判别模型进行对抗学习，得到对抗损失；基于所述对抗损失调整所述初始视频异常检测模型和所述时序判别模型的模型参数，直至满足收敛条件，得到目标视频异常检测模型。
[0006]在一个实施例中，所述获取训练视频帧序列和所述训练视频帧序列对应的序列特征信息，包括：获取训练视频，从所述训练视频中获取多个候选视频帧，所述训练视频对应的视频异常检测结果为视频无异常；对各个候选视频帧进行目标对象检测，得到各个候选视频帧对应的目标对象区域；基于各个目标对象区域得到各个候选视频帧对应的目标对象视频帧，基于各个目标对象视频帧得到初始视频帧序列；对所述初始视频帧序列进行视频帧筛选，得到所述训练视频帧序列；对所述训练视频帧序列进行特征信息提取，得到所述序列特征信息。
[0007]在一个实施例中，所述对所述初始视频帧序列进行视频帧筛选，得到所述训练视频帧序列，包括：基于所述初始视频帧序列对应的视频帧排序信息，依次从所述初始视频帧序列中筛选出一个目标对象视频帧，将筛选后的初始视频帧序列作为中间视频帧序列，得到多个中间视频帧序列，其中，被筛选出的目标对象视频帧为对应的中间视频帧序列的训练筛选视频帧；基于各个中间视频帧序列得到所述训练视频帧序列。
[0008]在一个实施例中，所述初始视频异常检测模型包括至少一个特征维度对应的图像特征预测网络；所述将所述训练视频帧序列输入初始视频异常检测模型，得到所述训练筛选视频帧对应的预测特征信息，包括：将所述训练视频帧序列分别输入各个图像特征预测网络，得到所述训练筛选视频帧对应的各个特征维度的预测图像特征；基于各个预测图像特征得到所述预测特征信息。
[0009]在一个实施例中，所述图像特征预测网络包括正向特征预测网络和反向特征预测网络中的至少一种，所述预测图像特征包括正向预测图像特征和反向预测图像特征中的至少一种；所述将所述训练视频帧序列分别输入各个图像特征预测网络，得到所述训练筛选视频帧对应的各个特征维度的预测图像特征，包括：将所述训练视频帧序列分别输入各个正向特征预测网络，得到各个特征维度对应的正向预测图像特征；将所述训练视频帧序列分别输入各个反向特征预测网络，得到各个特征维度对应的反向预测图像特征。
[0010]在一个实施例中，所述基于所述目标特征信息、所述预测特征信息、所述时序正训练样本和所述时序负训练样本，对所述初始视频异常检测模型和所述时序判别模型进行对抗学习，得到对抗损失，包括：基于所述目标特征信息和所述预测特征信息生成特征损失；将所述时序正训练样本和所述时序负训练样本输入所述时序判别模型，得到所述时序正训练样本对应的正预测标签和所述时序负训练样本对应的负预测标签；基于所述时序正训练样本对应的正预测标签和正样本标签、所述时序负训练样本对应的负预测标签和负样本标签生成时序损失；基于所述特征损失和所述时序损失生成所述对抗损失。
[0011]在一个实施例中，所述目标特征信息包括至少两个特征维度对应的目标图像特征，所述预测特征信息包括所述至少两个特征维度对应的预测图像特征；所述基于所述目标特征信息和所述预测特征信息生成特征损失，包括：从所述目标特征信息和所述预测特征信息中，基于参考特征维度对应的目标图像特征和预测图像特征之间的差异得到第一损失；对所述参考特征维度对应的目标图像特征进行特征变换处理，得到对应的第一更新特征，对所述参考特征维度对应的预测图像特征进行特征变换处理，得到对应的第二更新特征；基于所述第一更新特征和所述第二更新特征之间的差异得到第二损失；从所述目标特征信息和所述预测特征信息中，基于其他特征维度的目标图像特征和预测图像特征之间的差异得到第三损失；基于所述第一损失、所述第二损失和所述第三损失得到所述特征损失。
[0012]在一个实施例中，当前图像特征为所述参考特征维度对应的目标图像特征或预测图像特征，对所述当前图像特征进行特征变换处理，得到对应的当前更新特征，包括：对当前图像特征进行特征压缩，得到第一图像特征；对所述第一图像特征进行特
征扩展，得到第二图像特征；所述第二图像特征和当前图像特征具备相同的特征尺寸；基于当前图像特征和所述第二图像特征之间的差异得到目标特征差异；将所述第一图像特征作为更新的当前图像特征，返回所述对当前图像特征进行特征压缩的步骤，直至满足预设条件，得到多个有序排列的目标特征差异；基于各个目标特征差异得到所述当前更新特征。
[0013]在一个实施例中，所述基于所述第一更新特征和所述第二更新特征之间的差异得到第二损失，包括：根据目标特征差异的排序信息，从所述第一更新特征和所述第二更新特征中获取匹配的目标特征差异，基于匹配的目标特征差异计算损失信息，得到多个有序排列的损失子信息；基于各个损失子信息得到所述第二损失。
[0014]在一个实施例中，所述方法还包括：基于所述目标特征信息生成所述初始视频异常检测模型对应的模态判别模型的模态正训练样本，基于所述目标特征信息和所述预测特征信息生成所述模态判别模型对应的模态负训练样本；基于所述目标特征信息、所述预测特征信息、所述模态正训练样本和所述模态负训练样本，对所述初始视频异常检测模型和所述模态判别模型进行对抗学习，得到更新损失；基于所述更新损失调整所述初始视频异常检测模型和所述模态判别模型的模型参数，直至满足收敛条件，得到目标视频异常检测模型。
[0015]在一个实施例中，所述目标特征信息包括至少两个特征维度的目标图像特征，所述预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频异常检测模型训练方法，其特征在于，所述方法包括：获取训练视频帧序列和所述训练视频帧序列对应的序列特征信息，获取所述训练视频帧序列对应的训练筛选视频帧的目标特征信息，所述训练视频帧序列是从初始视频帧序列中过滤所述训练筛选视频帧得到的；将所述训练视频帧序列输入初始视频异常检测模型，得到所述训练筛选视频帧对应的预测特征信息；基于所述目标特征信息和所述序列特征信息生成所述初始视频异常检测模型对应的时序判别模型的时序正训练样本，基于所述序列特征信息和所述预测特征信息生成所述时序判别模型对应的时序负训练样本；基于所述目标特征信息、所述预测特征信息、所述时序正训练样本和所述时序负训练样本，对所述初始视频异常检测模型和所述时序判别模型进行对抗学习，得到对抗损失；基于所述对抗损失调整所述初始视频异常检测模型和所述时序判别模型的模型参数，直至满足收敛条件，得到目标视频异常检测模型。2.根据权利要求1所述的方法，其特征在于，所述获取训练视频帧序列和所述训练视频帧序列对应的序列特征信息，包括：获取训练视频，从所述训练视频中获取多个候选视频帧，所述训练视频对应的视频异常检测结果为视频无异常；对各个候选视频帧进行目标对象检测，得到各个候选视频帧对应的目标对象区域；基于各个目标对象区域得到各个候选视频帧对应的目标对象视频帧，基于各个目标对象视频帧得到初始视频帧序列；对所述初始视频帧序列进行视频帧筛选，得到所述训练视频帧序列；对所述训练视频帧序列进行特征信息提取，得到所述序列特征信息。3.根据权利要求1所述的方法，其特征在于，所述序列特征信息包括所述训练视频帧序列中各个训练视频帧对应的训练特征信息，所述训练特征信息、所述目标特征信息和所述预测特征信息均包括至少一个特征维度的图像特征，所述训练筛选视频帧和所述训练视频帧均携带视频帧时间戳；所述基于所述目标特征信息和所述序列特征信息生成所述初始视频异常检测模型对应的时序判别模型的时序正训练样本，基于所述序列特征信息和所述预测特征信息生成所述时序判别模型对应的时序负训练样本，包括：基于所述训练筛选视频帧和所述各个训练视频帧对应的视频帧时间戳确定特征时序信息；基于所述特征时序信息，将所述目标特征信息和所述训练特征信息中同一特征维度的图像特征进行组合，得到各个特征维度对应的时序正训练样本；基于所述特征时序信息，将所述预测特征信息和所述训练特征信息中同一特征维度的图像特征进行组合，得到各个特征维度对应的时序负训练样本。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标特征信息、所述预测特征信息、所述时序正训练样本和所述时序负训练样本，对所述初始视频异常检测模型和所述时序判别模型进行对抗学习，得到对抗损失，包括：基于所述目标特征信息和所述预测特征信息生成特征损失；
将所述时序正训练样本和所述时序负训练样本输入所述时序判别模型，得到所述时序正训练样本对应的正预测标签和所述时序负训练样本对应的负预测标签；基于所述时序正训练样本对应的正预测标签和正样本标签、所述时序负训练样本对应的负预测标签和负样本标签生成时序损失；基于所述特征损失和所述时序损失生成所述对抗损失。5.根据权利要求4所述的方法，其特征在于，所述目标特征信息包括至少两个特征维度对应的目标图像特征，所述预测特征信息包括所述至少两个特征维度对应的预测图像特征；所述基于所述目标特征信息和所述预测特征信息生成特征损失，包括：从所述目标特征信息和所述预测特征信息中，基于参考特征维度对应的目标图像特征和预测图像特征之间的差异得到第一损失；对所述参考特征维度对应的目标图像特征进行特征变换处理，得到对应的第一更新特征，对所述参考特征维度对应的预测图像特征进行特征变换处理，得到对应的第二更新特征；基于所述第一更新特征和所述第二更新特征之间的差异得到第二损失；从所述目标特征信息和所述预测特征信息中，基于其他特征维度的目标图像特征和预测图像特征之间的差异得到第三损失；基于所述第一损失、所述第二损失和所述第三损失得到所述特征损失。6.根据权利要求5所述的方法，其特征在于，当前图像特征为所述参考特征维度对应的目标图像特征或预测图像特征，对所述当前图像特征进行特征变换处理，得到对应的当前更新特征，包括：对当前图像特征进行特征压缩，得到第一图像特征；对所述第一图像特征进行特征扩展，得到第二图像特征；所述第二图像特征和当前图像特征具备相同的特征尺寸；基于当前图像特征和所述第二图像特征之间的差异得到目标特征差异；将所述第一图像特征作为更新的当前图像特征，返回所述对当前图像特征进行特征压缩的步骤，直至满足预设条件，得到多个有序排列的目标特征差异；基于各个目标特征差异得到所述当前更新特征。7.根据权利要求4所述的方法，其特征在于，所述时序判别模型包括至少一个特征维度对应的时序判别子模型，所述时序正训练样本包括各个特征维度对应的时序正训练样本，所述时序负训练样本包括各个特征维度对应的时序负训练样本；所述将所述时序正训练样本和所述时序负训练样本输入所述时序判别模型，得到所述时序正训练样本对应的正预测标签和所述时序负训练样本对应的负预测标签，包括：将同一特征维度的时序正训练样本和时序负训练样本分别输入对应的时序判别子模型，得到各个特征维度对应的正预测标签和负预测标签。8.根据权利要求1至7任意一项所述的方法，其特征在于，所述方法还包括：基于所述目标特征信息生成所述初始视频...

【专利技术属性】
技术研发人员：陈成伟，谯睿智，任博，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：