【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种识别视频中异常行为的方法、装置、设备及存储介质。
技术介绍
1、目前，在生活中对一些场景进行监控，其主要目的在于实时观察监控场景是否出现异常现象，从而可以快速地采取应急措施。在判断视频是否出现异常事件或目标对象时，通常使用小模型对单源视频进行分类。
2、但是由于数据分布不均衡，不同来源的视频经常具有不同的特征，因此，仅用少量的标注样本对齐训练一个小模型是困难的。无法通过同一模型，对不同场景下出现的异常事件进行识别，因而也就无法将同一模型应用到不同的场景。
技术实现思路
1、本申请实施例提供一种识别视频中异常行为的方法、装置、设备及存储介质，用于识别在不同场景下的视频存在的异常行为。
2、第一方面，本申请实施例提供一种识别视频中异常行为的方法，包括：
3、通过图像识别模型，确定待识别视频中每一图像帧是否存在异常行为的第一识别结果；
4、确定所述待识别视频中每一图像帧的文本描述，从而得到所述待识别视频的文本描述序列；
5、通过文本识别模型，确定所述文本描述序列对应的图像帧中存在异常行为的第二识别结果；
6、基于第i图像帧对应的第一识别结果和第i图像帧对应的第二识别结果，确定第i图像帧的综合识别结果；所述第i图像帧为所述待识别视频中的任一图像帧；
7、在综合识别结果满足第一设定条件的图像帧的数量满足第二设定条件时，确定所述待识别视频中存在异常行为。
8、本申请实
9、可选地，所述确定第i图像帧的综合识别结果之前，还包括：
10、将第一识别结果序列和第二识别结果序列分别输入至表征行为连续性的序列值估计模型，得到第一序列估计结果和第二序列估计结果；所述第一识别结果序列是基于所述待识别视频中每一图像帧的第一识别结果按序得到的；所述第二识别结果序列是基于所述待识别视频中每一图像帧的第二识别结果按序得到的；
11、根据所述第一识别结果序列和所述第一序列估计结果，得到第一偏差结果序列；
12、根据所述第二识别结果序列和所述第二序列估计结果，得到第二偏差结果序列；
13、基于第i图像帧的第一识别结果和第i图像帧的第二识别结果，确定第i图像帧的综合识别结果，包括：
14、基于第i图像帧在所述第一偏差结果序列中第一偏差结果及第i图像帧在所述第二偏差结果序列中第二偏差结果，确定第i图像帧的第一识别结果对应的第一权重和第i图像帧对应的第二识别结果对应的第二权重；
15、基于所述第i图像帧的第一权重、所述第i图像帧的第二权重、所述第i图像帧的第一识别结果和所述第i图像帧的第二识别结果，确定第i图像帧的综合识别结果。
16、本申请实施例中，将识别结果输入至序列值估计模型，得到序列估计结果，相较于识别结果序列提升了识别结果的连续性；根据识别结果序列和序列估计结果之间的差值，确定图像识别模型和文本识别模型中较优模型，从而赋予较优模型更大权重，因此，提升了最终综合识别结果的准确性。
17、可选地，所述序列值估计模型是通过存在异常行为的样本视频经所述图像识别模型输出的样本识别结果序列进行训练得到的；所述序列值估计模型用于基于行为的连续性，通过历史帧的识别结果预测后续帧的识别结果。
18、本申请实施例中，通过图像识别模型的输出作为序列值估计模型的样本识别结果序列，训练序列值估计模型，从而使得序列值估计模型具有较好的识别结果，通过历史帧的识别结果预测后续帧的识别结果，加强了识别结果的一致性。
19、可选地，所述图像识别模型是通过多个单一异常行为识别模型，训练得到具有泛化识别能力的级联模型；其中，任一单一异常行为识别模型是针对具有同一类异常行为的各样本进行有监督学习训练得到的。
20、本申请实施例中，图像识别模型经过多个单一异常行为识别模型进行训练得到的，使得图像识别模型聚合了多个单一异常行为识别模型的识别结果，提升了图像识别模型的泛化能力。
21、可选地，所述图像识别模型是通过如下方式训练得到的，包括：
22、将同一样本分别输入至每个单一异常行为识别模型，得到每个单一异常行为识别模型输出的单一识别结果；根据所述样本视频的真实识别结果和每个单一异常识别模型的单一识别结果，确定每个单一异常识别模型的损失值；
23、将所述样本输入至所述图像识别模型，基于各单一异常行为识别模型的损失值，对所述图像识别模型进行训练，直至满足训练终止条件。
24、本申请实施例中，通过同一样本训练单一异常行为识别模型，得到单一识别结果后，再将样本输入至图像识别模型中，对图像识别模型进行训练，通过单一异常行为识别模型的损失值训练图像识别模型，使得图像识别模型涵盖了单一异常行为识别模型的识别能力。
25、可选地，通过如下公式确定每个单一异常识别模型的损失值：
26、
27、可选地，所述多个单一异常行为识别模型的样本及所述图像识别模型的样本分别通过如下方式得到：
28、获取正常样本集和异常样本集；
29、对所述异常样本集进行聚类，得到多个类别的异常子集；每个类别对应一个单一异常识别模型；
30、构建每个单一异常识别模型的样本集；其中，正常样本为从所述正常样本集中随机确定的正常子集中的第一部分，异常样本为对应的异常子集中的第一部分；
31、构建所述图像识别模型的样本集；其中，正常样本为各正常子集中的第二部分，异常样本为各异常子集中的第二部分；正常子集中的第二部分与正常子集中的第一部分不同，异常子集中的第二部分与异常子集中的第一部分不同。
32、本申请实施例中，在构建样本时，首先根据异常样本进行聚类，得到多个不同类别的异常样本，然后将正常样本随机加入至每个类别的异常样本中，得到正常样本和异常样本的样本，然后将正常样本和异常样本中的一部分作为单一异常识别模型的样本集，将正常样本和异常样本中的另一部分作为图像识别模型的样本集。通过构建不同的样本集分别训练单一异常识别模型和图像识别模型，提升了模型的泛化能力。
33、可选地，所述文本识别模型是大语言模型；
34、通过文本识别模型，确定所述文本描述序列对应的图像帧中是否存在异常行为的第二识别结果，包括：
35、将所述文本描述序列和异常行为提示词，输入至所述大语言模型，从而确定所述文本描述序列对应的图像帧中是否本文档来自技高网...
【技术保护点】
1.一种识别视频中异常行为的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述确定第i图像帧的综合识别结果之前，还包括：
3.如权利要求2所述的方法，其特征在于，所述序列值估计模型是通过存在异常行为的样本视频经所述图像识别模型输出的样本识别结果序列进行训练得到的；所述序列值估计模型用于基于行为的连续性，通过历史帧的识别结果预测后续帧的识别结果。
4.如权利要求1所述的方法，其特征在于，所述图像识别模型是通过多个单一异常行为识别模型，训练得到具有泛化识别能力的级联模型；其中，任一单一异常行为识别模型是针对具有同一类异常行为的各样本进行有监督学习训练得到的。
5.如权利要求4所述的方法，其特征在于，所述图像识别模型是通过如下方式训练得到的，包括：
6.如权利要求5所述的方法，其特征在于，通过如下公式确定每个单一异常识别模型的损失值：
7.如权利要求4所述的方法，其特征在于，所述多个单一异常行为识别模型的样本及所述图像识别模型的样本分别通过如下方式得到：
8.如权利要求1至3任一项所
9.如权利要求8所述的方法，其特征在于，所述将所述文本描述序列和异常行为提示词，输入至所述大语言模型，从而确定所述文本描述序列对应的图像帧中是否存在异常行为的第二识别结果，包括：
10.如权利要求8所述的方法，其特征在于，所述确定所述待识别视频中每一图像帧的文本描述，包括：
11.一种代码变更分析装置，其特征在于，包括：
12.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至10任一所述方法的步骤。
13.一种计算机可读存储介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行权利要求1至10任一所述方法的步骤。
...【技术特征摘要】
1.一种识别视频中异常行为的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述确定第i图像帧的综合识别结果之前，还包括：
3.如权利要求2所述的方法，其特征在于，所述序列值估计模型是通过存在异常行为的样本视频经所述图像识别模型输出的样本识别结果序列进行训练得到的；所述序列值估计模型用于基于行为的连续性，通过历史帧的识别结果预测后续帧的识别结果。
4.如权利要求1所述的方法，其特征在于，所述图像识别模型是通过多个单一异常行为识别模型，训练得到具有泛化识别能力的级联模型；其中，任一单一异常行为识别模型是针对具有同一类异常行为的各样本进行有监督学习训练得到的。
5.如权利要求4所述的方法，其特征在于，所述图像识别模型是通过如下方式训练得到的，包括：
6.如权利要求5所述的方法，其特征在于，通过如下公式确定每个单一异常识别模型的损失值：
7.如权利要求4所述的方法，其特征在于，所述多个单一异...
【专利技术属性】
技术研发人员：王浩，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。