【技术实现步骤摘要】
本申请涉及视频检测，特别是涉及一种视频行为识别方法及相关装置、电子设备和存储介质。
技术介绍
1、动作识别一直是计算机视觉领域的研究热点，例如，通过对视频进行分析识别，有助于监测诸如未授权人员闯入、摔倒、人员抽烟等行为。
2、但是，现有的视频行为识别技术通常只能识别简单的静态行为，视频行为的识别范围受到极大限制，且相似行为也较难区分，视频行为识别的识别精度也较为低下。有鉴于此，如何提升视频行为的识别范围和识别精度，成为亟待解决的问题。
技术实现思路
1、本申请主要解决的技术问题是提供一种视频行为识别方法及相关装置、电子设备和存储介质，能够提升视频行为的识别范围和识别精度。
2、为了解决上述技术问题，本申请第一方面提供了一种视频行为识别方法，包括：基于来自于待识别视频中视频片段的目标图集，提取目标图像特征；基于目标图像特征和若干参考对象的预设对象特征，得到各个参考对象的目标对象特征；其中，若干参考对象包括行为主体对象和行为客体对象，参考对象的目标对象特征含有目标图像特征中与参考对象相关的图像特征信息；基于若干参考对象的目标对象特征，得到各个参考对象表征彼此之间相互交互的关联对象特征；至少基于行为主体对象的关联对象特征进行预测，得到行为主体对象在视频片段中的行为识别结果。
3、为了解决上述技术问题，本申请第二方面提供了一种视频行为识别装置，包括：图像特征提取模块、对象特征编码模块、对象特征关联模块和对象行为预测模块，图像特征提取模块，用于基于来自于待
4、为了解决上述技术问题，本申请第三方面提供了一种电子设备，至少包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的视频行为识别方法。
5、为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的视频行为识别方法。
6、上述方案，基于来自于待识别视频中视频片段的目标图集，提取目标图像特征，再基于目标图像特征和若干参考对象的预设对象特征，得到各个参考对象的目标对象特征，且若干参考对象包括行为主体对象和行为客体对象，参考对象的目标对象特征含有目标图像特征中与参考对象相关的图像特征信息，从而基于若干参考对象的目标对象特征，得到各个参考对象表征彼此之间相互交互的关联对象特征，进而至少基于行为主体的关联对象特征进行预测，得到行为主体对象在视频片段中的行为识别结果，故一方面相较于分析单帧图像通过来自于视频频段的目标图集进行分析，能够在支持静态行为的基础上进一步支持动态行为，有助于提升视频行为的识别范围，另一方面由于在识别过程中同时引入包含行为主体对象和行为客体对象的若干参考对象，并获取各个参考对象表征彼此之间相互交互的关联对象特征，以此进行预测行为识别结果，能够建立行为主体对象和行为客体对象之间上下文交互关系，相较于单纯地通过目标检测来进行行为识别而言，有助于更为精确地区分相似行为，以提升视频行为的识别精度。故此，能够提升视频行为的识别范围和识别精度。
本文档来自技高网...【技术保护点】
1.一种视频行为识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像特征和若干参考对象的预设对象特征，得到各个所述参考对象的目标对象特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述若干参考对象的预设对象特征之间的第一相关度，得到各个所述参考对象的第一对象特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述参考对象的第二对象特征与所述融合图像特征之间的第二相关度，得到所述参考对象的目标对象特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于来自于待识别视频中视频片段的目标图集，提取目标图像特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述多个维度中位于第一序位之前的至少一个所述第一图像特征和位于第二序位之后的至少一个所述第一图像特征进行融合，得到第二图像特征，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一融合特征和位于所述第二序位之后的至少一个所述第一图像特征进行融合，得到所述第二图像特
8.根据权利要求5所述的方法，其特征在于，所述基于所述目标图集中各个所述视频帧的第二图像特征，提取得到所述目标图集的目标图像特征，包括：
9.根据权利要求1所述的方法，其特征在于，所述基于所述若干参考对象的目标对象特征，得到各个所述参考对象表征彼此之间相互交互的关联对象特征，包括：
10.根据权利要求9所述的方法，其特征在于，所述基于所述若干参考对象的目标对象特征之间的第三相关度，得到各个所述参考对象的关联对象特征，包括：
11.根据权利要求1所述的方法，其特征在于，在所述至少基于所述行为主体对象的关联对象特征进行预测，得到所述行为主体对象在所述视频片段中的行为识别结果之前，所述方法还包括：
12.根据权利要求11所述的方法，其特征在于，所述对象特征集合还包括汇总对象特征，在所述基于所述对象特征集合和所述当前对象特征，预测得到各个所述行为主体对象在当前所述视频片段中的行为识别结果之前，所述方法还包括：
13.根据权利要求11所述的方法，其特征在于，所述基于所述对象特征集合和所述当前对象特征，预测得到各个所述行为主体对象在当前所述视频片段中的行为识别结果，包括：
14.根据权利要求1所述的方法，其特征在于，所述行为识别结果至少包括所述行为主体对象在所述视频片段中的行为类别，在所述至少基于所述行为主体对象的关联对象特征进行预测，得到所述行为主体对象在所述视频片段中的行为识别结果之后，所述方法还包括：
15.根据权利要求14所述的方法，其特征在于，所述基于所述视频片段中反映所述行为类别的第一区域和包围所述行为客体对象的第二区域，得到目标交并比，包括：
16.根据权利要求1至15任一项所述的方法，其特征在于，所述目标图集为按照预设频率对所述视频片段抽取视频帧而得到；
17.一种视频行为识别装置，其特征在于，包括：
18.一种电子设备，其特征在于，至少包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至16任一项所述的视频行为识别方法。
19.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至16任一项所述的视频行为识别方法。
...【技术特征摘要】
1.一种视频行为识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像特征和若干参考对象的预设对象特征，得到各个所述参考对象的目标对象特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述若干参考对象的预设对象特征之间的第一相关度，得到各个所述参考对象的第一对象特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述参考对象的第二对象特征与所述融合图像特征之间的第二相关度，得到所述参考对象的目标对象特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于来自于待识别视频中视频片段的目标图集，提取目标图像特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述多个维度中位于第一序位之前的至少一个所述第一图像特征和位于第二序位之后的至少一个所述第一图像特征进行融合，得到第二图像特征，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一融合特征和位于所述第二序位之后的至少一个所述第一图像特征进行融合，得到所述第二图像特征，包括：
8.根据权利要求5所述的方法，其特征在于，所述基于所述目标图集中各个所述视频帧的第二图像特征，提取得到所述目标图集的目标图像特征，包括：
9.根据权利要求1所述的方法，其特征在于，所述基于所述若干参考对象的目标对象特征，得到各个所述参考对象表征彼此之间相互交互的关联对象特征，包括：
10.根据权利要求9所述的方法，其特征在于，所述基于所述若干参考对象的目标对象特征之间的第三相关度，得到各个所述参考对象的关联对象特征，包括：
11.根据权利要求1...
【专利技术属性】
技术研发人员：于俊，程知远，李卫东，程礼磊，张慧萍，冯安全，谭昶，吕军，张友国，
申请(专利权)人：讯飞智元信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。