视频行为识别方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种视频行为识别方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：从至少两帧目标视频图像提取视频图像特征；将视频图像特征的空间特征进行贡献调整，得到中间图像特征；基于先验信息对中间图像特征的时间特征和时间特征对应的内聚特征进行融合，得到融合特征；先验信息是根据中间图像特征在时间维度的变化信息得到的；内聚特征是对时间特征进行关注处理得到的；对融合特征进行时间特征贡献调整，得到行为识别特征；基于行为识别特征进行视频行为识别。采用本方法能够提高视频行为识别的准确率。法能够提高视频行为识别的准确率。法能够提高视频行为识别的准确率。

【技术实现步骤摘要】
视频行为识别方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种视频行为识别方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展，计算机视觉技术在工业、安保、医疗、社交、导航和军事等各领域得到了广泛的应用，通过计算机视觉，可以用计算机代替人眼对目标进行识别、跟踪和测量等视觉感知处理，实现对生物视觉的模拟。视频行为识别是计算机视觉领域的重要课题之一，基于视频行为识别可以识别出给定视频出目标对象的动作行为，如吃饭、跑步、说话等各种动作行为。
[0003]目前，视频行为识别处理中，多是通过从视频中提取特征以进行行为识别，但传统的视频行为识别处理中提取的特征无法有效反映出视频中的行为信息，导致视频行为识别的准确率较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高视频行为识别准确率的视频行为识别方法、装置、计算机设备、存储介质和计算机程序产品。
[0005]一种视频行为识别方法，所述方法包括：
[0006]从至少两帧目标视频图像提取视频图像特征；
[0007]将视频图像特征的空间特征进行贡献调整，得到中间图像特征；
[0008]基于先验信息对中间图像特征的时间特征和时间特征对应的内聚特征进行融合，得到融合特征；先验信息是根据中间图像特征在时间维度的变化信息得到的；内聚特征是对时间特征进行关注处理得到的；
[0009]对融合特征进行时间特征贡献调整，得到行为识别特征；
[0010]基于行为识别特征进行视频行为识别。
[0011]一种视频行为识别装置，所述装置包括：
[0012]视频图像特征提取模块，用于从至少两帧目标视频图像提取视频图像特征；
[0013]空间特征贡献调整模块，用于将视频图像特征的空间特征进行贡献调整，得到中间图像特征；
[0014]特征融合模块，用于基于先验信息对中间图像特征的时间特征和时间特征对应的内聚特征进行融合，得到融合特征；先验信息是根据中间图像特征在时间维度的变化信息得到的；内聚特征是对时间特征进行关注处理得到的；
[0015]时间特征贡献调整模块，用于对融合特征进行时间特征贡献调整，得到行为识别特征；
[0016]视频行为识别模块，用于基于行为识别特征进行视频行为识别。
[0017]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理
器执行所述计算机程序时实现以下步骤：
[0018]从至少两帧目标视频图像提取视频图像特征；
[0019]将视频图像特征的空间特征进行贡献调整，得到中间图像特征；
[0020]基于先验信息对中间图像特征的时间特征和时间特征对应的内聚特征进行融合，得到融合特征；先验信息是根据中间图像特征在时间维度的变化信息得到的；内聚特征是对时间特征进行关注处理得到的；
[0021]对融合特征进行时间特征贡献调整，得到行为识别特征；
[0022]基于行为识别特征进行视频行为识别。
[0023]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0024]从至少两帧目标视频图像提取视频图像特征；
[0025]将视频图像特征的空间特征进行贡献调整，得到中间图像特征；
[0026]基于先验信息对中间图像特征的时间特征和时间特征对应的内聚特征进行融合，得到融合特征；先验信息是根据中间图像特征在时间维度的变化信息得到的；内聚特征是对时间特征进行关注处理得到的；
[0027]对融合特征进行时间特征贡献调整，得到行为识别特征；
[0028]基于行为识别特征进行视频行为识别。
[0029]一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0030]从至少两帧目标视频图像提取视频图像特征；
[0031]将视频图像特征的空间特征进行贡献调整，得到中间图像特征；
[0032]基于先验信息对中间图像特征的时间特征和时间特征对应的内聚特征进行融合，得到融合特征；先验信息是根据中间图像特征在时间维度的变化信息得到的；内聚特征是对时间特征进行关注处理得到的；
[0033]对融合特征进行时间特征贡献调整，得到行为识别特征；
[0034]基于行为识别特征进行视频行为识别。
[0035]上述视频行为识别方法、装置、计算机设备、存储介质和计算机程序产品，将从至少两帧目标视频图像提取的视频图像特征的空间特征进行贡献调整，通过根据贡献调整获得的中间图像特征在时间维度的变化信息得到的先验信息，对中间图像特征的时间特征和对时间特征进行关注处理得到的内聚特征进行融合，再对得到的融合特征进行时间特征贡献调整，基于获得的行为识别特征进行视频行为识别。在视频行为识别处理过程中，对视频图像特征的空间特征进行贡献调整，并对融合特征进行时间特征贡献调整，可以调整行为识别特征中时间信息和空间信息的贡献程度，以增强行为识别特征的行为信息表现力；通过根据贡献调整获得的中间图像特征在时间维度的变化信息得到的先验信息，对中间图像特征的时间特征和对时间特征进行关注处理得到的内聚特征进行融合，可以对行为识别特征中时间信息进行有效聚焦，使获得的行为识别特征能够有效反映视频中的行为信息，从而提高了视频行为识别的准确率。
附图说明
[0036]图1为一个实施例中视频行为识别方法的应用环境图；
[0037]图2为一个实施例中视频行为识别方法的流程示意图；
[0038]图3为一个实施例中对时间特征进行内聚处理的流程示意图；
[0039]图4为一个实施例中视频行为识别模型的结构示意图；
[0040]图5为一个实施例中结构参数加权融合的流程示意图；
[0041]图6为一个实施例中确定结构参数处理的示意图；
[0042]图7为一个实施例中基于先验信息进行特征融合的流程示意图；
[0043]图8为一个实施例中高内聚处理的流程示意图；
[0044]图9为一个实施例中视频行为识别装置的结构框图；
[0045]图10为一个实施例中计算机设备的内部结构图。
具体实施方式
[0046]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0047]人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频行为识别方法，其特征在于，所述方法包括：从至少两帧目标视频图像提取视频图像特征；将所述视频图像特征的空间特征进行贡献调整，得到中间图像特征；基于先验信息对所述中间图像特征的时间特征和所述时间特征对应的内聚特征进行融合，得到融合特征；所述先验信息是根据所述中间图像特征在时间维度的变化信息得到的；所述内聚特征是对所述时间特征进行关注处理得到的；对所述融合特征进行时间特征贡献调整，得到行为识别特征；基于所述行为识别特征进行视频行为识别。2.根据权利要求1所述的方法，其特征在于，所述将所述视频图像特征的空间特征进行贡献调整，得到中间图像特征，包括：将所述视频图像特征进行空间特征提取，得到所述视频图像特征的空间特征；通过结构参数中的空间结构参数对所述空间特征进行贡献调整，得到中间图像特征；所述结构参数是通过携带行为标签的视频图像样本训练得到的；所述对所述融合特征进行时间特征贡献调整，得到行为识别特征，包括：通过所述结构参数中的时间结构参数对所述融合特征进行贡献调整，得到行为识别特征。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定待训练结构参数；通过所述待训练结构参数中的空间结构参数，对视频图像样本特征的空间样本特征进行贡献调整，得到中间样本特征；所述视频图像样本特征是从所述视频图像样本提取得到的；基于先验样本信息对所述中间样本特征的时间样本特征和所述时间样本特征对应的内聚样本特征进行融合，得到融合样本特征；所述内聚样本特征是对所述时间样本特征进行关注处理得到的；所述先验样本信息是根据所述中间样本特征在时间维度的变化信息得到的；通过所述待训练结构参数中的时间结构参数对所述融合样本特征进行贡献调整，得到行为识别样本特征；基于所述行为识别样本特征进行视频行为识别，并根据行为识别结果和所述视频图像样本对应的行为标签，对所述待训练结构参数进行更新后继续训练直至训练结束，获得所述结构参数。4.根据权利要求3所述的方法，其特征在于，所述方法通过视频行为识别模型实现，所述待训练结构参数是所述视频行为识别模型在训练中的参数；所述根据行为识别结果和所述视频图像样本对应的行为标签，对所述待训练结构参数进行更新后继续训练直至训练结束，获得所述结构参数，包括：获得所述视频行为识别模型输出的行为识别结果；确定所述行为识别结果与所述视频图像样本对应的行为标签之间的差异；根据所述差异对所述视频行为识别模型中的模型参数和所述待训练结构参数进行更新；基于更新后的视频行为识别模型继续训练直至训练结束，并根据训练完成的视频行为
识别模型得到所述结构参数。5.根据权利要求3所述的方法，其特征在于，所述根据行为识别结果和所述视频图像样本对应的行为标签，对所述待训练结构参数进行更新后继续训练直至训练结束，获得所述结构参数，包括：确定行为识别结果和所述视频图像样本对应的行为标签之间的行为识别损失；根据所述行为识别损失和前一行为识别损失得到奖励值；根据所述奖励值对所述待训练结构参数进行更新，通过更新后的待训练结构参数继续训练直至目标函数满足结束条件时，获得所述结构参数；所述目标函数基于训练过程中的各奖励值得到。6.根据权利要求5所述的方法，其特征在于，所述根据所述奖励值对所述待训练结构参数进行更新，包括：根据所述奖励值对策略梯度网络模型的模型参数进行更新；由更新后的策略梯度网络模型对所述待训练结构参数进行更新。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述中间图像特...

【专利技术属性】
技术研发人员：胡益珲，杨伟东，陈宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：