【技术实现步骤摘要】
本公开总体说来涉及分类，更具体地讲，涉及一种视频分类方法、装置、电子设备、存储介质和程序产品。
技术介绍
1、深度卷积网络被用于执行分类任务，尽管已在大部分任务中取得了巨大的成功，但在处理视频时常常受到限制。
2、相关技术中，利用传统的卷积神经网络提取视频特征时，信息较为单一，使得网络难以捕捉到视频的多样化特征，导致模型识别性能低。因此，如何更好地完成视频分类任务，是目前分类领域亟待解决的问题。
技术实现思路
1、本公开提供一种视频分类方法、装置、电子设备、存储介质和程序产品，用于解决上述问题中的至少一个。
2、根据本公开实施例的第一方面，提供一种视频分类方法，所述视频分类方法包括：获取目标视频帧序列；对所述目标视频帧序列进行树状取样，得到两层结构的视频帧序列和关键帧；基于卷积神经网络模型对所述视频帧序列进行特征提取处理，得到时序特征；基于脉冲神经网络模型对所述关键帧进行特征提取处理，得到脉冲特征；对所述时序特征和所述脉冲特征进行融合处理，得到视频融合特征；根据所述视频融合特征进行分类处理，得到所述目标视频帧序列的类别信息。
3、可选地，所述卷积神经网络模型包括第一卷积层和第二卷积层，其中，所述基于卷积神经网络模型对所述视频帧序列进行特征提取处理，得到时序特征，包括：对所述视频帧序列进行灰度处理，得到灰度视频帧序列；基于所述第一卷积层对所述灰度视频帧序列进行特征提取处理，得到短期时序特征；基于所述第二卷积层对所述短期时序特征进行特征提取处理，得到
4、可选地，所述基于脉冲神经网络模型对所述关键帧进行特征提取处理，得到脉冲特征，包括：对所述关键帧进行脉冲编码处理，得到关键帧脉冲序列；基于所述脉冲神经网络模型对所述关键帧脉冲序列进行动态的特征提取处理，得到所述脉冲特征。
5、可选地，所述卷积神经网络模型采用relu激活函数进行数据非线性运算，所述脉冲神经网络模型采用lif神经元作为激活函数进行数据非线性运算。
6、可选地，所述卷积神经网络模型和所述脉冲神经网络模型通过以下步骤训练得到：获取样本视频帧序列和样本类别信息；对所述样本视频帧序列进行树状取样，得到两层结构的取样视频帧序列和样本关键帧；基于待训练的卷积神经网络模型对所述取样视频帧序列进行特征提取处理，得到样本时序特征；基于待训练的脉冲神经网络模型对所述样本关键帧进行特征提取处理，得到样本脉冲特征；对所述样本时序特征和所述样本脉冲特征进行融合处理，得到样本视频融合特征；根据所述样本视频融合特征进行分类处理，得到所述样本视频帧序列的预测类别信息；基于损失函数确定所述预测类别信息和所述样本类别信息之间的损失值；利用所述损失值对所述待训练的卷积神经网络模型和所述待训练的脉冲神经网络模型进行反向传播更新，得到所述卷积神经网络模型和所述脉冲神经网络模型。
7、可选地，所述样本视频帧序列是经过预处理的视频帧序列，所述预处理包括以下至少一个：数据扩增处理、尺寸调整处理、归一化处理、剔除异常值处理。
8、可选地，所述待训练的脉冲神经网络模型的反向传播更新使用替代梯度，所述替代梯度包括：其中，α为学习率，x为所述损失值。
9、根据本公开实施例的第二方面，提供一种视频分类装置，所述视频分类装置包括：获取单元，被配置为获取目标视频帧序列；取样单元，被配置为对所述目标视频帧序列进行树状取样，得到两层结构的视频帧序列和关键帧；第一提取单元，被配置为基于卷积神经网络模型对所述视频帧序列进行特征提取处理，得到时序特征；第二提取单元，被配置为基于脉冲神经网络模型对所述关键帧进行特征提取处理，得到脉冲特征；融合单元，被配置为对所述时序特征和所述脉冲特征进行融合处理，得到视频融合特征；分类单元，被配置为根据所述视频融合特征进行分类处理，得到所述目标视频帧序列的类别信息。
10、可选地，所述卷积神经网络模型包括第一卷积层和第二卷积层，所述第一提取单元还被配置为：对所述视频帧序列进行灰度处理，得到灰度视频帧序列；基于所述第一卷积层对所述灰度视频帧序列进行特征提取处理，得到短期时序特征；基于所述第二卷积层对所述短期时序特征进行特征提取处理，得到长期时序特征，作为所述时序特征。
11、可选地，所述第二提取单元还被配置为：对所述关键帧进行脉冲编码处理，得到关键帧脉冲序列；基于所述脉冲神经网络模型对所述关键帧脉冲序列进行动态的特征提取处理，得到所述脉冲特征。
12、可选地，所述卷积神经网络模型采用relu激活函数进行数据非线性运算，所述脉冲神经网络模型采用lif神经元作为激活函数进行数据非线性运算。
13、可选地，所述卷积神经网络模型和所述脉冲神经网络模型通过以下步骤训练得到：获取样本视频帧序列和样本类别信息；对所述样本视频帧序列进行树状取样，得到两层结构的取样视频帧序列和样本关键帧；基于待训练的卷积神经网络模型对所述取样视频帧序列进行特征提取处理，得到样本时序特征；基于待训练的脉冲神经网络模型对所述样本关键帧进行特征提取处理，得到样本脉冲特征；对所述样本时序特征和所述样本脉冲特征进行融合处理，得到样本视频融合特征；根据所述样本视频融合特征进行分类处理，得到所述样本视频帧序列的预测类别信息；基于损失函数确定所述预测类别信息和所述样本类别信息之间的损失值；利用所述损失值对所述待训练的卷积神经网络模型和所述待训练的脉冲神经网络模型进行反向传播更新，得到所述卷积神经网络模型和所述脉冲神经网络模型。
14、可选地，所述样本视频帧序列是经过预处理的视频帧序列，所述预处理包括以下至少一个：数据扩增处理、尺寸调整处理、归一化处理、剔除异常值处理。
15、可选地，所述待训练的脉冲神经网络模型的反向传播更新使用替代梯度，所述替代梯度包括：其中，α为学习率，x为所述损失值。
16、根据本公开实施例的第三方面，提供了一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，计算机可执行指令在被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的视频分类方法。
17、根据本公开实施例的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质中的指令在被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的视频分类方法。
18、根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，计算机指令在被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的视频分类方法。
19、本公开的实施例提供的技术方案至少带来以下有益效果：根据本公开的视频分类方法及装置、电子设备、存储介质，通过同时利用卷积神经网络模型和脉冲神经网络模型，先从目标视频帧序列中取样得到分别适合这两种模型的视频帧序列和关键帧，再利用脉冲神经网络模型从关键帧中提取脉冲特征，依靠脉冲神经网络模型控制功耗，并结合卷积神经网络模型从视频帧本文档来自技高网...
【技术保护点】
1.一种视频分类方法，其特征在于，所述视频分类方法包括：
2.如权利要求1所述的视频分类方法，其特征在于，所述卷积神经网络模型包括第一卷积层和第二卷积层，其中，所述基于卷积神经网络模型对所述视频帧序列进行特征提取处理，得到时序特征，包括：
3.如权利要求1所述的视频分类方法，其特征在于，所述基于脉冲神经网络模型对所述关键帧进行特征提取处理，得到脉冲特征，包括：
4.如权利要求1所述的视频分类方法，其特征在于，
5.如权利要求1至4中的任一权利要求所述的视频分类方法，其特征在于，所述卷积神经网络模型和所述脉冲神经网络模型通过以下步骤训练得到：
6.如权利要求5所述的视频分类方法，其特征在于，
7.一种视频分类装置，其特征在于，所述视频分类装置包括：
8.一种电子设备，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中的指令在被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至6中任一项所述的视频分类方法。
10.一种计算机程序产品
...【技术特征摘要】
1.一种视频分类方法，其特征在于，所述视频分类方法包括：
2.如权利要求1所述的视频分类方法，其特征在于，所述卷积神经网络模型包括第一卷积层和第二卷积层，其中，所述基于卷积神经网络模型对所述视频帧序列进行特征提取处理，得到时序特征，包括：
3.如权利要求1所述的视频分类方法，其特征在于，所述基于脉冲神经网络模型对所述关键帧进行特征提取处理，得到脉冲特征，包括：
4.如权利要求1所述的视频分类方法，其特征在于，
5.如权利要求1至4中的任一权利要求所述的视频分类方法，其特征在于，所述卷积神经网络模型和所述脉冲神经网络...
【专利技术属性】
技术研发人员：李文娟，原春锋，李兵，薛登峰，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。