本发明专利技术涉及目标识别技术领域，公开了基于脉冲神经网络的视觉识别方法及装置，包括：对预设动态目标的视频样本数据进行脉冲编码得到脉冲序列，输入预设的脉冲神经网络进行残差计算，对脉冲网络输出特征进行长短期时序特征提取，将提取出的长短期时序特征与脉冲网络输出特征进行融合得到目标融合特征，计算目标融合特征的损失值，对脉冲神经网络进行反向迭代更新，得到目标长短期时序特征融合模型；将待识别的动态目标的视频流数据输入到长短期时序特征融合模型得到识别结果。本发明专利技术通过结合长短期时序特征提取，克服了现有脉冲神经网络在捕捉和识别动态数据时无法有效利用时序信息进行动态数据识别的缺陷，提升对于动态数据的视觉识别准确性。
【技术实现步骤摘要】
本专利技术涉及目标识别，具体涉及基于脉冲神经网络的视觉识别方法及装置。
技术介绍
1、在现有的脉冲神经网络(snn)中，网络在不同时间点之间传递的是脉冲电压，导致时序信息的传递非常有限。
2、由于脉冲神经网络主要关注脉冲信号是否出现，而不直接处理连续的时间信息，因此脉冲神经网络无法有效捕捉数据中蕴含的时间动态特征，这种情况导致结果是，snn在处理时序信息时，可能无法充分捕捉短期的突发性特征和长期的变化趋势，进一步的，由于缺乏足够的时序信息提取机制，导致对动态变化的反应迟钝，不能有效地分辨出关键的动态模式，进而影响识别效果。
技术实现思路
1、有鉴于此，本专利技术提供了基于脉冲神经网络的视觉识别方法及装置，以解决动态数据识别效果差的问题，从而提升对于动态数据的视觉识别准确性。
2、第一方面，本专利技术提供了基于脉冲神经网络的视觉识别方法，方法包括：
3、对预设动态目标的视频样本数据进行脉冲编码得到脉冲序列；
4、将所述脉冲序列输入预设的脉冲神经网络进行残差计算，得到脉冲网络输出特征，并且对所述脉冲网络输出特征进行长短期时序特征提取，同时，将提取出的长短期时序特征与所述脉冲网络输出特征进行融合得到目标融合特征；
5、利用预设损失函数计算所述目标融合特征的损失值；
6、根据所述损失值对所述脉冲神经网络进行反向迭代更新，当所述损失值小于预设损失阈值时，停止所述反向迭代更新的过程，得到目标长短期时序特征融合模型；
7、将待识别的动态目标的视频流数据，输入到所述目标长短期时序特征融合模型得到识别结果。
8、本专利技术实施例将视频样本数据转化为脉冲序列，相较于现有技术中直接处理脉冲信号相比，通过脉冲编码得到的脉冲序列能够提高关于动态信息的解析效果，通过残差计算得到脉冲网络输出特征，进行长短期时序特征提取，得到目标融合特征，通过目标融合特征增加了时间纬度上的特征表达，解决了脉冲神经网络无法有效捕捉数据中蕴含的时间动态特征的问题，本实施例中的目标融合特征是结合了长短期时序以及脉冲信号本身的特征，因此，利用目标融合特征不断更新脉冲网络信号中的损失值，从而更新脉冲网络，得到目标长短期时序特征融合模型，最终生成的目标长短期时序特征融合模型具备高效识别动态目标的能力，当识别的动态目标的视频流数据输入至目标长短期时序特征融合模型中，能够得到更加精确的识别结果，解决动态数据识别效果差的问题，从而提升对于动态数据的视觉识别准确性。
9、在一种可选的实施方式中，所述预设的脉冲神经网络包括至少两个残差块，以及至少两个长短期时序特征提取模块，所述残差块与所述长短期时序特征提取模块的数量相同且为一一对应的关系。
10、本专利技术实施例通过多个残差块和长短期时序特征提取模块，以一一对应的关系组成预设脉冲神经网络，不同残差块和时序特征模块可以实现残差信息与长短时序特征的融合，从而使得最终得到的目标融合特征能够更全面地表示动态目标的信息。
11、在一种可选的实施方式中，所述将所述脉冲序列输入预设的脉冲神经网络进行残差计算，得到脉冲网络输出特征，并且对所述脉冲网络输出特征进行长短期时序特征提取，同时，将提取出的长短期时序特征与所述脉冲网络输出特征进行融合得到目标融合特征，具体包括：
12、将所述脉冲序列输入至所述脉冲神经网络的第一个残差块，得到第一个脉冲输出；
13、将第一个脉冲输出输入至所述第一个长短期时序特征提取模块，得到第一个长短期时序特征；
14、将第一个长短期时序特征和第一个脉冲输出通过加法操作进行融合得到第一个融合特征；
15、将第一个融合特征和脉冲序列通过加法操作进行融合得到第一个残差输出；
16、从第一个残差输出开始，利用后续的n-1个残差输出按照预设融合过程得到目标融合特征；
17、其中，所述预设融合过程包括：
18、将第n-2个残差输出输入至脉冲神经网络的第n-1个残差块，得到第n-1个脉冲输出；将第n-1个脉冲输出输入至所述第n-1个长短期时序特征提取模块，得到第n-1个长短期时序特征；将第n-1个长短期时序特征与第n-1个脉冲输出通过加法操作进行融合得到第n-1个融合特征；将第n-1个融合特征和第n-2个残差输出通过加法操作进行融合得到第n-1个残差输出，其中，n为预设值，表示大于3的整数；
19、将第n-1个残差输出输入至脉冲神经网络的第n个残差块，得到第n个脉冲输出；将第n个脉冲输出输入至第n个长短期时序特征提取模块，得到第n个长短期时序特征；将第n个长短期时序特征与第n-1个脉冲输出通过加法操作进行融合得到第n个融合特征，其中，所述第n个融合特征为目标融合特征。
20、本专利技术实施例通过将脉冲网络输出特征与长短期时序特征进行融合，并且相当于在每个残差块上都加入时序特征提取，保证不同层次的特征都被长短时序特征所加强，从而提高识别的准确性，通过结合脉冲神经网络与时序特征提取模块，实现了模型对动态目标在时序特征上的学习。
21、在一种可选的实施方式中，所述利用预设损失函数计算所述目标融合特征的损失值，具体包括：
22、通过指数函数对目标融合特征进行计算，获得预设动态目标的视频样本数据对应的各个类别的预测概率；
23、利用交叉熵损失函数计算预测概率与预设动态目标的视频样本数据对应的真实标签之间的差异信息，确定损失值。
24、本专利技术实施例使用指数函数计算预测概率，利用交叉熵损失函数来计算预测概率与真实标签之间的差异，相当于通过目标融合特征不断更新模型，从而提高动态目标识别能力，进一步提高视觉识别的准确性。
25、在一种可选的实施方式中，所述长短期时序特征提取模块包括至少一个卷积核，且所述长短期时序特征提取模块中采用sigmoid函数进行数据非线性运算。
26、本专利技术实施例中长短期时序特征提取模块包括至少一个卷积核，且所述长短期时序特征提取模块中采用sigmoid函数进行数据非线性运算，通过结合卷积核和sigmoid函数，长短期时序特征提取模块能够更加精确地融合动态目标中的时序信息，在结构上增强了时间维度上的特征表达效果，使得生成的目标融合特征能够更好地反映动态目标的数据特征，从而提高了动态目标识别的准确性。
27、在一种可选的实施方式中，所述长短期时序特征提取模块还包括一个全连接层，所述全连接层输出神经元的数量与预设样本数据的各个类别的数量相同。
28、本专利技术实施例长短期时序特征提取模块包含一个全连接层，该层输出神经元的数量与预设样本数据的各个类别的数量相同，全连接层可以将提取的长短期时序特征映射到一个更高维度的空间，使得不同类别之间的特征更加明显，由于输出神经元数量与类别数量相同，每个神经元只需要学习识别某个特定类别的特征，从而提高了动态目标在不同类型上识别的准确性。
29、第二方面，本专利技术提供了基于脉冲神经网络的本文档来自技高网
...
【技术保护点】
1.基于脉冲神经网络的视觉识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的脉冲神经网络包括至少两个残差块，以及至少两个长短期时序特征提取模块，所述残差块与所述长短期时序特征提取模块的数量相同且为一一对应的关系。
3.根据权利要求2所述的方法，其特征在于，所述将所述脉冲序列输入预设的脉冲神经网络进行残差计算，得到脉冲网络输出特征，并且对所述脉冲网络输出特征进行长短期时序特征提取，同时，将提取出的长短期时序特征与所述脉冲网络输出特征进行融合得到目标融合特征，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述利用预设损失函数计算所述目标融合特征的损失值，具体包括：
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述长短期时序特征提取模块包括至少一个卷积核，且所述长短期时序特征提取模块中采用Sigmoid函数进行数据非线性运算。
6.根据权利要求5所述的方法，其特征在于，所述长短期时序特征提取模块还包括一个全连接层，所述全连接层输出神经元的数量与预设样本数据的各个类别的数量相同。
7.基于脉冲神经网络的视觉识别装置，其特征在于，所述装置包括：
8.一种计算机设备，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的基于脉冲神经网络的视觉识别方法。
10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的基于脉冲神经网络的视觉识别方法。
...
【技术特征摘要】
1.基于脉冲神经网络的视觉识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的脉冲神经网络包括至少两个残差块，以及至少两个长短期时序特征提取模块，所述残差块与所述长短期时序特征提取模块的数量相同且为一一对应的关系。
3.根据权利要求2所述的方法，其特征在于，所述将所述脉冲序列输入预设的脉冲神经网络进行残差计算，得到脉冲网络输出特征，并且对所述脉冲网络输出特征进行长短期时序特征提取，同时，将提取出的长短期时序特征与所述脉冲网络输出特征进行融合得到目标融合特征，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述利用预设损失函数计算所述目标融合特征的损失值，具体包括：
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述长短期时序特征提...
【专利技术属性】
技术研发人员：李文娟，薛登峰，原春锋，李兵，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。