【技术实现步骤摘要】
本申请涉及图像数据处理，尤其涉及一种evs图像识别方法、装置、设备及存储介质。
技术介绍
1、事件型视觉传感器(event-based vision sensor，evs)图像是由事件相机产生的图像数据，evs图像的识别，目前主要包括传统的人工神经网络和脉冲神经网络两种方式。传统的人工神经网络缺乏时序的处理能力，相比较而言，脉冲神经网络更适合evs图像识别。脉冲神经网络在进行图像识别时会模拟生物神经元中膜电位的累计以及神经元点火的过程，但是这一过程没有过滤干扰信号，基于未进行干扰过滤的数据进行图像分类或识别，将导致识别的准确度较低。
技术实现思路
1、针对上述问题，本申请提供了一种evs图像识别方法、装置、设备及存储介质，有利于过滤掉evs图像中的干扰信号，提升图像识别的准确度。
2、为实现上述目的，本申请第一方面提供了一种evs图像识别方法，该方法包括：
3、对事件型视觉传感器evs输出的事件流进行合并，得到图像帧序列；
4、将图像帧序列输入脉冲神经网络模型进行识别，得到图像帧序列的目标识别结果；
5、其中，脉冲神经网络模型中神经元间的信息传递过程，包括：
6、基于脉冲神经网络模型的第i层神经元输出的脉冲信号，得到第(i+1)层神经元的输入数据；其中，i大于或等于1；
7、在输入数据小于第一阈值的情况下，过滤掉输入数据；
8、在输入数据大于或等于第一阈值的情况下，基于输入数据得到第(i+1)层神经
9、结合第一方面，在一种可能的实施方式中，基于输入数据得到第(i+1)层神经元输出的脉冲信号，包括：
10、基于输入数据，按照第(i+1)层神经元的膜电位累积方式在第(i+1)层神经元内进行膜电位的累积；
11、在第(i+1)层神经元内的膜电位大于第二阈值的情况下，激发第(i+1)层神经元输出第一脉冲信号；
12、在第(i+1)层神经元内的膜电位小于或等于第二阈值的情况下，保持第(i+1)层神经元输出第二脉冲信号。
13、结合第一方面，在一种可能的实施方式中，在过滤掉输入数据之后，该方法还包括：
14、基于第(i+1)层神经元内的膜电位，得到第(i+1)层神经元输出的脉冲信号。
15、结合第一方面，在一种可能的实施方式中，事件流中包括多个事件帧；对事件型视觉传感器evs输出的事件流进行合并，得到图像帧序列，包括：
16、获取多个事件帧的系数；
17、基于多个事件帧的系数对多个事件帧进行合并，得到图像帧序列。
18、结合第一方面，在一种可能的实施方式中，获取多个事件帧的系数，包括：
19、获取每个事件帧中的事件数；
20、获取多个事件帧中的事件总数；
21、基于事件数和事件总数，确定每个事件帧的系数。
22、结合第一方面，在一种可能的实施方式中，基于多个事件帧的系数对多个事件帧进行合并，得到图像帧序列，包括：
23、基于每个事件帧的系数将对应的事件帧转换为图像帧；
24、基于连续的至少两个事件帧的系数将对应的至少两张图像帧合并，得到图像帧序列。
25、结合第一方面，在一种可能的实施方式中，脉冲神经网络模型采用以下步骤训练得到：
26、将训练样本输入脉冲神经网络进行前向推理，得到训练样本的分类结果；
27、基于分类结果，通过梯度下降算法调整脉冲神经网络的突触的权重和设定的数据过滤阈值；
28、不断迭代训练样本，直至分类损失收敛，得到脉冲神经网络模型；其中，第一阈值为数据过滤阈值固定后的值。
29、本申请第二方面提供了一种evs图像识别装置，该装置包括获取单元和处理单元；
30、获取单元，用于对事件型视觉传感器evs输出的事件流进行合并，得到图像帧序列；
31、处理单元，用于将图像帧序列输入脉冲神经网络模型进行识别，得到图像帧序列的目标识别结果；
32、其中，在处理脉冲神经网络模型中神经元间的信息传递方面，处理单元具体用于：
33、基于脉冲神经网络模型的第i层神经元输出的脉冲信号，得到第(i+1)层神经元的输入数据；其中，i大于或等于1；
34、在输入数据小于第一阈值的情况下，过滤掉输入数据；
35、在输入数据大于或等于第一阈值的情况下，基于输入数据得到第(i+1)层神经元输出的脉冲信号。
36、结合第二方面，在一种可能的实施方式中，在基于输入数据得到第(i+1)层神经元输出的脉冲信号方面，处理单元具体用于：
37、基于输入数据，按照第(i+1)层神经元的膜电位累积方式在第(i+1)层神经元内进行膜电位的累积；
38、在第(i+1)层神经元内的膜电位大于第二阈值的情况下，激发第(i+1)层神经元输出第一脉冲信号；
39、在第(i+1)层神经元内的膜电位小于或等于第二阈值的情况下，保持第(i+1)层神经元输出第二脉冲信号。
40、结合第二方面，在一种可能的实施方式中，处理单元还用于：
41、基于第(i+1)层神经元内的膜电位，得到第(i+1)层神经元输出的脉冲信号。
42、结合第二方面，在一种可能的实施方式中，事件流中包括多个事件帧；在对事件型视觉传感器evs输出的事件流进行合并，得到图像帧序列方面，获取单元具体用于：
43、获取多个事件帧的系数；
44、基于多个事件帧的系数对多个事件帧进行合并，得到图像帧序列。
45、结合第二方面，在一种可能的实施方式中，在获取多个事件帧的系数方面，获取单元具体用于：
46、获取每个事件帧中的事件数；
47、获取多个事件帧中的事件总数；
48、基于事件数和事件总数，确定每个事件帧的系数。
49、结合第二方面，在一种可能的实施方式中，在基于多个事件帧的系数对多个事件帧进行合并，得到图像帧序列方面，获取单元具体用于：
50、基于每个事件帧的系数将对应的事件帧转换为图像帧；
51、基于连续的至少两个事件帧的系数将对应的至少两张图像帧合并，得到图像帧序列。
52、结合第二方面，在一种可能的实施方式中，在训练脉冲神经网络模型方面，处理单元具体用于：
53、将训练样本输入脉冲神经网络进行前向推理，得到训练样本的分类结果；
54、基于分类结果，通过梯度下降算法调整脉冲神经网络的突触的权重和设定的数据过滤阈值；
55、不断迭代训练样本，直至分类损失收敛，得到脉冲神经网络模型；其中，第一阈值为数据过滤阈值固定后的值。
56、可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请实施例第一方面的内容应同步适配于本本文档来自技高网...
【技术保护点】
1.一种EVS图像识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述输入数据得到所述第(i+1)层神经元输出的脉冲信号，包括：
3.根据权利要求1所述的方法，其特征在于，在过滤掉所述输入数据之后，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述事件流中包括多个事件帧；所述对事件型视觉传感器EVS输出的事件流进行合并，得到图像帧序列，包括：
5.根据权利要求4所述的方法，其特征在于，所述获取所述多个事件帧的系数，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述多个事件帧的系数对所述多个事件帧进行合并，得到所述图像帧序列，包括：
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述脉冲神经网络模型采用以下步骤训练得到：
8.一种EVS图像识别装置，其特征在于，所述装置包括获取单元和处理单元；
9.一种计算机设备，其特征在于，包括：处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种evs图像识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述输入数据得到所述第(i+1)层神经元输出的脉冲信号，包括：
3.根据权利要求1所述的方法，其特征在于，在过滤掉所述输入数据之后，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述事件流中包括多个事件帧；所述对事件型视觉传感器evs输出的事件流进行合并，得到图像帧序列，包括：
5.根据权利要求4所述的方法，其特征在于，所述获取所述多个事件帧的系数，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述多个事件帧的系数对所述多个事件...
【专利技术属性】
技术研发人员：张玉立，
申请(专利权)人：深圳锐视智芯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。