基于脉冲神经网络的神经形态视觉传感器目标检测方法技术

本发明专利技术公开了一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：S1，训练裁剪后的人工神经网络；S2，将人工神经网络转换为脉冲神经网络；S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；S5，对识别和检测的结果进行验证。本发明专利技术对硬件具有友好性，能够处理高速动态物体的检测图像。能够处理高速动态物体的检测图像。

【技术实现步骤摘要】
基于脉冲神经网络的神经形态视觉传感器目标检测方法


[0001]本专利技术属于神经网络目标检测
，特别涉及一种基于脉冲神经网络的神经形态视觉传感器目标检测方法。

技术介绍

[0002]近年来，神经形态视觉传感器凭借其高动态、低功耗、低冗余等优势在无人科技、智能工业等领域有着巨大的应用前景。深度学习彻底改变了机器学习领域，尤其是在计算机视觉，其使用反向传播以监督的方式训练深层人工神经网络，但训练过程需要大量带标签的训练样本、强大的算力以及漫长的训练时间。然而人工神经元与生物神经元传输数据与计算的方法完全不同，前者使用实值信号，而后者使用离散的脉冲来计算和传输信息，并且除了脉冲发放率外，脉冲时间也很重要，因此脉冲神经网络在生物学上更容易现实，也更具硬件友好性和能源效率，因此对便携式设备具有吸引力。
[0003]目标检测是计算机视觉领域中的一个重要的研究课题。已经被广泛的使用在多个真实场景的应用中，如人脸识别，交通安全，人群监控和图像检索等。面对海量的图像视频数据，低耗自动化和快速的目标检测方法是迫切需要的。
[0004]神经形态视觉传感器所捕捉的低冗余时空脉冲数据可以实现脉冲神经网络端到端的训练学习，所以神经形态视觉传感器对脉冲神经网络应用在目标检测领域的研究具有重要的理论意义和现实意义。

技术实现思路

[0005]针对传统的人工神经网络越来越难以应对海量的图像视频数据，本专利技术提出了一种基于脉冲神经网络的神经形态视觉传感器目标检测方法。
[0006]为了解决上述技术问题，本专利技术的技术方案为：
[0007]一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：
[0008]S1，训练裁剪后的人工神经网络；
[0009]S2，将人工神经网络转换为脉冲神经网络；
[0010]S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；
[0011]S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；
[0012]S5，对识别和检测的结果进行验证。
[0013]优选的，步骤S4包括以下步骤：
[0014]S41，将时空脉冲信号输入主干特征提取网络；
[0015]S42，主干特征提取网络分两路分布输出至平均池化层和加强特征提取网络；
[0016]S43，平均池化层输出至加强特征提取网络；
[0017]S44，加强特征提取网络输出两个有效特征至基于V
m
脉冲译码层；
[0018]S45，对基于V
m
脉冲译码层输出的检测与识别的结果进行判断。
[0019]优选的，步骤S41包括以下步骤：
[0020]S411，将时空脉冲信号导入输入层；
[0021]S412，时空脉冲信号通过输入层输入脉冲编码层；
[0022]S413，脉冲编码层进行编码后输出至两次脉冲卷积标准化处理层；
[0023]S414，脉冲卷积标准话处理层处理后输出至三次脉冲残差处理层；
[0024]S415，三次脉冲残差处理层处理后分别输出至平均池化层和加强特征提取网络。
[0025]优选的，步骤S44中加强特征提取网络包括第一脉冲卷积层和第二脉冲卷积层；三次脉冲残差处理层处理后分别输出至第一脉冲卷积层、第二脉冲卷积层和平均池化层，同时平均池化层输出至第二脉冲卷积层；第一脉冲卷积层输出第一有效特征以及第二脉冲卷积层输出第二有效特征。
[0026]优选的，步骤S2中人工神经网络的运算和输出全面转换为二进制时空脉冲信号为处理载体的脉冲神经网络，所有神经元用相应的脉冲神经元来替换，并且训练所得权重进行量化。
[0027]优选的，脉冲神经元采用剩余阈值不平衡脉冲神经元。
[0028]优选的，步骤S1包括：选择合适的目标检测人工神经网络，对网络进行结构约束，用图像数据集训练网络权值。
[0029]与现有技术相比，本专利技术的有益效果是：
[0030]本专利技术将人工神经网络转换成脉冲神经网络，神经视觉传感器结合脉冲神经网络可以对动态物体进行检测和识别，具有检测速度快、低数据冗余、高分辨率、低耗能和对硬件友好性的优点。
附图说明
[0031]图1为本专利技术系统框图；
[0032]图2为本专利技术脉冲神经网络算法框架图；
[0033]图3为本专利技术剩余阈值不平衡脉冲神经元正激活示意图；
[0034]图4为本专利技术剩余阈值不平衡脉冲神经元负激活示意图；
[0035]图5为本专利技术脉冲残差网络分层补偿结构图。
具体实施方式
[0036]下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
[0037]请综合参考图1至图5，一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：
[0038]S1，训练裁剪后的人工神经网络；
[0039]选择合适的目标检测人工神经网络，对网络进行结构约束，例如将偏置限制为零、采用平均池化，用图像数据集训练网络权值。
[0040]S2，将人工神经网络转换为脉冲神经网络；
[0041]将人工神经网络转化为脉冲神经网络，采用近似转换的方式，Reset to zero(适用于浅层网络)和Reset by subtraction(适用于深层网络)两种转换方式，其中每个步长为Δt∈R
+
，V
thr
代表阈值电位，为超过阈值剩余电位，最高脉冲发射率r
max
＝1/Δt，脉冲发射率和人工神经网络的激活值成比例：
[0042][0043]S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；
[0044]S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果，如图2所示；
[0045]训练后将得到的权值全部迁移到对应的脉冲神经网络；输入、运算和输出上对DVS编码全面转换为以二级制时空脉冲信号为处理载体的网络；所有神经元采用剩余阈值不平衡脉冲神经元，满足正激活和负激活的同时有效地将剩余电势保持在膜电位上等待下一次激活。当膜电位小于阈值电位时，若α＝0.1，则负责正激活V
thr
的阈值电压为1mV，而负责负激活V
thr
的阈值电压为－10mV，如图3、4所示；
[0046][0047]为了防止神经元激活不足或过度激活，需要仔细选择权值和阈值电压V...

【技术保护点】

【技术特征摘要】
1.一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，包括以下步骤：S1，训练裁剪后的人工神经网络；S2，将人工神经网络转换为脉冲神经网络；S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；S5，对识别和检测的结果进行验证。2.根据权利要求1所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，步骤S4包括以下步骤：S41，将时空脉冲信号输入主干特征提取网络；S42，主干特征提取网络分两路分布输出至平均池化层和加强特征提取网络；S43，平均池化层输出至加强特征提取网络；S44，加强特征提取网络输出两个有效特征至基于V
m
脉冲译码层；S45，对基于V
m
脉冲译码层输出的检测与识别的结果进行判断。3.根据权利要求2所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，步骤S41包括以下步骤：S411，将时空脉冲信号导入输入层；S412，时空脉冲信号通过输入层输入脉冲编码层；...

【专利技术属性】
技术研发人员：贾涌槟，李丹菁，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：