【技术实现步骤摘要】
本专利技术涉及防尾随，尤其涉及一种基于事件相机和rgb相机的防尾随检测方法。
技术介绍
1、现有的防尾随检测包括两种，其一是利用红外技术进行检测，存在误报高、漏报多以及无可视化证据留存的问题，其二是采用深度学习算法对rgb相机获取的视频图像中的行人进行检测，判断预设通道区域内的行人数量，从而判断行人是否存在被尾随现象，存在着当被应用于运动物体时，运动导致成像模糊，易发生误检，从而影响最终判断结果的问题。简而言之，现有技术的问题包括：rgb相机对于运动物体会发生成像模糊、在极端光照下的图像数据采集能力较差，影响图像检测效果，易发生误检测；在对行人有局部遮挡的应用场景下，成像受影响，会导致漏检测。
技术实现思路
1、本专利技术的一个目的在于提供一种基于事件相机和rgb相机的防尾随检测方法，通过事件相机和rgb相机，通过rgb相机记录预设通道区域内的全幅图像，通过事件相机记录预设通道区域内的亮度“变化”的像素点，具有高动态范围和低延迟的关键特征，能够比rgb相机更快的捕捉环境信息并生成图像，且不会受到运动模糊的影响，还可以记录遮挡物背后场景的完整视觉信息，能够提升图像数据采集能力、防尾随检测的良率。
2、本专利技术的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
3、依本专利技术的一个方面，能够实现前述目的和其他目的和优势的本专利技术的一种基于事件相机和rgb相机的防尾随检测方法，包括以下步骤：
5、（b）：针对事件流和帧图像进行预处理，输入到神经网络模型进行训练，得到检测模型，将事件流转换为事件面，通过计算帧的时间戳周围长度为的时间仓内的事件计数图来得到事件面；
6、（c）：通过检测模型对输入的两种图像进行行人检测，得到当前图像中行人数量，对输出的事件相机的事件流，通过脉冲神经网络进行编码，通过卷积神经网络分别进行特征提取，得到事件相机的事件特征fe，对于rgb相机的图像帧数据，首先将其与事件面进行连接，然后利用卷积神经网络进行特征提取，得到图像特征fi，将事件特征和rgb图像特征进行特征融合，得到最终特征融合图f，将最终特征融合图f作为预测头的输入，输出最终回归矩阵m，最终回归矩阵m为行人检测框向量；
7、（d）：从最终回归矩阵m中筛选，找出分数大于阈值且行人检测框向量在预设范围内的行人集合p，通过对行人集合p的个数进行判断得出是否有尾随行为，若行人集合p个数大于1，则判断为有尾随，若行人集合p个数等于1，则判断为无尾随。
8、根据本专利技术的一个实施例，进一步包括步骤（e）：通过多次判断的结果做投票，投票规则为重复步骤（a）至（d）多次，再计算出概率的平均值，设定阈值，若平均值大于阈值，则判断为有尾随，若平均值等于阈值，则判断为无尾随。
9、根据本专利技术的一个实施例，所述步骤（a）包括子步骤：所述防尾随检测用于预设通道，核验预设通道区域内的行人是否存在尾随现象。
10、根据本专利技术的一个实施例，所述步骤（b）包括子步骤：事件流为四元组(x,y,t,p)列表的形式，其中，x、y代表红外光点阵中点的平面编码，t代表时间，p代表该点的垂直移动幅值。
11、根据本专利技术的一个实施例，所述步骤（b）包括子步骤：通过脉冲神经网络对事件流进行编码及去噪，事件相机获取到的图像数据包含丰富的边缘信息，将事件流转换为事件面。
12、根据本专利技术的一个实施例，所述步骤（b）包括子步骤：事件面公式为，其中，tk是第k帧的时间戳，，tj代表第j帧的事件戳，tj的范围为，为事件量化函数（有正事件的像素输出1，否则为0），x、y表示第k帧红外光点阵中点的平面编码，xj、yj 表示第j帧红外光点阵中点的平面编码。
13、根据本专利技术的一个实施例，所述步骤（c）包括子步骤：事件相机的事件特征fe ，公式为，其中，es 为事件相机获取的事件流，cnn为卷积神经网络，snn为脉冲神经网络，对于rgb相机的图像帧数据，首先将其与事件面进行连接，然后利用卷积神经网络进行特征提取，得到图像特征fi，公式为，其中，if为rgb相机的图像帧数据，cat为连接操作，为事件流转换的事件面，将事件特征和rgb图像特征进行特征融合，得到最终特征融合图f，公式为，其中，conv为卷积操作，fi为图像特征，fe为事件特征。
14、根据本专利技术的一个实施例，所述步骤（d）包括子步骤：公式为，其中，is_tailgating代表是否尾随，len(p)为统计行人集合p的求和函数，当len(p)＞1时，is_tailgating=true代表有尾随，当len(p)=1时，is_tailgating=false代表无尾随。
15、本专利技术的有益效果是：通过事件相机和rgb相机的配合，通过rgb相机记录预设通道区域内的全幅图像，通过事件相机提升对运动物体的拍摄效果，尽量减少运动及遮挡导致的模糊图像，从而提升对防尾随场景的判断准确度。
本文档来自技高网...【技术保护点】
1.一种基于事件相机和RGB相机的防尾随检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的防尾随检测方法，其特征在于，进一步包括步骤（E）：通过多次判断的结果做投票，投票规则为重复步骤（A）至（D）多次，再计算出概率的平均值，设定阈值，若平均值大于阈值，则判断为有尾随，若平均值等于阈值，则判断为无尾随。
3.根据权利要求2所述的防尾随检测方法，其特征在于，所述步骤（A）包括子步骤：所述防尾随检测用于预设通道，核验预设通道区域内的行人是否存在尾随现象。
4.根据权利要求3所述的防尾随检测方法，其特征在于，所述步骤（B）包括子步骤：事件流为四元组(x,y,t,p)列表的形式，其中，x、y代表红外光点阵中点的平面编码，t代表时间，p代表该点的垂直移动幅值。
5.根据权利要求4所述的防尾随检测方法，其特征在于，所述步骤（B）包括子步骤：通过脉冲神经网络对事件流进行编码及去噪，事件相机获取到的图像数据包含丰富的边缘信息，将事件流转换为事件面。
6.根据权利要求5所述的防尾随检测方法，其特征在于，所述步骤（B）包括子步骤
7.根据权利要求1所述的防尾随检测方法，其特征在于，所述步骤（C）包括子步骤：事件相机的事件特征Fe ，公式为，其中，Es 为事件相机获取的事件流，CNN为卷积神经网络，SNN为脉冲神经网络，
8.根据权利要求1所述的防尾随检测方法，其特征在于，所述步骤（D）包括子步骤：公式为，其中，Is_Tailgating代表是否尾随，len(P)为统计行人集合P的求和函数，当len(P)＞1时，Is_Tailgating=True代表有尾随，当len(P)=1时，Is_Tailgating=False代表无尾随。
...【技术特征摘要】
1.一种基于事件相机和rgb相机的防尾随检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的防尾随检测方法，其特征在于，进一步包括步骤（e）：通过多次判断的结果做投票，投票规则为重复步骤（a）至（d）多次，再计算出概率的平均值，设定阈值，若平均值大于阈值，则判断为有尾随，若平均值等于阈值，则判断为无尾随。
3.根据权利要求2所述的防尾随检测方法，其特征在于，所述步骤（a）包括子步骤：所述防尾随检测用于预设通道，核验预设通道区域内的行人是否存在尾随现象。
4.根据权利要求3所述的防尾随检测方法，其特征在于，所述步骤（b）包括子步骤：事件流为四元组(x,y,t,p)列表的形式，其中，x、y代表红外光点阵中点的平面编码，t代表时间，p代表该点的垂直移动幅值。
5.根据权利要求4所述的防尾随检测方法，其特征在于，...
【专利技术属性】
技术研发人员：赖时伍，杨梅，夏炉系，张浒，聂芸芸，罗富章，
申请(专利权)人：盛视科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。