【技术实现步骤摘要】
本专利技术涉及目标检测，具体涉及一种基于神经网络的刀具检测方法。
技术介绍
1、目标检测是计算机视觉领域的一个主要研究方向。自从2012年cnn的崛起，深度学习在图像识别领域取得巨大成功，这种成功促进了图像识别技术向视频领域延伸和拓展。
2、在大型活动现场及人员密集的地方，及时发现潜在的危险对人们的安全至关重要。目前一种方法是通过检测监控视频中刀和匕首等危险物体的存在，但是当前的监控和控制系统仍然需要人工的监督和干预。解决这个问题最有效方法之一是为监控摄像机配备精确的检测系统，减少人工干预。现有基于深度学习的目标检测算法对视频监控中刀具检测存在误检、漏检等问题，整体检测效果不佳。
3、刀具由于种类比较多，如匕首、砍刀等，形状比较难以定义，同时，同样的刀具在不同的角度呈现时形状差异较大，容易被误识别成其它的物体，且由于遮挡、光照、背景复杂等其它问题，给刀具的检测带来了较大的困难。
技术实现思路
1、为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于神经网络的刀具检测方法，本专利技术采用稀疏特征传播的方法降低视频冗余性带来的多余计算，满足实时性的要求，同时，又通过多关键帧聚合方式融合了邻近视频帧信息，提高了刀具目标检测的准确性。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、本专利技术提供一种基于神经网络的刀具检测方法，包括下述步骤：
4、获取输入视频序列，选取前n帧为初始视频帧序列，从初始视频帧序列中选取m个
5、判断当前帧是否为关键帧，若是关键帧，则采用图像特征提取网络提取关键帧图像特征，若是非关键帧，则当前非关键帧的图像特征由关键帧传播聚合得到；
6、获取刀具图像数据集，并划分为训练集及测试集，构建刀具检测模型；
7、基于训练集对刀具检测模型的参数进行迭代更新，基于测试集对初步的刀具检测模型进行测试，根据测试结果调整网络结构及参数，将无法检测或检测错误的图像加入训练集，并重新训练直至满足预设条件，得到最终的刀具检测模型；
8、将特征输入目标检测网络，提取感兴趣区域并从特征中计算多个位置敏感得分；
9、调整m/n比值，将图像特征输入训练后的刀具检测模型进行检测，输出刀具特征检测结果。
10、作为优选的技术方案，从初始视频帧序列中选取m个关键帧，具体步骤包括：
11、获取视频帧序列压缩编码信息，将所有帧内编码帧确定为关键帧，若此时关键帧数量超过m，则在帧内编码帧中随机选取m帧为关键帧，若此时关键帧数量不足m，则随机选取帧间预测编码帧补充关键帧数至m，若此时关键帧数量依然不足m，则随机选取双向预测编码帧补足关键帧数量达到m；
12、当前视频帧数不足n时，假设视频帧数为s，则取s个视频帧为一个新的视频序列，再选取s*(m/n)个帧作为关键帧，其中，s<n。
13、作为优选的技术方案，若是关键帧，则采用图像特征提取网络提取关键帧图像特征，具体步骤包括：
14、将选取出的m个关键帧标记为k1、k2、...、km；
15、建立关键帧原始图像列表{ik1,ik2,...,ikm}；
16、通过图像特征提取网络nfeat提取关键帧特征；
17、更新关键帧原始图像列表。
18、作为优选的技术方案，所述图像特征提取网络nfeat以resnet-101为基础，去掉原始resnet-101最后一个全连接层，保留前100层，然后再接一个1*1*1024的卷积层。
19、作为优选的技术方案，若是非关键帧，则当前非关键帧的图像特征由关键帧传播聚合得到，具体包括：
20、依次输入当前非关键帧及其之前的关键帧进入光流网络，得到光流图；
21、关键帧与非关键帧的光流图通过光流网络预测得到估计特征图，对前一关键帧特帧和上一步骤计算出的光流信息进行双线性插值计算，得到帧与帧之间的传播特征，得到当前非关键帧的估计特征图；
22、将传播特征输入嵌入子网络，计算特征聚合的权重值；
23、根据权重计算融合特征。
24、作为优选的技术方案，关键帧与非关键帧的光流图通过光流网络预测得到估计特征图，对前一关键帧特帧和上一步骤计算出的光流信息进行双线性插值计算，得到帧与帧之间的传播特征，具体步骤包括：
25、给定当前帧ii和及其附近的关键帧ik，则从帧i到帧k的光流场mi→k为：
26、mi→k＝f(ii,ik)
27、其中，f表示光流网络，i表示原始图像，m表示光流场；
28、已知关键帧ik的特征fk和帧i到帧k的光流场mi→k，则从帧k到帧i的传播特征为：
29、fk→i＝w(fk,mi→k)＝w(fk,f(ii,ik))
30、其中，w(·)是双线性插值函数，f表示特征。
31、作为优选的技术方案，将传播特征输入嵌入子网络，计算特征聚合的权重值，具体包括：
32、将经过嵌入子网络映射后的特征用fe表示，特征图中每个位置p的权重为：
33、
34、
35、
36、其中，ε(·)表示通过嵌入子网络的运算。
37、作为优选的技术方案，提取感兴趣区域并从特征中计算多个位置敏感得分，具体包括：
38、提取感兴趣区域roi，从融合特征中计算k2(c+1)个位置敏感得分，其中，k表示将感兴趣区域roi划分成k*k个网格，c表示分类类别的数量，c+1表示分类类别的数量再加1个背景类别。
39、作为优选的技术方案，调整m/n比值，当m＝1时，采用单关键帧传播算法。
40、本专利技术与现有技术相比，具有如下优点和有益效果：
41、本专利技术通过稀疏特征传播和密集特征聚合的方式，充分利用待检测视频帧上下文相关信息，并尽量的去除率视频中的冗余，提升率神经网络模型的泛化能力，使模型能检测出处于运动模糊、部分遮挡状态下的刀具，同时也可通过参数的调整，让模型能侧重于准确率或速率，以适应更多场景下刀具的检测。
本文档来自技高网...【技术保护点】
1.一种基于神经网络的刀具检测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，从初始视频帧序列中选取m个关键帧，具体步骤包括：
3.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，若是关键帧，则采用图像特征提取网络提取关键帧图像特征，具体步骤包括：
4.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，所述图像特征提取网络Nfeat以ResNet-101为基础，去掉原始ResNet-101最后一个全连接层，保留前100层，然后再接一个1*1*1024的卷积层。
5.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，若是非关键帧，则当前非关键帧的图像特征由关键帧传播聚合得到，具体包括：
6.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，关键帧与非关键帧的光流图通过光流网络预测得到估计特征图，对前一关键帧特帧和上一步骤计算出的光流信息进行双线性插值计算，得到帧与帧之间的传播特征，具体步骤包括：
7.根据权利要求1所述的
8.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，提取感兴趣区域并从特征中计算多个位置敏感得分，具体包括：
9.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，调整m/n比值，当m＝1时，采用单关键帧传播算法。
...【技术特征摘要】
1.一种基于神经网络的刀具检测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，从初始视频帧序列中选取m个关键帧，具体步骤包括：
3.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，若是关键帧，则采用图像特征提取网络提取关键帧图像特征，具体步骤包括：
4.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，所述图像特征提取网络nfeat以resnet-101为基础，去掉原始resnet-101最后一个全连接层，保留前100层，然后再接一个1*1*1024的卷积层。
5.根据权利要求1所述的基于神经网络的刀具检测方法，其特征在于，若是非关键帧，则当前非关键帧...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。