一种多目标物体的检测方法及装置制造方法及图纸

本发明专利技术公开一种多目标物体的检测方法及装置，所述方法包括：连接目标物体检测设备装置；利用卷积神经网络创建预训练多目标物体检测模型；安装深度学习框架软件；从摄像头中依次读取每帧图像；将摄像头读取后的图像缩小至448*448像素；将缩小后的图像划分成7*7个相同大小的网格；利用坐标值断物体是否在7*7的网格单元中；将有物体的网格单元送入到预训练网络模型中得出边框回归值；输出每个网格的90个物体类别的边框回归；输出每个边框回归物体的位置值和置信度；设置阈值滤掉得分低的边框；对保留的边框进行非极大值抑制处理，合并边框得到最终的检测结果。本发明专利技术解决了现有技术中存在的图像特征提取的设计繁琐，检测速度慢，多目标并发能力差的问题。

【技术实现步骤摘要】
一种多目标物体的检测方法及装置
本专利技术属于计算机图像处理与机器视觉
，涉及一种多目标物体的检测方法，更具体的是涉及一种二维视频摄像头的多目标物体的检测方法及装置。
技术介绍
传统的目标检测一般使用滑动窗口的框架，主要包括三个步骤：(1)利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域；(2)提取候选区域相关的视觉特征。比如人脸检测常用的Harr特征；行人检测和普通目标检测常用的HOG特征等；(3)利用分类器进行识别，比如常用的SVM模型传。传统的目标检测中，多尺度形变部件模型DPM，把物体看成了多个组成的部件(比如人脸的鼻子、嘴巴等)，用部件间的关系来描述物体，这个特性非常符合自然界很多物体的非刚体特征。DPM可以看做是HOG+SVM的扩展，很好的继承了两者的优点，在人脸检测、行人检测等任务上取得了不错的效果，但是DPM相对复杂，检测速度也较慢，从而也出现了很多改进的方法。其中基于深度学习的目标检测的方法是近几年的研究热点。基于深度学习的目标检测发展起来后，其实效果也一直难以突破。比如OverFeat在ILSVRC2013测试集上的mAP只能达到24.3％。这些创新的工作其实很多时候是把一些传统视觉领域的方法和深度学习结合起来了，比如选择性搜索(SelectiveSearch)和图像金字塔(Pyramid)等。这些方式都是基于区域提名的方式。这种方式实现需要很高的计算资源，并且同时处理多个目标很困难。在实时的摄像头视频流中检测多目标时，往往需要多个GPU显卡的加速训练，使得实现目标物体检测的设备便携性都很差。在一些无网络和移动性要求较高的端到端实时处理领域往往很难应用。
技术实现思路
本专利技术的目的是为了解决上述现有技术存在的问题和不足，提供一种二维视频摄像头的多目标物体的检测方法及装置。利用本专利技术的方法进行目标物体检测，具有更低的功耗、消耗更低的计算资源、更加便携的优点，且能够适用于无网络环境，以及实现端到端的实时目标物体检测。本专利技术的最大目标检测种类为90个。为达到上述目的，本专利技术提供的技术方案如下：一种多目标物体检测方法，包括如下步骤：步骤1：连接目标物体检测设备装置；步骤2：利用卷积神经网络创建预训练多目标物体检测模型；步骤3：在目标物体检测设备装置上安装深度学习框架应用软件；步骤4：利用摄像头读取应用软件，从摄像头中依次读取每帧图像；步骤5：将摄像头读取后的图像缩小至448*448像素；步骤6：将缩小后的图像划分成7*7个相同大小的网格；步骤7：利用坐标值断物体是否在7*7的网格单元中；步骤8：将步骤7判断有物体的7*7网格单元送入到预训练网络模型中得出边框回归值；步骤9：通过90个类别的判别器，输出每个网格的90个物体类别的边框回归值；步骤10：通过90个类别的判别器，输出每个边框回归物体的位置值和置信度；步骤11：得到每个边框的位置值和置信度值后，设置阈值，滤掉得分低的边框；步骤12：对保留的边框进行非极大值抑制处理，合并边框得到最终的检测结果。进一步，步骤1所述连接设备装置的连接方式为：将移动端显卡芯片和嵌入式主板连接，摄像头和嵌入式主板连接，电源适配器和嵌入式主板连接，硬盘和嵌入式主板连接。进一步，步骤2所述创建预训练多目标物体检测模型的具体内容和步骤：(1)准备待检测目标物体的训练样本图片；(2)手动标定目标在样本图片中的位置和大小边框；(3)将标定好的样本图片缩小到448*448像素；(4)使用24层卷积神经网络对缩小的样本进行特征提取，得到一些边框回归坐标、边框中包含物体的置信度和类别概率；(5)对所有边框进行非极大值抑制，筛选后输出唯一的边框。进一步，步骤7所述利用坐标值断物体是否在7*7的网格单元中的具体方式是，将所述的物体的中心点坐标与网格单元坐标范围进行比较，以判断所述物体是否在网格单元中。进一步，所述检测方法，还包括将所述的物体的置信度与目标图像的阈值进行比较，以判断所述待检测的视频中是否包含所述的目标图像的步骤；并利用置信度值得分与目标图像的阈值进行比较，当所述置信度值得分大于或等于目标图像的阈值，则判定所述待检测的视频中包含所述的目标图像；当所述置信度值得分小于目标图像的阈值，则判定所述待检测的视频中不包括所述目标图像。进一步，所述检测方法，还包括将所述的物体的位置值与预训练多目标物体检测模型中的位置值进行比较，判断所述物体目标检测的精度；并利用位置值与手动标定目标在样本中的位置进行交并比的比较，当所述位置值与手动标定目标在样本中的位置大于或者等于并交比的阈值，则判定所述待检测的检测是正确的；当所述位置值与手动标定目标在样本中的位置小于并交比的阈值，则判定所述待检测的检测是错误的。为达到上述目的，本专利技术提供的另一技术方案如下：一种用于多目标物体检测的装置，包括移动端显卡芯片、嵌入式主板、摄像头、电源适配器和硬盘，其中所述的嵌入式主板是整个多目标物体检测的硬件平台；所述的移动端显卡芯片是嵌入式的图像处理模块负责视频流图像的处理；所述的摄像头用于视频图像的获取；所述的电源适配器负责给嵌入式主板供电；所述的硬盘用于存储数据；所述的嵌入式主板分别与所述的显卡芯片、摄像头、电源适配器和硬盘连接。本专利技术的一种多目标物体的检测方法，具有的特点和有益效果是：1、本专利技术的方法使用的是低功耗电源，设备的功耗相比电脑和服务器端的深度学习目标检测更加低；2、本专利技术的方法可以在无网络的情况下使用，不需要实时传输给服务器端进行运算。能够使用于户外，网络很差的环境；3、本专利技术的方法体积很小，在嵌入式装置上应用，适合多目标物体识别的终端应用；4、本专利技术的方法每秒处理帧数(FPS)为18-32VOC2007数据集下的精度75.1％。在满足低功耗的情况下也能有很高的精度；5、本专利技术的方法能够同时处理的多目标种类为90个。附图说明图1是本专利技术所述的多目标物体检测方法的流程图。图2是本专利技术所述的设备连接图。图3是本专利技术所述的创建预训练多目标物体检测模型流程图。图4是本专利技术所述的多目标物体检测的设备软件安装流程图。具体实施方式下面结合附图对本专利技术的内容作进一步的详细介绍。图1所示，为本专利技术提供的一种多目标物体检测方法的流程图。本专利技术提供的多目标物体的检测方法，包括如下步骤：S101，连接目标物体检测设备装置，将多目标物体检测方法所需要的装置连接；S102，利用卷积神经网络创建预训练多目标物体检测模型。在安装到装置前需要预训练一个多目标检测的模型，目的在无网络的情况下也可以检测；S103，在目标物体检测设备装置上安装深度学习框架应用软件；S104，利用摄像头调取应用软件，从视频摄像头中依次读取每帧图像；S105，利用图像缩放应用软件，将S104读取的图像缩放到448*448像素；S106，利用图像切割应用软件，将S105缩放后的图像分成7*7的网格；S107，利用坐标值断物体是否在7*7的网格单元中。如果物体的边框中心坐标落在这个网格中，则这个网格就用来预测该物体；如果这个物体的边框中心坐标不在这个网格中，则这个网格不用来预测该物体。每个网格要预测多个边框回归，每个边框回归除了要回归自身的位置之外，还要附带预测一个置信值；S108，将S107判别物体在网格中的图片送入到S102的预训练的多本文档来自技高网...

【技术保护点】
1.一种多目标物体的检测方法，其特征在于，包括步骤：步骤1：连接目标物体检测设备装置；步骤2：利用卷积神经网络创建预训练多目标物体检测模型；步骤3：在目标物体检测设备装置上安装深度学习框架应用软件；步骤4：利用摄像头读取应用软件，从摄像头中依次读取每帧图像；步骤5：将摄像头读取后的图像缩小至448*448像素；步骤6：将缩小后的图像划分成7*7个相同大小的网格；步骤7：利用坐标值断物体是否在7*7的网格单元中；步骤8：将步骤7判断有物体的7*7网格单元送入到预训练网络模型中得出边框回归值；步骤9：通过90个类别的判别器，输出每个网格的90个物体类别的边框回归值；步骤10：通过90个类别的判别器，输出每个边框回归物体的位置值和置信度；步骤11：得到每个边框的位置值和置信度值后，设置阈值，滤掉得分低的边框；步骤12：对保留的边框进行非极大值抑制处理，合并边框得到最终的检测结果。

【技术特征摘要】
1.一种多目标物体的检测方法，其特征在于，包括步骤：步骤1：连接目标物体检测设备装置；步骤2：利用卷积神经网络创建预训练多目标物体检测模型；步骤3：在目标物体检测设备装置上安装深度学习框架应用软件；步骤4：利用摄像头读取应用软件，从摄像头中依次读取每帧图像；步骤5：将摄像头读取后的图像缩小至448*448像素；步骤6：将缩小后的图像划分成7*7个相同大小的网格；步骤7：利用坐标值断物体是否在7*7的网格单元中；步骤8：将步骤7判断有物体的7*7网格单元送入到预训练网络模型中得出边框回归值；步骤9：通过90个类别的判别器，输出每个网格的90个物体类别的边框回归值；步骤10：通过90个类别的判别器，输出每个边框回归物体的位置值和置信度；步骤11：得到每个边框的位置值和置信度值后，设置阈值，滤掉得分低的边框；步骤12：对保留的边框进行非极大值抑制处理，合并边框得到最终的检测结果。2.如权利要求1所述的多目标物体的检测方法，其特征在于，步骤1所述连接设备装置的连接方式为：将移动端显卡芯片和嵌入式主板连接，摄像头和嵌入式主板连接，电源适配器和嵌入式主板连接，硬盘和嵌入式主板连接。3.如权利要求1所述的多目标物体的检测方法，其特征在于，步骤2所述创建预训练多目标物体检测模型的具体内容和步骤：(1)准备待检测目标物体的训练样本图片；(2)手动标定目标在样本图片中的位置和大小边框；(3)将标定好的样本图片缩小到448*448像素；(4)使用24层卷积神经网络对缩小的样本进行特征提取，得到一些边框回归坐标、边框中包含物体的置信度和类别概率；(5)对所有边框进行非极大值抑制，筛选后...

【专利技术属性】
技术研发人员：夏炎，刘镇，吕李娜，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏,32