一种基于海思平台的小目标检测方法技术

本发明专利技术公开了一种基于海思平台的小目标检测方法。首先配置媒体处理平台参数驱动摄像头，采集视频数据，实现数据传递，量化并加载目标检测算法模型，初始化目标检测算法和神经网络推理计算单元；然后使用视频处理子系统模块对接受到的图像队列进行裁剪和缩放得到新的图像队列，根据新的图像队列的图像分配内存，并使用专用的神经网络推理模块对图像队列并行进行前行推理；其次对得到的推理结果进行处理；最后通过HDMI接口输出显示。本发明专利技术通过使用海思HI3559AV100芯片内部的NNIE模块和自带的高效媒体处理功能，使整个检测过程在一块嵌入式ARM板子上进行，对比现有的方法，实现了对小目标检测的性能要求，更好的发挥了深度学习的优势。的优势。的优势。

【技术实现步骤摘要】
一种基于海思平台的小目标检测方法


[0001]本专利技术涉及目标检测领域，具体为一种基于海思平台的小目标检测方法。

技术介绍

[0002]目标检测作为计算机有关图像识别的应用之一，在智能视频监控、机器人导航、航拍和道路检测等方面得到了广泛的应用，它的主要任务是在图片中找到感兴趣的目标或者物体，并确定它们的位置和大小。在目标检测领域，同一物体在不同图片中存在大小不一、形状多变、前景遮挡和光照变化等问题，这些问题也是目标检测亟待解决的问题；目标检测作为计算机视觉领域的研究方向之一，从最开始的传统目标检测算法到现在基于深度学习的目标检测算法，检测的速度和精度都有了很大的提升。
[0003]目前，大多数基于深度学习的小目标检测算法运行在PC端的GPU上，该种方式存在功耗大、便携性差的问题，使得现有的目标检测算法不能更好的运用在实际生活中。此外，通过移动客户端采集数据，以网络传输的方式，将采集数据上传到云处理器进行处理，由云处理器返回处理结果，在移动客户端显示处理结果的目标检测方式，检测实时性差，且对网络信号的要求较高，不能充分发挥基于深度学习的优势。

技术实现思路

[0004]本专利技术提出了一种基于海思平台的小目标检测方法。
[0005]实现本专利技术目的的技术方案为：一种基于海思平台的小目标检测方法，包括如下具体步骤：
[0006]步骤1：视频数据采集：对海思多媒体处理平台参数进行配置，采集目标视频数据；
[0007]步骤2：量化并加载目标检测算法模型，初始化目标检测模型：通过使用海思提供nnie_mapper工具将Caffe框架的目标检测模型YOLOv3量化为在HI3559AV100芯片上可以加载的数据指令文件，通过HI_MPI_SVP_NNIE_LoadModel此API接口加载wk文件，配置并初始化相应的目标检测模型参数，包括通过调用NNIE模块的基本接口获取卷积神经网络每段所需的辅助内存空间来计算获到总的内存空间大小、申请内存空间地址以及配置网络模型所需要的参数；
[0008]步骤3：处理视频图像队列并前向推理：调用视频处理子模块接收步骤1采集的多通道目标视频数据并对多通道目标视频数据进行裁剪和缩放；对裁剪和缩放后的图像队列进行前向推理；
[0009]步骤4：根据置信度对检测结果进行筛选，去除置信度低于设定阈值的预测框，对应网格按照置信度从大到小进行排序并进行非极大值抑制操作；获得所有物体的预测框的坐标，使用HI_MPI_VGS_AddCoverTask的API根据预测框的坐标在图像中把框图画出，把图像输出在显示屏上。
[0010]优选地，对海思多媒体处理平台参数具体包括：使用HI_MPI_VB_Init、HI_MPI_SYS_Init媒体接口配置并初始化视频缓冲池和MPP系统，通过HI_MPI_VI_***接口配置视频
输入模块的参数，实现视频输入模块对摄像头对场景信息采集的视频数据的接收，实现视频输入、处理通道数据流的数据传递。
[0011]优选地，对多通道目标视频数据进行裁剪和缩放的具体方法为：通过使用HI_MPI_VPSS_SetChnCrop的API接口设置图像裁剪参数，同时使用视频处理子模块的功能对裁剪后的图形进行缩放。
[0012]优选地，对裁剪和缩放后的图像队列进行前向推理的具体方法为：
[0013]通过HI_MPI_VPSS_GetChnFram接口获得图像队列，通过配置NNIE模块神经网络推理接口的对应参数，使用HI_MPI_SVP_NNIE_Forward的API接口调用YOLOv3的网络模型参数对获得的视频图像数据进行前向推理，得到图像经过推导后的结果，所述结构包括物体的类别、置信度、物体预测框的左上角坐标、以及预测框的高度和宽度。
[0014]优选地，进行非极大值抑制操作具体为：计算预测框的交并比，去除交并比大于设定阈值的预测框，交并比的计算公式为：
[0015][0016]式中：A代表预测框1的面积，B代表预测框2的面积
[0017]本专利技术与现有技术相比，其显著优点为：
[0018](1)本专利技术通过HI3559AV100平台完成图像获取、图像裁剪与缩放、目标识别等功能，与传统PC端目标检测相比，大大提升了便携性；
[0019](2)本专利技术将YOLOV3的darknet
‑
53改为darknet
‑
19，减少了残差网络的应用，压缩了网络模型，减少了数据复杂度和提高了模型推理速率，提高了小目标的检测精度；
[0020](3)本专利技术采用图像裁剪与缩放，并进行并行处理，提高了海思模块的使用效率，加快的检测效率。
[0021]下面结合附图对本专利技术进行进一步详细的描述。
附图说明
[0022]图1为本专利技术一种基于海思平台的目标检测方法实施例的流程图。
[0023]图2为本专利技术海思媒体处理平台配置流程图。
[0024]图3为本专利技术端到端算法的整体框架和模型结构图。
[0025]图4为本专利技术实施例的BT1120摄像头采集到的输入图片。
[0026]图5为本专利技术实施例的经过视频处理子模块裁剪缩小后的图片序列1。
[0027]图6为本专利技术实施例的经过视频处理子模块裁剪缩小后的图片序列2。
[0028]图7为本专利技术实施例的经过视频处理子模块裁剪缩小后的图片序列3。
[0029]图8为本专利技术实施例的经过视频处理子模块裁剪缩小后的图片序列4。
[0030]图9为本专利技术实施例的图像4目标检测的最终结果。
[0031]图10、图11分别为本专利技术实时例的图像9的局部放大图。
具体实施方式
[0032]如图1所示，一种基于海思平台的小目标检测方法，包括如下步骤：
[0033]步骤1：视频数据采集：对海思多媒体处理平台(MPP)参数进行配置，包括使用HI_
MPI_VB_Init、HI_MPI_SYS_Init等媒体接口配置并初始化视频缓冲池和MPP系统，同时使用视频输入(VI)模块，通过HI_MPI_VI_***等接口配置视频输入模块的参数，实现视频输入模块对摄像头对场景信息采集的BT1120格式的视频数据的接收，从而实现视频输入、处理通道数据流的数据传递。
[0034]步骤2：量化并加载目标检测算法模型，初始化目标检测算法和神经网络推理计算单元：通过使用海思提供nnie_mapper工具将Caffe框架的现有目标检测模型YOLOv3量化为在HI3559AV100芯片上可以加载的数据指令文件(文件后缀为wk，以下简称wk文件)，通过HI_MPI_SVP_NNIE_LoadModel此API接口加载wk文件，配置并初始化相应的模型参数，包括通过调用NNIE模块的基本接口获取卷积神经网络每段所需的辅助内存空间来计算获到总的内存空间大小、申请内存空间地址以及配置网络模型所需要的参数。
[0035]步骤3：处理视频图像队列并前向推理：调用视频处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于海思平台的小目标检测方法，其特征在于，包括如下具体步骤：步骤1：视频数据采集：对海思多媒体处理平台参数进行配置，采集目标视频数据；步骤2：量化并加载目标检测算法模型，初始化目标检测模型：通过使用海思提供nnie_mapper工具将Caffe框架的目标检测模型YOLOv3量化为在HI3559AV100芯片上可以加载的数据指令文件，通过HI_MPI_SVP_NNIE_LoadModel此API接口加载wk文件，配置并初始化相应的目标检测模型参数，包括通过调用NNIE模块的基本接口获取卷积神经网络每段所需的辅助内存空间来计算获到总的内存空间大小、申请内存空间地址以及配置网络模型所需要的参数；步骤3：处理视频图像队列并前向推理：调用视频处理子模块接收步骤1采集的多通道目标视频数据并对多通道目标视频数据进行裁剪和缩放；利用目标检测模型对裁剪和缩放后的图像队列进行前向推理；步骤4：根据置信度对检测结果进行筛选，去除置信度低于设定阈值的预测框，对应网格按照置信度从大到小进行排序并进行非极大值抑制操作；获得所有物体的预测框的坐标，使用HI_MPI_VGS_AddCoverTask的API根据预测框的坐标在图像中把框图画出，把图像输出在显示屏上。2.根据权利要求1所述的基于海思平台的小目标检测方法，其特征在于，对海思多媒体处理平台参数具体包括：使用HI_MPI_VB...

【专利技术属性】
技术研发人员：胡友成，张俊举，白宗宝，胡逸飞，高巍，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：