基于嵌入式平台的高分辨率图像目标识别方法技术

本发明专利技术公开了一种基于嵌入式平台的高分辨率图像目标识别方法，其包括以下步骤：步骤一：利用高分辨率图像构建数据集；步骤二：构建目标识别网络；步骤三：训练生成目标识别网络模型；步骤四：在海思嵌入式平台部署目标识别网络模型，对高分辨率图像目标进行识别。本发明专利技术可应用于各种海思嵌入式智能处理平台，实现对目标的识别处理，增强了对小目标的识别能力，且无需调参，识别准确度高，目标识别准确性好，实用性高。实用性高。实用性高。

【技术实现步骤摘要】
基于嵌入式平台的高分辨率图像目标识别方法


[0001]本专利技术属于图像处理
，涉及一种高分辨率图像目标识别在嵌入式平台中的实现方法，具体为一种基于嵌入式平台的高分辨率图像目标识别方法。

技术介绍

[0002]基于深度学习的目标识别技术，在安防、遥感等领域得到了广泛的应用。高分辨率图像目标识别的主要任务是在高分辨率图片中找到感兴趣的小目标或者物体，并确定它们的位置和大小。与传统目标检测技术相比，目标识别技术不受光照阴影、天气变化、场景晃动等因素的干扰，大幅降低了识别虚警率。此外，自动识别的结果也往往比人眼识别更为可靠。
[0003]但是在高分辨率遥感图像应用中，将目标识别技术移植到嵌入式产品的过程依旧充满了挑战。为满足国产化应用要求，选择采用海思HI3519AV100小型嵌入式设备，它有限的运算资源和内存，使得高分辨率目标识别网络很难真正应用到设备中。具体而言，目标识别技术的应用主要受限于两个方面。第一是现在流行的目标识别网络的参数量和运算资源耗费往往都很大，难以移植到嵌入式设备中。第二是由于运算资源受限，目标识别网络往往采用亚采样来实现对于一帧图像的处理，对小目标的识别能力不佳。因此，如果想将高分辨率图像目标识别技术应用到工业产品中，急需一种对识别网络进行大幅度删减的压缩模型策略，从而实现小体积网络的小目标识别。

技术实现思路

[0004](一)专利技术目的
[0005]本专利技术的目的是：针对现有高分辨率图像目标识别网络模型体积庞大等问题，提出一种适用于海思HI3519AV100嵌入式设备的高分辨率图像目标识别方法，基于YOLOv5目标识别网络，修改网络层结构，精简后处理计算方法，对原有模型的网络和识别时间进行改进，增强对小目标的识别能力，同时提升识别准确性。
[0006](二)技术方案
[0007]为了解决上述技术问题，本专利技术提供一种基于嵌入式平台的高分辨率图像目标识别方法，包括以下步骤：
[0008]步骤一：利用高分辨率图像构建数据集
[0009]搜集开源数据集、遥感数据集、无人机航拍图像数据集等，对数据集内的各类目标进行分类和标注，得到带有类别标签的图像数据集，将带有类别标签的图像数据集划分为训练集和测试集，其中80％作为训练集，20％作为测试集；
[0010]步骤二：构建目标识别网络
[0011]改进了YOLOv5网络结构，在骨干网络(Backbone)部分，利用卷积层替换Focus模块中的切片层，并依次分别串联CONV卷积模块、C3模块和SPP模块；在检测网络(Neck)部分，增加了更多尺度的目标特征进行上采样和特征融合，获得不同尺度的特征图数据，进而在原
有三层特征图检测输出的基础上，增加小目标检测输出层；在预测层(Output)部分，改进了后处理计算方法，去掉了Flatten层，直接从Conv卷积层输出中提取出目标信息；
[0012]步骤三：训练生成目标识别网络模型
[0013]采用YOLOv5s网络模型训练工具，将目标识别网络写入yaml格式的配置文件，对网络模型进行训练，得到pt格式模型文件；采用onnx软件，将pt格式模型文件转换为onnx格式通用模型文件；采用onnx2caffe软件，将onnx模型文件转换为caffe模型文件；采用RuyiStudio工具，将caffe模型文件转换为海思嵌入式平台所支持的wk模型文件格式。
[0014]步骤四：在海思嵌入式平台部署目标识别网络
[0015]部署阶段，基于海思媒体处理平台MPP(Media Process Platform)，搭建视频处理框架，配置视频处理子系统VPSS(Video Process Sub
‑
System)，加载wk模型文件至NNIE硬件单元；
[0016]实施阶段，通过V4L2驱动读取实时高分辨率图像，经由NNIE硬件单元推理计算，计算结果经ARM处理器进行后处理，提取出目标信息，从实现对高分辨率图像的目标识别。
[0017]其中，步骤一在构建目标数据集时，应确保各尺度大小的样本数量基本一致；对于错误识别的目标，也可作为背景添加到目标数据集中，重新进行训练，以提高识别准确率。
[0018]其中，步骤二在设计目标识别网络时，应将卷积层模块固化为二维卷积、批归一化、激活函数的串联结构，以便于海思嵌入式平台执行层集合操作，减少内存消耗，提高执行效率。
[0019]其中，步骤三在训练网络模型时，需注意海思嵌入式平台目前仅支持Caffe框架，且以caffe
‑
1.0版本为基础。
[0020](三)有益效果
[0021]上述技术方案所提供的基于嵌入式平台的高分辨率图像目标识别方法，可应用于各种海思嵌入式智能处理平台，实现对目标的识别处理，增强了对小目标的识别能力，且无需调参，识别准确度高，目标识别准确性好，实用性高。
附图说明
[0022]图1为本专利技术目标识别网络结构示意图。
[0023]图2为本专利技术目标识别网络CONV卷积模块(A图)、C3模块(B图)、SPP模块(C图)结构示意图。
[0024]图3为本专利技术目标识别后处理流程图。
[0025]图4为本专利技术训练生成目标识别网络模型流程图。
[0026]图5为本专利技术海思嵌入式平台处理流程图。
具体实施方式
[0027]为使本专利技术的目的、内容和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0028]以海思HI3519AV100嵌入式平台实现高分辨率图像车辆目标检测为实施例，介绍本专利技术目标识别方法，本实施例也可应用于其他海思嵌入式智能处理平台，如海思HI3559AV100等，检测目标也不仅限于车辆目标，通过扩展数据集，可实现对其他各类目标
的识别检测。
[0029]本实施例目标识别方法包括以下步骤：
[0030]步骤一：建立车辆目标数据集。
[0031]搜集图像建立针对俯视车辆目标数据集，确保车辆目标数据集图像来源多样化，具体包括：从实际应用场景中采集真实车辆图像；从开源数据集中提取符合要求的自然场景下车辆图像；搜集无车辆情况下的自然场景图像作为背景图像。所建立车辆目标数据集中，车辆图像和背景图像的比例大致为1:1，总的图像数量达到8300张。
[0032]标注所搜集图像，标注后每个图像对应一个同名的标记文件,格式为txt。车辆图像的标记文件中每一个车辆位置信息保存为一行，依次保存目标类别、归一化后的目标中心点x坐标，归一化后的目标中心点y坐标，归一化后的目标框宽度w，归一化后的目标框高度h(归一化指的是除以图片宽或高)；每个背景图像生成一个空白的txt文档作为标记文件。
[0033]步骤二：构建车辆目标识别网络。
[0034]本实例构建的目标识别网络结构如图1所示，该网络主要由三个部分组成：
[0035]骨干网络(Backbone)：采用C3+SPP结构，在不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于嵌入式平台的高分辨率图像目标识别方法，其特征在于，包括以下步骤：步骤一：利用高分辨率图像构建数据集；步骤二：构建目标识别网络；步骤三：训练生成目标识别网络模型；步骤四：在海思嵌入式平台部署目标识别网络模型，对高分辨率图像目标进行识别。2.如权利要求1所述的基于嵌入式平台的高分辨率图像目标识别方法，其特征在于，步骤一中，搜集开源数据集、遥感数据集、无人机航拍图像数据集，对数据集内的各类目标进行分类和标注，得到带有类别标签的图像数据集，将带有类别标签的图像数据集划分为训练集和测试集。3.如权利要求2所述的基于嵌入式平台的高分辨率图像目标识别方法，其特征在于，步骤一中，图像数据集划分时，其中80％作为训练集，20％作为测试集。4.如权利要求3所述的基于嵌入式平台的高分辨率图像目标识别方法，其特征在于，步骤二中，目标识别网络为改进的YOLOv5网络结构，包括骨干网络、检测网络和预测层三部分；在骨干网络部分，利用卷积层替换Focus模块中的切片层，并依次分别串联CONV卷积模块、C3模块和SPP模块；在检测网络部分，增加更多尺度的目标特征进行上采样和特征融合，获得不同尺度的特征图数据，进而在原有三层特征图检测输出的基础上，增加小目标检测输出层；在预测层部分，改进后处理计算方法，去掉Flatten层，直接从Conv卷积层输出中提取出目标信息。5.如权利要求4所述的基于嵌入式平台的高分辨率图像目标识别方法，其特征在于，步骤三中，采用YOLOv5s网络模型训练工具，将目标识别网络写入yaml格式的配置文件，对网络模型进行训练，得到pt格式模型文...

【专利技术属性】
技术研发人员：张卫国，侯军占，范鹏程，施道云，种泽中，孔鹏，何鹏，黄维东，王怡恬，吴英春，惠进，
申请(专利权)人：西安应用光学研究所，
类型：发明
国别省市：