一种基于制造技术

本发明专利技术提出了一种目标检测及图像融合算法在

【技术实现步骤摘要】
一种基于RK3588平台的检测算法部署方法


[0001]本专利技术涉及计算机视觉领域，具体涉及目标检测及图像融合算法在
RK3588
平台的落地部署
。

技术介绍

[0002]NPU
英语全称为
Neural Process Unit
，译为神经网络处理器
。NPU
是在电路层来模拟人类的神经元和突触，它的架构和指令集专门针对神经网络计算进行了优化，因此它在处理神经网络计算方面表现出色，具有较高的推理性能
。
[0003]RK3588
开发板搭载有单个核心的
RK3568NPU
，包含
CNA
模块
(Convolution Neural Network Accelerator)、DPU
模块
(dada processing Unit)、PPU
模块
(Pooling Processing Unit)
，分别代表卷积神经网络加速器
、
数据处理单元和
Polling
操作单元
。
[0004]实例分割是计算机视觉领域中的一项任务，旨在对图像或视频中的每个像素进行分类并指示其所属的特定对象实例
。
与语义分割不同，实例分割不仅关注像素的类别，还将每个像素与特定的对象实例相关联，使得可以对不同对象实例进行独立的分割和处理
。
[0005]yolov5
‑
seg
是基于
YOLOv5
开发的实例分割模型
。
它结合了
YOLOv5
目标检测的快速和准确性以及语义分割的像素级精细分割能力，旨在实现高效的实例分割任务
。yolov5
‑
seg
采用了一种单阶段的端到端方法，将目标检测和语义分割相结合
。
相比于传统的两阶段实例分割方法，
yolov5
‑
seg
可以更快地进行推理，并在保持精度的同时减少计算成本
。

技术实现思路

[0006]本专利技术的目的在于实现目标检测及图像融合算法在
RK3588
平台的落地部署工作
。
[0007]实现本专利技术目的的技术解决方案为：
[0008]步骤1，自制数据集划并划分为训练集和验证集；
[0009]步骤2，使用训练集对
yolov5m
‑
seg
神经网络进行训练；
[0010]步骤3，将训练得到的
pt
模型文件转换为
onnx
格式，再转化为
rknn
格式；
[0011]步骤4，为
RK3588
开发板配置环境，使用
rknn
格式的模型文件对验证集进行推理，验证推理结果；
[0012]步骤5，对推理结果进行后处理得到目标掩膜，通过掩膜生成一个矩形区域，在此区域内将可见光图像和红外图像进行融合
。
[0013]进一步的，步骤1，使用
labelme
对采集到的
832
张图片进行标注后导出，按
9∶1
的比例分为训练集和验证集，完成自制数据集的工作
。
[0014]进一步的，步骤2，使用训练集对神经网络预训练模型
yolov5m
‑
seg
进行训练，选取最优模型，具体方法为：
[0015]图片大小为
640*512
，批处理设置为
16
，使用
NVIDIA GeForce RTX 3070
对
yolov5s
‑
seg、yolov5m
‑
seg
和
yolov5l
‑
seg
分别训练了
100、200、300、400
个
epoch
，从而避免欠拟合或过拟合导致的泛化能力差的问题
。
综合精度和速度两方面考量，我们最终选择了
yolov5m
‑
seg
为此次落地的网络模型
。
[0016]进一步的，步骤3，将训练得到的格式为
pt
的模型文件转换为
onnx
格式，再转换为
rknn
文件
。
具体方法为：
[0017]配置
yolov5
‑
seg
运行环境，使用
Netron
可视化
yolov5
‑
seg
神经网络模型，查看其中是否有
rknn
不支持的算子，确保后续转换过程的可行性
。
检查完毕后调用
torch.onnx.export
的接口把
pt
格式的模型文件导出为
onnx
格式；
[0018]再在虚拟机中安装
RKNN
的工具包，调用
load_onnx
接口加载
onnx
格式的模型文件，然后调用
build
接口构建
RKNN
模型，接口中的
do_quantization
参数决定了是否对模型进行量化，值为
True
或
False
，最后再调用
export_rknn
的接口导出格式为
rknn
的模型文件，导出时使用
float16
量化模型，用于后续的推理
。
[0019]进一步的，步骤4，为
RK3588
开发板配置环境，使用
rknn
格式的模型文件对验证集进行推理，验证推理结果，具体方法为：
[0020](a)
首先为
RK3588
开发板安装
Debian
系统，然后安装
rknn_lite2
包，此包用来后续调用各类
rknn
接口；
[0021](b)
创建
RKNN
对象，以初始化
RKNN SDK
环境；
[0022](b)
调用
config
接口设置模型参数
。
接口参数中：
mean_values
表示输入的均值
。
参数格式是一个列表，列表中包含一个或多个均值子列表，多输入模型对应多个子列表，每个子列表的长度与该输入的通道数一致；
mean_values
表示输入的均值
。
参数格式是一个列表，列表中包含一个或多个均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
RK3588
平台的目标检测与图像融合算法部署方法，其特征在于，步骤如下：步骤1，自制数据集并分成训练集和验证集；步骤2，使用训练集对
yolov5
‑
seg
神经网络进行训练；步骤3，将模型文件从
pt
转换为
onnx
格式，再转换为
rknn
格式；步骤4，为
RK3588
开发板配置环境，使用
rknn
格式的模型文件对验证集进行推理，验证推理结果；步骤5，对推理结果进行后处理得到目标掩膜，通过掩膜生成一个矩形区域，在此区域内将可见光图像和红外图像进行融合
。2.
根据权利要求1所述的一种基于
RK3588
平台的目标检测与图像融合算法部署方法，其特征在于，步骤1，自制数据集并分成训练集和验证集，使用
labelme
对采集到的
832
张图片进行标注后导出，按
9∶1
的比例分为训练集和验证集
。3.
根据权利要求1所述的一种基于
RK3588
平台的目标检测与图像融合算法部署方法，其特征在于，步骤2，使用训练集对神经网络预训练模型进行训练，选取最优模型，具体方法为：图片大小为
640*512
，批处理设置为
16
，使用
NVIDIA GeForce RTX 3070
对
yolov5s
‑
seg、yolov5m
‑
seg
和
yolov5l
‑
seg
分别训练了
100、200、300、400
个
epoch
，从而避免欠拟合或过拟合导致的泛化能力差的问题
。4.
根据权利要求1所述的一种基于
RK3588...

【专利技术属性】
技术研发人员：任侃，朱军，顾国华，陈钱，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：