一种基于多任务融合的模型边缘端部署方法技术

本发明专利技术公开一种基于多任务融合的模型边缘端部署方法，采集多任务场景下的图像样本，建立训练样本库；使用轻量化网络训练混合样本库，得到一阶段混合目标检测模型文件；根据多任务场景下的检测目标的特点，对每个需要进行二阶段处理的图像样本进行二阶段的标注，设计该特定任务下的轻量级网络并进行训练，得到若干个二阶段轻量级处理模型文件；以待检测图像为输入，得到其中多任务目标的矩形关键区域的分类信息和位置信息；以每一个矩形关键区域的信息为输入，得到多任务混合应用场景下的结果输出。本发明专利技术方法将多任务的混合检测场景融合到一套应用流程中，建立了端到端的任务实现方式，能提升边缘终端中多任务的执行效率，有效改善用户的使用体验。改善用户的使用体验。改善用户的使用体验。

【技术实现步骤摘要】
一种基于多任务融合的模型边缘端部署方法


[0001]本专利技术涉及计算机视觉
，特别是一种基于多任务融合的模型边缘端部署方法。

技术介绍

[0002]传统方式下，在边缘终端中部署应用深度学习模型实现各项AI任务时，受限于硬件资源的调度，一般是用串行同步的方式执行各项任务，即一项任务执行完成得到结果后再执行下一项任务，这就导致在复杂的多任务场景下存在执行效率上的问题。首先，每个任务都是串行运行的，会导致单次的任务循环耗时占用非常多，由于存在一些冗余的检测过程，也就带来了更多的耗时占用；其次，每个任务都至少需要加载一个模型文件，在多任务的使用场景下需要非常多的模型文件用于检测目标，从而造成内存及存储资源的占用，这对边缘终端上本就紧缺的硬件资源提出了更为巨大的挑战。因此，边缘终端中传统的多任务串行执行方式会造成推理效率的下降及硬件资源需求的增长，从而降低了用户的使用体验。为了解决这类多任务场景下的部署问题，往往也会使用多个边缘终端或者在边缘终端上扩展若干个外置的计算设备来进行分工协作并行处理，但这也就造成了硬件成本上的增加，不是很好的解决方案。

技术实现思路

[0003]本专利技术的目的是提供一种基于多任务融合的模型边缘端部署方法，它通过建立一套端到端的多任务融合检测识别方法，解决了传统方式下在进行多任务部署时普遍采用多模型串行执行的方式所带来的冗余耗时、高硬件资源占用等问题，能有效提升边缘终端中多任务的执行效率，取得了有益的检测效果。
[0004]本专利技术采用的技术方案如下：
[0005]一种基于多任务融合的模型边缘端部署方法，包括：
[0006]S1：获取多任务混合检测场景下的图像样本以及对应的人工标注信息，构建训练样本库，所述人工标注信息包括图像样本中各任务目标的矩形关键区域的分类信息及位置信息；
[0007]S2：利用S1中的训练样本库对轻量级网络进行训练，得到一阶段混合目标检测模型文件；
[0008]S3：根据多个任务混合检测场景下的各任务目标的设定需求，分别对每个需要进行二阶段处理的任务目标对应的图像样本进行二阶段的标注，基于每个需要进行二阶段处理的任务目标的矩形关键区域的分类信息及位置信息以及二阶段的标注构建针对每个需要进行二阶段处理的任务目标的二阶段训练样本集；
[0009]S4：对每个需要进行二阶段处理的任务目标，利用对应的二阶段训练样本集对轻量级网络进行训练，得到若干个二阶段处理模型文件；
[0010]S5：在模型边缘端构建一阶段检测程序，将待检测图像输入一阶段混合目标检测
模型文件，运行前向推理计算，得到待检测图像中各任务目标的矩形关键区域的分类信息和位置信息；
[0011]S6：在模型边缘端构建多分支的二阶段处理程序，对S5中对每个需要进行二阶段处理的任务目标，将得到的矩形关键区域的分类信息及位置信息输入不同分支下相应的二阶段处理模型文件中，得到多任务混合检测场景下的结果输出。
[0012]进一步，所述步骤S1中还包括：
[0013]利用python脚本统计各类别任务目标的矩形关键区域的数量，针对数量小于设定阈值的类别采取重新拍摄或者在原有图像上利用数据增强技术进行变换的方式对训练样本看进行扩充。
[0014]进一步，所述步骤S2中选择轻量级网络是YOLOX
‑
Tiny或NanoDet网络。
[0015]进一步，步骤S2中：采用4：1的比例随机在训练样本库中划分出训练集和测试集，利用训练集对轻量级网络进行训练，得到中间模型文件；再利用测试集对所述中间模型文件进行验证，若验证结果不符合设定要求，则对训练样本库中各图像样本进行优化标注，重新建立训练集和测试集，利用当前训练集和测试集对中间模型文件进行迭代训练和验证，直至验证结果符合设定要求，则将中间模型文件作为最终的一阶段混合目标检测模型文件。
[0016]进一步，所述步骤S5之前还包括利用边缘终端芯片厂家提供的模型转换工具，对一阶段混合目标检测模型文件以及二阶段处理模型文件进行模型转换处理，得到若干个适用于在边缘终端部署的模型文件。
[0017]进一步，所述步骤S5中：基于边缘端芯片厂商提供的API接口构建一阶段检测程序，采用异构计算的方式进行编码，以实现一阶段检测的前向推理计算。
[0018]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法：
[0019]S1：获取多任务混合检测场景下的图像样本以及对应的人工标注信息，构建训练样本库，所述人工标注信息包括图像样本中各任务目标的矩形关键区域的分类信息及位置信息；
[0020]S2：利用S1中的训练样本库对轻量级网络进行训练，得到一阶段混合目标检测模型文件；
[0021]S3：根据多个任务混合检测场景下的各任务目标的设定需求，分别对每个需要进行二阶段处理的任务目标对应的图像样本进行二阶段的标注，基于每个需要进行二阶段处理的任务目标的矩形关键区域的分类信息及位置信息以及二阶段的标注构建针对每个需要进行二阶段处理的任务目标的二阶段训练样本集；
[0022]S4：对每个需要进行二阶段处理的任务目标，利用对应的二阶段训练样本集对轻量级网络进行训练，得到若干个二阶段处理模型文件；
[0023]S5：在模型边缘端构建一阶段检测程序，将待检测图像输入一阶段混合目标检测模型文件，运行前向推理计算，得到待检测图像中各任务目标的矩形关键区域的分类信息和位置信息；
[0024]S6：在模型边缘端构建多分支的二阶段处理程序，对S5中对每个需要进行二阶段处理的任务目标，将得到的矩形关键区域的分类信息及位置信息输入不同分支下相应的二
阶段处理模型文件中，得到多任务混合检测场景下的结果输出。。
[0025]本专利技术还提供一种基于多任务融合的模型边缘端部署设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下方法：
[0026]S1：获取多任务混合检测场景下的图像样本以及对应的人工标注信息，构建训练样本库，所述人工标注信息包括图像样本中各任务目标的矩形关键区域的分类信息及位置信息；
[0027]S2：利用S1中的训练样本库对轻量级网络进行训练，得到一阶段混合目标检测模型文件；
[0028]S3：根据多个任务混合检测场景下的各任务目标的设定需求，分别对每个需要进行二阶段处理的任务目标对应的图像样本进行二阶段的标注，基于每个需要进行二阶段处理的任务目标的矩形关键区域的分类信息及位置信息以及二阶段的标注构建针对每个需要进行二阶段处理的任务目标的二阶段训练样本集；
[0029]S4：对每个需要进行二阶段处理的任务目标，利用对应的二阶段训练样本集对轻量级网络进行训练，得到若干个二阶段处理模型文件；
[0030]S5：在模型边缘端构建一阶段检测程序，将待检测图像输入一阶段混合目标检测模型文件，运行前向推理计算，得到待检测图像中各任务目标的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务融合的模型边缘端部署方法，其特征在于，包括：S1：获取多任务混合检测场景下的图像样本以及对应的人工标注信息，构建训练样本库，所述人工标注信息包括图像样本中各任务目标的矩形关键区域的分类信息及位置信息；S2：利用S1中的训练样本库对轻量级网络进行训练，得到一阶段混合目标检测模型文件；S3：根据多个任务混合检测场景下的各任务目标的设定需求，分别对每个需要进行二阶段处理的任务目标对应的图像样本进行二阶段的标注，基于每个需要进行二阶段处理的任务目标的矩形关键区域的分类信息及位置信息以及二阶段的标注构建针对每个需要进行二阶段处理的任务目标的二阶段训练样本集；S4：对每个需要进行二阶段处理的任务目标，利用对应的二阶段训练样本集对轻量级网络进行训练，得到若干个二阶段处理模型文件；S5：在模型边缘端构建一阶段检测程序，将待检测图像输入一阶段混合目标检测模型文件，运行前向推理计算，得到待检测图像中各任务目标的矩形关键区域的分类信息和位置信息；S6：在模型边缘端构建多分支的二阶段处理程序，对S5中对每个需要进行二阶段处理的任务目标，将得到的矩形关键区域的分类信息及位置信息输入不同分支下相应的二阶段处理模型文件中，得到多任务混合检测场景下的结果输出。2.根据权利要求1所述的一种基于多任务融合的模型边缘端部署方法，其特征在于，所述步骤S1中还包括：利用python脚本统计各类别任务目标的矩形关键区域的数量，针对数量小于设定阈值的类别采取重新拍摄或者在原有图像上利用数据增强技术进行变换的方式对训练样本看进行扩充。3.根据权利要求1所述的一种基于多任务融合的模型边...

【专利技术属性】
技术研发人员：曾凯，文继锋，陈宏君，李响，叶立文，刘坤，周磊，韩科文，
申请(专利权)人：南京南瑞继保工程技术有限公司，
类型：发明
国别省市：