一种跨平台数据分析方法技术

本发明专利技术涉及一种跨平台数据分析方法，通过加速器结构层增设用户推理接口，解决了边缘硬件架构多、模型加速部署成本高问题；相比传统方法模型边缘部署过程中的格式转换过程，明显提高了开发效率；有效降低了边缘设备后期AI推理代码维护成本。理代码维护成本。理代码维护成本。

【技术实现步骤摘要】
一种跨平台数据分析方法


[0001]本专利技术涉及图像处理
，具体是指一种跨平台数据分析方法。

技术介绍

[0002]不同的平台在进行图像处理的时候，需要进行不同平台系统的搭建，这就导致了边缘硬件架构多和模型加速部署成本高的问题。而本申请提供跨平台数据分析方法，相比传统方法模型边缘部署过程中的格式转换过程，明显提高了开发效率。最后，有效降低了边缘设备后期AI推理代码维护成本。

技术实现思路

[0003]本专利技术提供一种跨平台数据分析方法，解决了边缘硬件架构多、模型加速部署成本高问题。
[0004]为解决上述技术问题，本专利技术提供的技术方案为：
[0005]一种跨平台数据分析方法，所述跨平台数据分析方法基于AI图像推理加速器系统完成，所述AI图像推理加速器系统包括上层调用层、加速器结构层、加速库构架层和硬件加速结构层；所述跨平台数据分析方法包括以下具体步骤：
[0006]1)首先AI图像推理加速器系统通过上层调用层获取数据进行深度学习，判断数据是否为图像，如果是图像学习任务则进行下一步，如果否，则结束；
[0007]2)得到图像学习任务后，进行任务拆解，针对不同学习类型送入不同深度学习模型进行匹配推理；同时进行图像解码和通信机制解码，获取图像输入数据解码通信类型、图像解码格式和图像解码方式；
[0008]3)任务拆解后，进入通用推理精度适配阶段，设置通过32位单精或16位半精完成推理，而图像解码后会进行推理聚合，将用户输入的推理任务进行推理作业智能聚合；
[0009]4)框架适配后对于不同硬件平台，通过资源调度完成GPU显存资源初始化/释放管理；而推理聚合的图像在推理模型加载后，需要将图像解码到内存单元，然后内存数据负责将数据交换到GPU现存中，完成各个加速框架的数据交换通用抽象；
[0010]5)资源分配调度及数据交换后完成GPU推理。图像推理加速器图像推理加速器图像推理加速器
[0011]作为改进，所述学习类型包括图像目标检测、图像分割，目标跟踪。作为改进，所述解码通信类型包括RTSP协议和RTMP协议，所述图像解码格式包括JPEG和PNG格式，所述图像解码方式包括H264和H265。作为改进，所述步骤5)中，GPU推理任务进行时，还包括实时搜集推理框架推理日志，对于后续追溯任务报错时提供记录能力。作为改进，所述步骤5)中，GPU推理任务进行时，还包括提供监控GPU资源状态，包括GPU使用显存占用、GPU核心使用率、内存占用率。
[0012]作为改进，所述加速器构架层内包括如下加速库：TensorRT、OpenVino和Neon。
[0013]作为改进，所述硬件加速结构层内包括N卡、X86和ARM。
[0014]采用以上结构后，本专利技术具有如下优点：
[0015]本专利技术首先解决了边缘硬件架构多、模型加速部署成本高问题。其次，相比传统方法模型边缘部署过程中的格式转换过程，明显提高了开发效率。最后，有效降低了边缘设备后期AI推理代码维护成本。
附图说明
[0016]图1是本专利技术的AI图像推理加速器系统框架图；
[0017]图2是本专利技术的跨平台数据分析方法流程图。
具体实施方式
[0018]下面结合附图对本专利技术做进一步的详细说明。
[0019]本专利技术实施例提供一种跨平台数据分析方法，该数据分析方法基于AI图像推理加速器完成，请参见图1，该AI图像推理加速器包括上层调用层、加速器结构层、加速库构架层和硬件加速结构层，本专利技术通过在AI图像推理加速器系统增设一层推理接口，首先，向上对用户提供通讯机制、图像解码、任务拆解、推理精度、推理聚合等抽象接口。其次，面对下层硬件平台加速框架进行框架适配、资源调度、推理日志、数据交换、资源监控等管理。最后，硬件加速平台对下层硬件进行自主调度控制，具体功能为：
[0020]上层接口：
[0021]通信机制：此处定义图像输入数据解码通信类型，比如基于RTSP、RTMP协议的视频流格式、基于JPEG、PNG格式的图像解码格式。
[0022]图像解码：定义图像解码方式，例如H264、H265等，还可支持CPU/GPU解码，以及定义解码帧率、分辨率、解码后是否需要resize等参数。
[0023]任务拆解：深度学习图像推理任务基本上分为图像目标检测、图像分割，图像跟踪等类型，每种类型需对应不同的深度学习模型，返回不同类型的推理结果。所以此处进行了任务拆解，针对不同类型送入不同模型进行匹配推理。
[0024]推理精度：目前主流商业深度学习应用程序使用32位浮点精度来处理训练和推理工作负载，本方案提供32位单精、16位半精完成推理，基本保证了精度损失最小化。
[0025]推理聚合：改接口负责将用户输入的推理任务进行推理作业智能聚合。比如某次任务图像数量只有四分之一批次大小，则陆续放入待推理图像队列，等待队列长度超过批次大小时，进行批次推理。
[0026]下层接口：
[0027]框架适配：实现一个抽象基类，兼容主流加速框架参数，比如GPU的id号、同一推理图像批次大小、使用GPU数量等参数。
[0028]资源调度：对于不同硬件平台，完成GPU显存资源初始化、释放管理，对于多GPU并行推理时实现智能分配调度。
[0029]推理日志：该接口负责实时搜集推理框架推理日志，对于后续追溯任务报错时提供记录能力。
[0030]数据交换：在推理模型加载后，需要将图像解码到内存单元，然后内存数据负责将数据交换到GPU现存中，本接口完成各个加速框架的数据交换通用抽象。
[0031]资源监控：在推理任务进行时，提供监控GPU使用显存占用、GPU核心使用率、内存占用等基本资源状态信息。
[0032]加速库构架层包括但不限于如下加速库：TensorRT、OpenVino和Neon。其中，TensorRT为英伟达基于自身显卡平台推出的深度学习推理加速库；OpenVino为英特尔基于英特尔X86推出的深度学习推理加速库；Neon为ARM扩展结构指令集。
[0033]可选的，在本专利技术的其他实施例中，还可以增加一些当前主流加速库框架。本专利技术对此不做限制。
[0034]硬件加速结构层包括但不限于如下硬件：N卡、X86和ARM。可选的，在本专利技术的其他实施例中，还可以针对其他硬件模块进行加速。
[0035]基于本方案提供的AI图像推理加速器，本实施例提供的跨平台数据分析方法，请参见图2，主要包括如下步骤：
[0036]1)首先AI图像推理加速器系统通过上层调用层获取数据进行深度学习，判断数据是否为图像，如果是图像学习任务则进行下一步，如果否，则结束；
[0037]2)得到图像学习任务后，进行任务拆解，针对不同学习类型送入不同深度学习模型进行匹配推理；同时进行图像解码和通信机制解码，获取图像输入数据解码通信类型、图像解码格式和图像解码方式；
[0038]应当理解的是，推理指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨平台数据分析方法，其特征在于：所述跨平台数据分析方法基于AI图像推理加速器系统完成，所述AI图像推理加速器系统包括上层调用层、加速器结构层、加速库构架层和硬件加速结构层；所述跨平台数据分析方法包括以下具体步骤：1)首先AI图像推理加速器系统通过上层调用层获取数据进行深度学习，判断数据是否为图像，如果是图像学习任务则进行下一步，如果否，则结束；2)得到图像学习任务后，进行任务拆解，针对不同学习类型送入不同深度学习模型进行匹配推理；同时进行图像解码和通信机制解码，获取图像输入数据解码通信类型、图像解码格式和图像解码方式；3)任务拆解后，进入通用推理精度适配阶段，设置通过32位单精或16位半精完成推理，而图像解码后会进行推理聚合，将用户输入的推理任务进行推理作业智能聚合；4)框架适配后对于不同硬件平台，通过资源调度完成GPU显存资源初始化/释放管理；而推理聚合的图像在推理模型加载后，需要将图像解码到内存单元，然后内存数据负责将数据交换到GPU现存中，完成各个加速框架的数据交换通用抽象；5)资源分配调度及数据交换后完成GPU推理。2.根据权利要求1所...

【专利技术属性】
技术研发人员：李浩澜，陈首信，段勃，杨东鑫，谭光明，王佩，
申请(专利权)人：中科计算技术西部研究院，
类型：发明
国别省市：