【技术实现步骤摘要】
本专利技术涉及模型，具体为一种提高ai模型边缘设备推理运算方法。
技术介绍
1、ai边缘计算是一种将人工智能技术与边缘计算相结合的计算模式。边缘计算是指将数据处理和存储功能尽可能地推进数据源或数据使用的地方，以减少数据在传输过程中的延迟和带宽消耗。而ai边缘计算则进一步将人工智能算法和模型部署在边缘设备上，使得智能决策和数据处理能够在靠近数据源的地方进行。
2、通常情况下，ai模型边缘设备推理运算方法，在深度学习中，网络的层数和节点数量越多，计算量就越大，推理速度也就越慢，而在现有技术中对推理运算方法的提高方式是通过剪枝算法减少神经网络的规模，以达到减少非必要权重，减少推理过程，提高推理速度的目的；然而采用该方式对ai模型边缘设备进行推理运算，单次局限单个数据的推理运算无法满足多数据同步操作。
3、为此提出一种提高ai模型边缘设备推理运算方法，来解决此问题。
技术实现思路
1、本专利技术的目的在于提供一种提高ai模型边缘设备推理运算方法，解决了目前ai模型边缘设备推理运算采用剪枝算法加快推理运算速度，存在局限，不利于提高效率的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种提高ai模型边缘设备推理运算方法，包括以下步骤：
3、步骤1：构建推理运算框架：首先构建ai模型边缘设备推理运算框架，生成ai模型边缘设备推理运算过程中的推理运算主、次框架流程；构建推理运算数据的多个对应数据库，用于接收多个方向的数据推理运算的数据；p>
4、步骤2：模型分配：基于深度学习ai训练模型生成ai模型，结合提前构建的推理运行框架推理运算主、次流程，依照主、次框架流程权重，将ai模型进行权重划分，获得权重主、次，根据获得的权重主、次生成和权重主、次对应的多个推理运算的子模型，多个子模型生成后进行序号标注；
5、将多个子模型依次输入至少一个推理运算硬件设备形成链接，使每个推理运算硬件设备能够满足支撑其对对应链接的子模型的推理运算工作；
6、步骤3：数据标注：接收模型推理请求，接收多个方向同时传输的待推理运算数据；
7、使用标准差进行表示，数据标准差越大的，波动越大的，则表示权重越高，以此获得数据的权重关系；
8、将多个待推理运算数据分别存入到对应数据库中，并根据权重对各个数据库进行分组并进行序号标注，根据不同数据库不同的序号和多个子模型的序号进行依次对应；
9、多个数据库通过压缩依次输送多个数据至多个子模型中，子模型接收对应数据进行解压并进行同步推理运算，在多个推理运算硬件设备支撑下，多个子模型同步对多个数据展开推理运算，最终可依次获得多个待推理运算数据的推理运算结果或单个待推理运算数据的多次推理运算结果。
10、优选的，在步骤1中，推理运算框架包括数据预处理、特征选择、模型建立、模型评估和模型预测；
11、其中，数据预处理目的是对原始数据进行清洗、筛选和变换，以满足后续建模和分析的需要，包括数据清洗、数据集成、数据变换和数据规约；
12、其中，特征选择目的是从原始数据中挑选出与目标变量相关的特征，以便更好地进行建模和分析，包括特征筛选、特征提取和特征构建；
13、其中，模型建立目的是通过选择合适的模型和算法，将特征和目标变量建立关系模型，以便进行预测和决策，包括模型选择、模型训练和模型优化；
14、其中，模型评估目的是通过对模型的性能和精度进行评估，以确定模型的可靠性和有效性，包括模型性能评估、模型精度评估和模型调试等步骤；
15、其中，模型预测目的是通过已有的模型，对新的数据进行预测和决策，包括模型应用、模型预测和模型决策。
16、优选的，在步骤1中，数据库的数量不受限制，数据库的数量与待处理的数据进行对等。
17、优选的，在步骤2中，生成的多个子模型的数量不受限制，多个子模型对于数据的推理运算工作依次进行。
18、优选的，在步骤2中，多个子模型的序号标注，方便快速分辨多个子模型的依次推理运算过程。
19、优选的，在步骤2中，多个子模型的工作独立进行，满足依次运行要求同时满足同步运行要求。
20、优选的，在步骤3中，接收多个方向同时传输的待推理运算数据同时也能接收单个方向待推理运算数据的多次传输。
21、优选的，在步骤3中，对于数据及子模型进行数据标注保证多数据有序和子模型进行交接推理运算。
22、与现有技术相比，本专利技术的有益效果是：
23、本专利技术专利通过将模型分解为多个独立运行子模型，在接收待推理运算数据时，多个子模型同步运行，可满足多个数据的同步推理运算，并在多个子模型作用下可交替推理运算运行，各个数据也不会产生相互影响，不受运算数量局限，效率更高，且多个子模型根据不同的权重，对于数据是进行不同部分的运算，相比整体数据进行推理运算时间更短，且不会出现现有剪枝算法会存在的剪枝过度或剪枝不足情况，数据不丢失，精度高。
本文档来自技高网...【技术保护点】
1.一种提高AI模型边缘设备推理运算方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤1中，推理运算框架包括数据预处理、特征选择、模型建立、模型评估和模型预测；
3.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤1中，数据库的数量不受限制，数据库的数量与待处理的数据进行对等。
4.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤2中，生成的多个子模型的数量不受限制，多个子模型对于数据的推理运算工作依次进行。
5.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤2中，多个子模型的序号标注，方便快速分辨多个子模型的依次推理运算过程。
6.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤2中，多个子模型的工作独立进行，满足依次运行要求同时满足同步运行要求。
7.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤3中
8.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤3中，数据库同时接收多个待推理运算数据能够在不影响占用空间的情况下进行存储，并在推理运算过程中在多个子模型的作用下能够交替输送多组数据至多个子模型中，在子模型独立推理运算下，多个数据不会产生相互影响。
9.根据权利要求1所述的一种提高AI模型边缘设备推理运算方法，其特征在于：在步骤3中，对于数据及子模型进行数据标注保证多数据有序和子模型进行交接推理运算。
...【技术特征摘要】
1.一种提高ai模型边缘设备推理运算方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种提高ai模型边缘设备推理运算方法，其特征在于：在步骤1中，推理运算框架包括数据预处理、特征选择、模型建立、模型评估和模型预测；
3.根据权利要求1所述的一种提高ai模型边缘设备推理运算方法，其特征在于：在步骤1中，数据库的数量不受限制，数据库的数量与待处理的数据进行对等。
4.根据权利要求1所述的一种提高ai模型边缘设备推理运算方法，其特征在于：在步骤2中，生成的多个子模型的数量不受限制，多个子模型对于数据的推理运算工作依次进行。
5.根据权利要求1所述的一种提高ai模型边缘设备推理运算方法，其特征在于：在步骤2中，多个子模型的序号标注，方便快速分辨多个子模型的依次推理运算过程。
6.根据权利要求1所述的...
【专利技术属性】
技术研发人员：缪国栋，
申请(专利权)人：厦门狄耐克智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。