【技术实现步骤摘要】
本专利技术涉及电数字数据处理领域，具体涉及一种面向边缘计算的大模型算力分配与调度系统。
技术介绍
1、在大模型推理阶段，由于推理过程通常需要较强的计算资源和较低的延迟，边缘计算可以通过对模型进行剪枝、量化等技术，减小模型的计算规模，但是边缘节点的算力资源相对较少，在处理任务时无法避免任务堆积的情况，因此，需要在各边缘节点之间进行算力分配和任务调度，提高整个大模型的运行效率。
2、
技术介绍
的前述论述仅意图便于理解本专利技术。此论述并不认可或承认提及的材料中的任一种公共常识的一部分。
3、现在已经开发出了很多算力分配系统，经过大量的检索与参考，发现现有的算力分配系统有如公开号为cn115718664b所公开的系统，这些系统方法一般包括：采样子系统、评估子系统、分配调度子系统和可视化子系统，首先，采样子系统对边缘计算平台进行数据采样，得到数据信息；其次，评估子系统对数据信息进行评估，得到能力分配百分比；然后，分配调度子系统基于能力分配百分比对边缘计算平台的所有移动边缘设备进行算力分配调度，得到调度结果；最后，可视化子系统对调度结果进行可视化。但该系统仅仅是基于边缘设备的能力进行调度，而不是根据实时运行状态，算力分配不够灵活，在处理大模型的任务时不能有效提高运行效率。
技术实现思路
1、本专利技术的目的在于，针对所存在的不足，提出了一种面向边缘计算的大模型算力分配与调度系统。
2、本专利技术采用如下技术方案：
3、一种面向边缘计算的大模型算力
4、所述边缘监测模块用于对边缘设备的使用状态进行监测，所述边缘计算模块基于算力资源对任务进行处理，所述边缘管理模块用于对边缘设备的运行进行控制管理，所述中心分配模块用于对算力资源以及任务数据的分配进行控制；
5、所述边缘监测模块包括资源管理单元、数据监测单元和数据上报单元，所述资源管理单元用于记录边缘设备具有的算力资源信息，所述数据监测单元用于对设备的资源使用数据进行实时检测，所述数据上报单元用于将监测的信息上报给中心分配模块；
6、所述边缘计算模块包括本地计算单元、外部计算单元和分配执行单元，所述本地计算单元用于处理本地的计算任务，所述外部计算单元用于处理分配的外部计算任务，所述分配执行单元用于将计算资源的使用权限基于分配指令分配给对应的任务；
7、所述边缘管理模块包括任务管理单元、数据管理单元和资源预警单元，所述任务管理单元用于对大模型产生的任务进行管理，所述数据管理单元用于对任务所需的数据进行管理，所述资源预警单元用于对资源不足情况进行预警处理；
8、所述中心分配模块包括监测数据存储单元、边缘资源分配单元和任务数据调度单元，所述监测数据存储单元用于保存所有边缘节点上报的监测数据，所述边缘资源分配单元用于给调度任务分配算力资源，所述任务数据调度单元用于将任务数据调度至对应的边缘节点；
9、进一步的，所述数据监测单元包括监测申请处理器、实时检测处理器和负载计算处理器，所述监测申请处理器用于获取算力资源的路径信息，所述实时检测处理器基于路径信息对算力资源进行实时检测，所述负载计算处理器用于计算出边缘节点的负载信息；
10、所述负载计算处理器根据下式计算出边缘节点的负载值l：
11、；
12、其中，c为边缘节点当前占用的算力，cmax为边缘节点的最大算力，m为边缘节点当前的内存占用量，mmax为边缘节点的最大内存容量，为算力与内存的相对调节系数；
13、进一步的，所述资源预警单元包括预警检测处理器和调度判断处理器，所述预警检测处理器用于接收负载值并判断是否处于预警状态，所述调度判断处理器用于在预警状态下判断是否进行任务转移；
14、所述调度判断处理器在接收到预警信号后，根据下述不等式判断是否进行任务转移：
15、；
16、其中，vd为运行任务的最小资源量，va为本地的总资源量，t0为在本地运行需要等待的时间，t1为在本地运行完成任务的时间，t为转移任务的预估时间，t2为在外部边缘节点运行完成任务的时间；
17、当不等式均满足条件时，将对应的任务进行任务转移；
18、进一步的，所述边缘资源分配单元包括任务中转处理器、节点选择处理器和资源配置处理器，所述任务中转处理器用于接收边缘节点转移的任务信息，所述节点选择处理器基于任务信息和各边缘节点的实时监测数据选择调配的边缘节点，所述资源配置处理器基于选择的边缘节点生成对应的任务配置数据包并发送给对应的边缘节点；
19、进一步的，所述节点选择处理器给中转任务选择边缘节点的过程包括如下步骤：
20、s1、筛选出负载满足运行中转任务的边缘节点，称为目标节点；
21、s2、根据下式计算出目标节点的调配指数p：
22、；
23、其中，d为源节点与目标节点的量化距离，为权衡系数；
24、s3、选择调配指数最小的目标节点作为中转任务调配的边缘节点。
25、本专利技术所取得的有益效果是：
26、本系统通过对边缘节点进行监测，监测结果既可以用来判断是否将任务进行调度，又可以用来判断将任务调度到哪个边缘节点，在进行调度判断时，根据实际情况比较调度前和调度后的时间消耗，而不是在算力紧张时进行盲目调度，能够有效避免负优化，在决定任务调度后，通过对边缘节点进行量化计算，能够选择最优的边缘节点进行调度，有效提高大模型中任务运行的效率。
27、为使能更进一步了解本专利技术的特征及
技术实现思路
，请参阅以下有关本专利技术的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本专利技术加以限制。
【技术保护点】
1.一种面向边缘计算的大模型算力分配与调度系统，其特征在于，包括边缘监测模块、边缘计算模块、边缘管理模块和中心分配模块；
2.如权利要求1所述的一种面向边缘计算的大模型算力分配与调度系统，其特征在于，所述数据监测单元包括监测申请处理器、实时检测处理器和负载计算处理器，所述监测申请处理器用于获取算力资源的路径信息，所述实时检测处理器基于路径信息对算力资源进行实时检测，所述负载计算处理器用于计算出边缘节点的负载信息；
3.如权利要求2所述的一种面向边缘计算的大模型算力分配与调度系统，其特征在于，所述资源预警单元包括预警检测处理器和调度判断处理器，所述预警检测处理器用于接收负载值并判断是否处于预警状态，所述调度判断处理器用于在预警状态下判断是否进行任务转移；
4.如权利要求3所述的一种面向边缘计算的大模型算力分配与调度系统，其特征在于，所述边缘资源分配单元包括任务中转处理器、节点选择处理器和资源配置处理器，所述任务中转处理器用于接收边缘节点转移的任务信息，所述节点选择处理器基于任务信息和各边缘节点的实时监测数据选择调配的边缘节点，所述资源配置处理器基
5.如权利要求4所述的一种面向边缘计算的大模型算力分配与调度系统，其特征在于，所述节点选择处理器给中转任务选择边缘节点的过程包括如下步骤：
...【技术特征摘要】
1.一种面向边缘计算的大模型算力分配与调度系统，其特征在于，包括边缘监测模块、边缘计算模块、边缘管理模块和中心分配模块；
2.如权利要求1所述的一种面向边缘计算的大模型算力分配与调度系统，其特征在于，所述数据监测单元包括监测申请处理器、实时检测处理器和负载计算处理器，所述监测申请处理器用于获取算力资源的路径信息，所述实时检测处理器基于路径信息对算力资源进行实时检测，所述负载计算处理器用于计算出边缘节点的负载信息；
3.如权利要求2所述的一种面向边缘计算的大模型算力分配与调度系统，其特征在于，所述资源预警单元包括预警检测处理器和调度判断处理器，所述预警检测处理器用于接收负载值并...
【专利技术属性】
技术研发人员：张卫平，覃巧华，陈静婷，何文刚，王丹，
申请(专利权)人：环球数科股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。