【技术实现步骤摘要】
本专利技术涉及资源调度优化，特别是涉及一种用于大模型的计算资源调度优化方法。
技术介绍
1、在探索大模型计算资源调度优化的
，一系列高效的方法应运而生，它们以资源利用率高、训练速度快、可扩展性强、成本效益显著、灵活性优越及系统稳定性卓越为显著特点。这些方法的核心在于精准匹配计算资源与模型训练需求，旨在最大化资源利用效率并加速模型开发进程。
2、然而，在实际部署这些优化策略时，必须审慎考虑具体应用场景与特定需求，不同模型与任务对资源的需求各异，选择不当的调度策略可能导致性能瓶颈或资源浪费，因此，精准匹配策略与需求至关重要。
3、目前现有技术中大多选用预测模型作为资源调度决策的关键支撑，其性能与准确性直接依赖于历史数据的训练与优化。但值得注意的是，历史数据往往难以全面捕捉未来的资源需求动态，尤其是在面对突发、异常任务需求时，其无法进行预测，此外，传统的静态优先级策略难以适应快速变化的资源需求，而动态优先级策略虽然更具灵活性，但也可能引入额外的管理复杂性和不确定性。
技术实现思路
1、针对上述情况，本专利技术通过对将任务分为异常任务、普通任务两大类，针对性作出计算资源调度优化，能够有效解决面对突发、异常任务需求的问题，实现了动态计算资源调度优化效果，并且提高了计算结果的准确性。
2、其解决的技术方案是，包括：
3、s1，接收计算任务，去除重复、无效的计算任务，然后将所有任务分为普通任务和异常任务，突发、异常需求的任务分类为异常任务，其
4、s2，将待计算的普通任务根据任务的执行时间、资源需求大小分为重要且紧急a、重要但不紧急b、不重要但紧急c、不重要且不紧急d，然后依次计算a、b、c、d类任务的所需资源大小总和a1、b1、c1、d1；
5、s3，将计算节点分为普通计算节点和缓冲计算节点，根据每个计算节点的资源处理能力值和请求次数匹配一个权重值，计算所有的普通计算节点资源处理能力值总和m；
6、s4，第一优先级为异常任务，调度普通计算节点中的空闲计算节点视为缓冲临时计算节点，待异常任务处理结束后，缓冲临时计算节点重新标记为普通计算节点；
7、权重值高的缓冲计算节点优先标记为目标匹配节点，权重值相同的，比较待分配的异常任务到达权重值相同的缓冲计算节点连接数，最少连接数的缓冲计算节点为目标节点，直至异常任务匹配结束；
8、s5，第二优先级为普通任务，普通任务内按照a、b、c、d4类任务依次分配，
9、优先匹配重要且紧急a类任务，计算差值a1-m，差值a1-m为正，表示超出普通计算节点的负载范围，调度空闲的缓冲计算节点视为临时计算节点，待普通任务处理结束后，临时计算节点重新标记为缓冲计算节点；
10、反之，差值a1-m为负，权重值高的计算节点优先标记为目标匹配节点，权重值相同的，比较待分配的a类任务到达权重值相同的计算节点连接数，最少连接数的计算节点为目标节点，直至a类任务匹配结束，最后依据a类任务匹配的方式依次分配b、c、d类任务。
11、进一步地，所述步骤s4、s5中，将异常任务设定为第一优先级，当系统不存在空闲的普通计算节点，或者现有的缓冲计算节点正被步骤s5中普通任务占用时，系统中止对缓冲计算节点的调度，暂停执行的任务，暂停执行的任务保存至缓存数据库；
12、系统暂停处理d类任务的普通计算节点，暂停的d类任务保存至缓存数据库，被暂停的普通计算节点被临时转换为缓冲计算节点，临时转换的缓冲计算节点标记为缓冲临时计算节点，按照步骤s4继续执行；
13、最后当异常任务执行结束后，缓冲计算节点继续执行缓存数据库内对应的暂停任务，被暂停的普通计算节点结束调用，普通计算节点继续执行其缓存数据库内对应的暂停任务。
14、进一步地，所述步骤s4、s5中，当系统中不存在异常任务且存在大量空闲普通计算节点时，执行步骤s5过程中，首先计算缓冲计算节点和空闲普通计算节点资源处理能力值总和k，并计算k-a1的差值，差值为正，复制a类任务，计算k-a1-b1的差值，差值为正，复制b类任务，然后计算k-a1-b1-c1的差值，差值为正，复制c类任务，同时计算k-a1-b1-d1的差值，差值为正，复制d类任务，最后将所有复制后的任务按照步骤s5进行任务资源匹配处理，复制的任务计算资源处理结果x和被复制的任务计算资源处理结果y比较相同，普通输出，反之两个结果x、y比较不同，匹配其他不同的计算节点进一步进行任务计算资源处理，处理结果记为z，z与x、y分别比较，以z的计算结果为准，x与z不同，定位计算资源处理结果x的计算节点，标记为异常计算节点，y与z不同，定位计算资源处理结果x的计算节点，标记为异常计算节点，通知相关人员对其进行检修或算法检测；
15、反之，任一差值为负，视为不能继续复制任务，执行步骤s5。
16、进一步地，所述步骤s3中权重值设置，普通计算节点的权重值 = (普通计算节点资源处理能力值 / 所有普通计算节点资源处理能力值总和) × (1 / 请求次数) × 调整系数；
17、其中，调整系数根据大数据模型进行实验设定，请求次数为0的时候代入值为1；
18、缓冲计算节点的权重值配置和普通计算节点的权重值公式相同。
19、进一步地，所述步骤s4中，当普通计算节点中的空闲计算节点视为缓冲临时计算节点时，计算缓冲临时计算节点总和q；
20、当执行步骤s5中，优先匹配重要且紧急a类任务，计算差值为a1-（m-q），然后正常继续执行步骤s5；
21、当匹配重要且紧急a类任务完毕时，分配b类任务，计算差值为b1-（m-q-a1），分配c类任务时，计算差值为c1-（m-q-a1-b1），分配d类任务时，计算差值为d1-（m-q-a1-b1-c1）。
22、由于以上技术方案的采用，本专利技术与现有技术相比具有如下优点；
23、1.将任务分为异常任务、普通任务两大类，并根据每个计算节点的资源处理能力值和请求次数匹配一个权重值，将计算节点分为普通计算节点和缓冲计算节点，第一优先级为异常任务，调度普通计算节点中的空闲计算节点视为缓冲临时计算节点，暂时提高缓冲计算节点的负载能力，以便匹配异常任务的任务需求，能够有效解决面对突发、异常任务需求的问题。
24、2.第二优先级为普通任务，普通任务内按照a、b、c、d4类任务依次分配，优先匹配重要且紧急a类任务，差值a1-m为负，权重值高的计算节点优先标记为目标匹配节点，权重值相同的，比较待分配的a类任务到达权重值相同的计算节点连接数，最少连接数的计算节点为目标节点，直至a类任务匹配结束，依据a类任务匹配的方式依次分配b、c、d类任务，能均衡计算节点的负载。
25、3.将异常任务设定为第一优先级，当系统中不存在空闲的普通计算节点，或者现有的缓冲计算节点正被步骤s5中普通任务占用时，系统会首先中止对缓冲计算节本文档来自技高网...
【技术保护点】
1.一种用于大模型的计算资源调度优化方法，其特征在于，包括：
2.根据权利要求1所述一种用于大模型的计算资源调度优化方法，其特征在于，
3.根据权利要求1或2任一权利要求所述一种用于大模型的计算资源调度优化方法，其特征在于，所述步骤S4、S5中，当系统中不存在异常任务且存在大量空闲普通计算节点时，执行步骤S5过程中，首先计算缓冲计算节点和空闲普通计算节点资源处理能力值总和K，并计算K-A1的差值，差值为正，复制A类任务，计算K-A1-B1的差值，差值为正，复制B类任务，然后计算K-A1-B1-C1的差值，差值为正，复制C类任务，同时计算K-A1-B1-D1的差值，差值为正，复制D类任务，最后将所有复制后的任务按照步骤S5进行任务资源匹配处理，复制的任务计算资源处理结果X和被复制的任务计算资源处理结果Y比较相同，普通输出，反之两个结果X、Y比较不同，匹配其他不同的计算节点进一步进行任务计算资源处理，处理结果记为Z，Z与X、Y分别比较，以Z的计算结果为准，X与Z不同，定位计算资源处理结果X的计算节点，标记为异常计算节点，Y与Z不同，定位计算资源处理结果X的计算
4.根据权利要求3所述一种用于大模型的计算资源调度优化方法，其特征在于，所述步骤S3中权重值设置，普通计算节点的权重值 = (普通计算节点资源处理能力值 / 所有普通计算节点资源处理能力值总和) × (1 / 请求次数) × 调整系数；
5.根据权利要求4所述一种用于大模型的计算资源调度优化方法，其特征在于，所述步骤S4中，当普通计算节点中的空闲计算节点视为缓冲临时计算节点时，计算缓冲临时计算节点总和Q；
...【技术特征摘要】
1.一种用于大模型的计算资源调度优化方法，其特征在于，包括：
2.根据权利要求1所述一种用于大模型的计算资源调度优化方法，其特征在于，
3.根据权利要求1或2任一权利要求所述一种用于大模型的计算资源调度优化方法，其特征在于，所述步骤s4、s5中，当系统中不存在异常任务且存在大量空闲普通计算节点时，执行步骤s5过程中，首先计算缓冲计算节点和空闲普通计算节点资源处理能力值总和k，并计算k-a1的差值，差值为正，复制a类任务，计算k-a1-b1的差值，差值为正，复制b类任务，然后计算k-a1-b1-c1的差值，差值为正，复制c类任务，同时计算k-a1-b1-d1的差值，差值为正，复制d类任务，最后将所有复制后的任务按照步骤s5进行任务资源匹配处理，复制的任务计算资源处理结果x和被复制的任务计算资源处理结果y比较相同，普...
【专利技术属性】
技术研发人员：杨睿理，徐璐，路远，张莹莹，
申请(专利权)人：深圳市科楠科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。