【技术实现步骤摘要】
本申请涉及数据处理相关领域，尤其涉及基于动态i/o负载感知的并行任务调度方法。
技术介绍
1、随着计算机技术的不断发展和进步，越来越多的并行计算任务需要高效地进行调度，以保证系统性能的最大化。并行计算任务调度作为一个重要的领域，在提高计算效率、降低能耗、提升系统可靠性方面起着至关重要的作用，而现有并行任务调度存在缺乏动态i/o负载感知，从而导致运行过程中易出现过负载的技术问题。
技术实现思路
1、本申请通过提供基于动态i/o负载感知的并行任务调度方法，解决现有并行任务调度缺乏动态i/o负载感知，导致运行过程中易出现过负载的技术问题，实现监测系统中i/o负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。
2、本申请提供基于动态i/o负载感知的并行任务调度方法，所述方法应用于基于动态i/o负载感知的并行任务调度系统，包括：获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；对各个任务的任务路径中涉及的所有负载节点进行动态i/o并行任务进程识别，获取节点计算复杂度，获取所述节点计算复杂度的表达式为：
3、；
4、其中，为节点计算复杂度，为对应节点的任务进程总数量，为对应节点单次并行处理的任务进程数量，对于的任务进程由对应节点进行并行处理，对于的任务进程由对应节点进行顺序处理，为每个任务进程的计算复杂度，为对应节点当前顺序执行的进程数；筛选节点计算复杂度大于预设节点计算复杂度的n个负载节点，
5、在可能的实现方式中，输出所述n个负载节点对应的n个备选负载节点库，其中，构建n个备选负载节点库，执行以下处理：对所述n个负载节点的节点功能属性进行分析，获取各个负载节点的功能属性参数，其中，所述功能属性参数包括网络吞吐量、信道带宽、节点通信范围以及处理器性能；按照所述功能属性参数对初始化备选负载节点库中各个负载节点进行功能相似性识别，输出相似性算子；将大于预设相似性算子的负载节点进行备选标识，对应构建n个备选负载节点库。
6、在可能的实现方式中，执行以下处理：获取集群负载节点网络；基于所述集群负载节点网络，确定所述n个负载节点所处的节点层中小于所述预设节点计算复杂度的负载节点，输出所述n个负载节点对应的n个初始化备选负载节点库。
7、在可能的实现方式中，执行以下处理：建立概率寻优输出模型，其中，所述概率寻优输出模型包括被选择概率计算层、被选择重复识别层以及寻优更新反馈层；根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，以输出每个备选负载节点库对应寻优得到的备选负载节点，作为n个备选负载节点库一一对应的n个备选负载节点。
8、在可能的实现方式中，根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优执行以下处理：根据所述被选择概率计算层对同一备选负载节点库中的备选负载节点进行被选择概率赋值，输出每个备选负载节点库中被选择概率最大的标识负载节点；其中，所述被选择概率赋值包括第一赋值因子和第二赋值因子，所述第一赋值因子为相似性算子的大小，所述第二赋值因子为节点计算复杂度大小；在所述被选择重复识别层中，对每个备选负载节点库中的标识负载节点进行重复性识别，若存在标识负载节点的重复性选择，反馈至所述寻优更新反馈层进行寻优更新。
9、在可能的实现方式中，执行以下处理：若存在标识负载节点的重复性选择，且重复次数达到预设占比，根据所述寻优更新反馈层对重复标识负载节点进行处理，包括保留重复标识负载节点中被选择概率最大的标识负载节点，针对剩余重复标识负载节点寻优更新为被选择概率次大的标识负载节点。
10、本申请还提供了基于动态i/o负载感知的并行任务调度系统，包括：路径确定模块，所述路径确定模块用于获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；第一识别模块，所述第一识别模块用于对各个任务的任务路径中涉及的所有负载节点进行动态i/o并行任务进程识别，获取节点计算复杂度；第一计算模块，所述第一计算模块用于筛选节点计算复杂度大于预设节点计算复杂度的n个负载节点，输出所述n个负载节点对应的n个备选负载节点库，其中，所述n个负载节点与所述n个备选负载节点库一一对应；寻优模块，所述寻优模块用于建立概率寻优输出模型，根据所述概率寻优输出模型对所述n个备选负载节点库中每个备选负载节点库进行寻优，以输出n个备选负载节点；节点跳转模块，所述节点跳转模块用于基于所述n个备选负载节点对所述n个负载节点进行节点跳转。
11、本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
12、本申请提供的基于动态i/o负载感知的并行任务调度方法，解决现有并行任务调度缺乏动态i/o负载感知，导致运行过程中易出现过负载的技术问题，实现监测系统中i/o负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。
本文档来自技高网...【技术保护点】
1.基于动态I/O负载感知的并行任务调度方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，输出所述N个负载节点对应的N个备选负载节点库，其中，构建N个备选负载节点库的方法包括：
3.如权利要求2所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，所述方法包括：
4.如权利要求1所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，所述方法还包括：
5.如权利要求4所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，包括：
6.如权利要求5所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，若存在标识负载节点的重复性选择，且重复次数达到预设占比，根据所述寻优更新反馈层对重复标识负载节点进行处理，包括保留重复标识负载节点中被选择概率最大的标识负载节点，针对剩余重复标识负载节点寻优更新为被选择概率次大的标识负载节点。>
7.基于动态I/O负载感知的并行任务调度系统，其特征在于，所述系统用于实施权利要求1-6任一项所述的基于动态I/O负载感知的并行任务调度方法，所述方法包括：
...【技术特征摘要】
1.基于动态i/o负载感知的并行任务调度方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于动态i/o负载感知的并行任务调度方法，其特征在于，输出所述n个负载节点对应的n个备选负载节点库，其中，构建n个备选负载节点库的方法包括：
3.如权利要求2所述的基于动态i/o负载感知的并行任务调度方法，其特征在于，所述方法包括：
4.如权利要求1所述的基于动态i/o负载感知的并行任务调度方法，其特征在于，所述方法还包括：
5.如权利要求4所述的基于动态i/o负载感知的并行任务调度方法，其特征在于，根据所述被选择概率计算层、所述被...
【专利技术属性】
技术研发人员：刘壮，周峥，梁逸爽，孙涵，王明清，秦莉兰，
申请(专利权)人：无锡九方科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。