本发明专利技术公开一种基于分布式无主集群的动态任务资源调度方法，涉及计算机领域，构建动态任务资源调度子网络以及任务处理网络，根据所构建的动态任务资源调度子网络以及任务处理网络构建动态任务资源调度总网络；获得所构建的动态任务资源调度总网络中所需要完成的任务的信息，并根据所获得的任务的信息划分任务的处理优先级；通过所构建的动态任务资源调度总网络中的负载均衡器节点对任务进行分配，根据分配的结果以及所划分的任务的处理优先级对任务进行处理；提供了高效的计算资源管理和任务调度机制，实现了对大规模计算任务的快速处理和灵活部署，提高了系统的性能和可靠性。
【技术实现步骤摘要】
本专利技术涉及计算机领域，具体是一种基于分布式无主集群的动态任务资源调度方法。
技术介绍
1、随着数据量和计算需求的不断增长，传统的单体系架构cpu已经无法满足大规模计算任务的需求；而多体系架构cpu以其并行处理和可编程性的优势，成为解决这一问题的有效途径；同时，分布式无主集群也得到广泛应用，它通过将多个节点组成一个强大的计算资源地，并采用无主控的方式进行任务调度和数据处理；
2、如何提高计算资源管理和任务调度的高效性，实现对大规模计算任务的快速处理和灵活部署，是我们需要解决的问题，为此，现提供一种基于分布式无主集群的动态任务资源调度方法。
技术实现思路
1、为了解决上述技术问题，本专利技术的目的在于提供一种基于分布式无主集群的动态任务资源调度方法。
2、本专利技术的目的可以通过以下技术方案实现：一种基于分布式无主集群的动态任务资源调度方法，包括以下步骤：
3、步骤s1：构建动态任务资源调度子网络以及任务处理网络，根据所构建的动态任务资源调度子网络以及任务处理网络构建动态任务资源调度总网络；
4、步骤s2：获得所构建的动态任务资源调度总网络中所需要完成的任务的信息，并根据所获得的任务的信息划分任务的处理优先级；
5、步骤s3：通过所构建的动态任务资源调度总网络中的负载均衡器节点对任务进行分配，根据分配的结果以及所划分的任务的处理优先级对任务进行处理。
6、进一步的，构建动态任务资源调度子网络的过程包括：
7、所述动态任务资源调度子网络包括若干个用户端节点以及若干个负载均衡器节点，每个用户端节点通过高速互连网络与每个负载均衡器节点进行连接，连接完成后，动态任务资源调度子网络构建完成。
8、进一步的，构建任务处理网络的过程包括：
9、所述任务处理网络包括高端任务处理层、中端任务处理层以及低端任务处理层，所述任务处理层中包括若干个任务处理节点，所述任务处理节点具有不同的带宽以及内存容量；
10、根据任务处理节点的带宽以及内存容量将任务处理节点划分为高端任务处理节点、中端任务处理节点以及低端任务处理节点；
11、所述高端任务处理层中包括若干个高端任务处理节点，所述中端任务处理层中包括若干个中端任务处理节点，所述低端任务处理层中包括若干个低端任务处理节点；
12、所述高端任务处理节点之间通过高速互连网络相互连接，所述中端任务处理节点之间通过高速互连网络相互连接，所述低端任务处理节点之间通过高速互连网络相互连接；
13、从高端任务处理层、中端任务处理层以及低端任务处理层中各随机选择一个高端任务处理节点、中端任务处理节点以及低端任务处理节点，分别记为高端任务处理通信节点、中端任务处理通信节点以及低端任务处理通信节点，并通过高速互连网络对各个通信节点之间进行相互连接。
14、进一步的，根据所构建的动态任务资源调度子网络以及任务处理网络构建动态任务资源调度总网络的过程包括：
15、将所构建的任务处理网络接入所构建的动态任务资源调度子网络中，将负载均衡器节点与高端任务处理层、中端任务处理层以及低端任务处理层通过高速互连网络进行连接，连接完成后，接入任务处理网络后的动态任务资源调度子网络为所构建的动态任务资源调度总网络。
16、进一步的，获得所构建的动态任务资源调度总网络中所需要完成的任务的信息的过程包括：
17、通过动态任务资源调度总网络中的用户端节点获得所需要完成的任务的信息，所述任务的信息包括任务的限制完成时间以及任务的占用内存，将所获得的任务的信息通过高速互连网络发送至负载均衡器节点。
18、进一步的，根据所获得的任务的信息划分任务的处理优先级的过程包括：
19、所述任务的处理优先级包括第一处理优先级、第二处理优先级、第三处理优先级以及第四处理优先级，获取当前时间点，将所需要完成的任务的限制完成时间与所获取的当前时间相减，获得相减的结果，并设置相减结果的阈值范围；
20、根据所获得的相减的结果、所设置的相减结果的阈值范围以及任务的占用内存划分任务的处理优先级。
21、进一步的，通过所构建的动态任务资源调度总网络中的负载均衡器节点对任务进行分配的过程包括：
22、当任务的占用内存小于低端任务处理节点的内存容量时，将此任务分配至低端任务处理层，并将此任务记为低端任务；
23、当任务的占用内存大于等于低端任务处理节点的内存容量小于中端任务处理节点的内存容量时，将此任务分配至中端任务处理层，并将此任务记为中端任务；
24、当任务的占用内存大于等于中端任务处理节点的内存容量时，将此任务分配至高端任务处理层，并将此任务记为高端任务。
25、进一步的，根据分配的结果以及所划分的任务的处理优先级对任务进行处理的过程包括：
26、获取高端任务处理层、中端任务处理层以及低端任务处理层内高端任务处理节点、中端任务处理节点以及低端任务处理节点的状态，所述高端任务处理节点、中端任务处理节点以及低端任务处理节点的状态包括无负载状态、轻负载状态以及重负载状态；
27、对处理优先级为第一处理优先级的任务进行处理，根据分配的结果将处理优先级为第一处理优先级的任务通过高速互连网络发送至对应的任务处理层，在低端任务处理层中，采用处于无负载状态或轻负载状态的低端任务处理节点对低端任务进行处理，并对低端任务的处理进度进行实时监控，直至低端任务处理完成，若低端任务处理失败，则通过低端任务处理通信节点将处理失败的低端任务发送至中端任务处理层进行处理；
28、若不存在处于无负载状态或轻负载状态的低端任务处理节点，则通过低端任务处理通信节点获取处于无负载状态或轻负载状态的中端或高端任务处理节点，采用所获取的任务处理节点对低端任务进行处理，若获取失败，则进行等待；
29、在中端任务处理层中，采用处于无负载状态或轻负载状态的中端任务处理节点对中端任务进行处理，并对中端任务的处理进度进行实时监控，直至中端任务处理完成，若中端任务处理失败，则通过中端任务处理通信节点将处理失败的中端任务发送至高端任务处理层进行处理；
30、若不存在处于无负载状态或轻负载状态的中端任务处理节点，则通过中端任务处理通信节点获取处于无负载状态或轻负载状态的高端任务处理节点，采用所获取的任务处理节点对中端任务进行处理，若获取失败，则进行等待；
31、在高端任务处理层中，若高端任务的占用内存大于等于高端任务处理节点的内存容量，则将高端任务进行切分，分两次对高端任务进行处理，若高端任务的占用内存小于高端任务处理节点的内存容量，采用处于无负载状态或轻负载状态的高端任务处理节点对高端任务进行处理，并对高端任务的处理进度进行实时监控，直至高端任务处理完成，若高端任务处理失败，则对高端任务进行切分，分两次对处理失败的高端任务进行处理；
32、若不存在处本文档来自技高网
...
【技术保护点】
1.一种基于分布式无主集群的动态任务资源调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，构建动态任务资源调度子网络的过程包括：
3.根据权利要求2所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，构建任务处理网络的过程包括：
4.根据权利要求3所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，根据所构建的动态任务资源调度子网络以及任务处理网络构建动态任务资源调度总网络的过程包括：
5.根据权利要求4所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，获得所构建的动态任务资源调度总网络中所需要完成的任务的信息的过程包括：
6.根据权利要求5所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，根据所获得的任务的信息划分任务的处理优先级的过程包括：
7.根据权利要求6所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，通过所构建的动态任务资源调度总网络中的负载均衡器节点对任务进行分配的过程包括：
8.根据权利要求7所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，根据分配的结果以及所划分的任务的处理优先级对任务进行处理的过程包括：
...
【技术特征摘要】
1.一种基于分布式无主集群的动态任务资源调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，构建动态任务资源调度子网络的过程包括：
3.根据权利要求2所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，构建任务处理网络的过程包括：
4.根据权利要求3所述的一种基于分布式无主集群的动态任务资源调度方法，其特征在于，根据所构建的动态任务资源调度子网络以及任务处理网络构建动态任务资源调度总网络的过程包括：
5.根据权利要求4所述的一种基于分布式无主集群的动态任...
【专利技术属性】
技术研发人员：唐洁，黄奕，汪红燕，
申请(专利权)人：唐洁，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。