【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种映射规约框架的性能优化方法、装置、设备及介质。
技术介绍
1、映射规约框架是当下成熟度最高的大数据计算框架之一。目前普遍使用资源管理和任务调度服务对映射规约框架进行资源调度与隔离。但是，资源管理和任务调度服务仅支持对中央处理器和内存的粗粒度隔离，对于输入输出设备并不能有效的资源隔离，导致当输入输出资源使用饱和时，必然存在因输入输出资源抢占而引发大面积数据倾斜。
技术实现思路
1、本专利技术提供了一种映射规约框架的性能优化方法、装置、设备及介质，通过使用cgroup技术实现完全公平队列权重动态均衡和客户端写入阻塞，实现对映射/规约任务的磁盘输入输出资源进行动态隔离，提高资源利用率。
2、根据本专利技术的一方面，提供了一种映射规约框架的性能优化方法，包括：
3、基于预先配置的节点参数进行均衡处理，根据均衡处理结果并发执行映射/规约任务；
4、如果所述映射/规约任务执行到映射阶段末端或数据洗牌排序阶段末端，则通过完全公平队列对正在执行的映射/规约任务所在进程的磁盘输入输出资源权重进行动态均衡处理；
5、如果所述映射/规约任务执行到规约阶段末端，则针对正在执行的映射/规约任务所在进程，计算并执行相应的分布式文件系统客户端写入阻塞延迟。
6、可选的，在基于预先配置的节点参数进行均衡处理，根据均衡处理结果并发执行映射/规约任务之前，还包括：
7、将资源管理和任务调度服务中的计算节点本地目录
8、配置映射任务和规约任务的中央处理器核数；
9、配置资源管理和任务调度服务中的计算节点的服务可分配的中央处理器核数。
10、采用上述技术方案，为了能实现所有映射/规约任务接近同时完成，需要预先对设备的输入输出资源调度的相关参数进行配置。
11、可选的，所述基于预先配置的节点参数进行均衡处理，包括：
12、基于预先配置的节点参数，执行映射/规约任务均衡性检测；
13、如果检测到磁盘输入输出资源饱和同时中央处理器资源空闲，则向下调整节点的任务并发数量；
14、如果检测到磁盘输入输出资源空闲同时中央处理器资源饱和，则向上调整每个任务的中央处理器核数；
15、如果检测到磁盘输入输出资源空闲同时中央处理器资源空闲，则向上调整节点的任务并发数量。
16、采用上述技术方案，可以根据中央处理器资源和磁盘输入输出资源的使用饱和情况，对预先配置的节点参数进行均衡调优，进一步提升总体性能。
17、可选的，所述通过完全公平队列对正在执行的映射/规约任务所在进程的磁盘输入输出资源权重进行动态均衡处理，包括：
18、读取本节点中正在执行的映射/规约任务所在的分布式文件系统数据节点进程的进程号；
19、通过完全公平队列初始化所述进程号对应的分布式文件系统数据节点进程的磁盘输入输出资源权重；
20、开启监听服务，获取各所述正在执行的映射/规约任务的执行进度，并计算执行进度平均值以及总耗时；
21、根据第一公式，计算并修改各所述正在执行的映射/规约任务所在进程的磁盘输入输出资源权重。
22、采用上述技术方案，通过使用cgroup中的完全公平队列技术，对执行到映射阶段末端或数据洗牌排序阶段末端的映射/规约任务所在进程的磁盘输入输出资源权重进行动态调整，以提升资源利用率，避免输入输出资源浪费，提升测试性能，使得同一节点中所有任务占用的输入输出资源权重相同。
23、可选的，所述根据第一公式，计算并修改各所述正在执行的映射/规约任务所在进程的磁盘输入输出资源权重，包括：
24、根据正在执行的映射/规约任务的执行进度以及对应的执行进度平均值和总耗时，使用第一公式
25、math.max(l,math.min(h,100/math.pow(2,d/(ma/t+1))))，计算得到所述映射/规约任务所在进程的磁盘输入输出资源权重；
26、根据所述映射/规约任务对应的进程号，确定所述映射/规约任务所在进程，并将计算得到的磁盘输入输出资源权重重新赋值给所述进程；
27、其中，第一公式中的l为权重下限，h为权重上限，d为映射/规约任务的执行进度与执行进度平均值ma的差值，t为总耗时。
28、采用上述技术方案，通过第一公式可以在时间和任务进度差等多个维度上，自适应地调整任务所在进程的磁盘输入输出资源权重，优化输入输出资源使用，减少数据倾斜。
29、可选的，所述针对正在执行的映射/规约任务所在进程，计算并执行相应的分布式文件系统客户端写入阻塞延迟，包括：
30、在映射规约框架的写入上下文方法中增设写入阻塞延迟参数；
31、通过访问监听服务，获取各所述正在执行的映射/规约任务的执行进度，以及对应的执行进度平均值和总耗时，获取本节点的中央处理器负载和各磁盘输入输出吞吐量；
32、针对正在执行的映射/规约任务，如果所述映射/规约任务的执行进度大于所述执行进度平均值，并且所述映射/规约任务对应的磁盘的输入输出吞吐量达到第一阈值，或者所述中央处理器负载达到第二阈值，则根据第二公式计算分布式文件系统客户端写入阻塞延迟并在所述映射/规约任务所在进程上执行。
33、采用上述技术方案，通过使用cgroup技术，对执行到规约阶段末端的映射/规约任务所在进程的输入输出阻塞延迟进行动态调整，以提升整体资源利用率，平衡任务进度，提升测试性能，达到节点的所有任务接近同时完成，避免因最后一个任务而阻塞整体进度。
34、可选的，所述根据第二公式计算分布式文件系统客户端写入阻塞延迟并在所述映射/规约任务所在进程上执行，包括：
35、根据正在执行的映射/规约任务的执行进度以及对应的执行进度平均值和总耗时，使用第二公式100*d/(ma/t+1)，计算出分布式文件系统客户端写入阻塞延迟，并在所述映射/规约任务所在进程上执行；
36、其中，第二公式中的d为映射/规约任务的执行进度与执行进度平均值ma的差值，t为总耗时。
37、采用上述技术方案，通过第二公式可以根据任务的实际进度和总体耗时，自适应调整分布式文件系统客户端写入阻塞延迟，以确保不同的映射/规约任务能在相近的时间内完成，平衡整体资源使用。
38、根据本专利技术的另一方面，提供了一种映射规约框架的性能优化装置，包括：
39、参数均衡处理模块，用于基于预先配置的节点参数进行均衡处理，根据均衡处理结果并发执行映射/规约任务；
40、权重调整模块，用于如果所述映射/规约任务执行到映射阶段末端或数据洗牌排序阶段末端，则通过完全公平队列对正在执行的映射/规约任务所在进程的磁盘输入输出资源权重进行动态均衡处理；
41、动态延迟模块，用于如果所述映射/规本文档来自技高网...
【技术保护点】
1.一种映射规约框架的性能优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在基于预先配置的节点参数进行均衡处理，根据均衡处理结果并发执行映射/规约任务之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于预先配置的节点参数进行均衡处理，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过完全公平队列对正在执行的映射/规约任务所在进程的磁盘输入输出资源权重进行动态均衡处理，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据第一公式，计算并修改各所述正在执行的映射/规约任务所在进程的磁盘输入输出资源权重，包括：
6.根据权利要求1所述的方法，其特征在于，所述针对正在执行的映射/规约任务所在进程，计算并执行相应的分布式文件系统客户端写入阻塞延迟，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据第二公式计算分布式文件系统客户端写入阻塞延迟并在所述映射/规约任务所在进程上执行，包括：
8.一种映射规约框架的性能优化装置，其特征在于，包括：
<...【技术特征摘要】
1.一种映射规约框架的性能优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在基于预先配置的节点参数进行均衡处理，根据均衡处理结果并发执行映射/规约任务之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于预先配置的节点参数进行均衡处理，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过完全公平队列对正在执行的映射/规约任务所在进程的磁盘输入输出资源权重进行动态均衡处理，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据第一公式，计算并修改各所述正在执行的映射/规约任务所在进程的磁盘输入输出资源权重，包括：
...【专利技术属性】
技术研发人员：聂华，宋怀明，
申请(专利权)人：中科可控信息产业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。