【技术实现步骤摘要】
一种批处理任务的并发数调整方法、装置、设备及介质
[0001]本申请涉及任务调度
，具体涉及到一种批处理任务的并发数调整方法
、
装置
、
设备及介质
。
技术介绍
[0002]批处理任务是针对数据
、
文件等对象进行的较大规模的处理任务，通常需要耗费较长的处理时间，使用较多的处理资源
。
为了提高批处理任务的处理效率，通常将批处理任务划分为多个子处理任务，并发执行
。
现有技术中，分布式系统使用固定的并发数处理一个批处理任务，但分布式系统的资源使用状况是动态变化的
。
在某一时刻，使用固定的并发数可能会超过分布式系统的负载能力，反而使批处理任务耗费的时间增加；在另一时刻，使用固定的并发数可能未充分利用分布式系统的计算资源
。
因此，如何确定调整并发数，提高分布式系统处理批处理任务的效率成为了亟待解决的问题
。
技术实现思路
[0003]本申请实施例提供一种批处理任务的并发数调整方法
、
装置
、
设备及介质，用于提高分布式系统处理批处理任务的效率
。
[0004]第一方面，本申请实施例提供一种批处理任务的并发数调整方法，一种批处理任务的并发数调整方法，所述方法应用于包括多个服务器的分布式系统中的任一服务器，所述多个服务器组合完成所述分布式系统的批处理任务，所述方法包括：
[0005]获取所述多个服务器的反馈信息；...
【技术保护点】
【技术特征摘要】
1.
一种批处理任务的并发数调整方法，其特征在于，所述方法应用于包括多个服务器的分布式系统中的任一服务器，所述多个服务器组合完成所述分布式系统的批处理任务，所述方法包括：获取所述多个服务器的反馈信息；所述多个服务器中每个服务器的反馈信息用于指示所述每个服务器的资源使用率；基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数；在所述设定时间段，将所述批处理任务所包括的多个子处理任务中，与所述最优并发数对应数量的子处理任务分配至所述多个服务器
。2.
如权利要求1所述的方法，其特征在于，所述基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数，包括：按照预设的时间间隔，周期性的基于所述多个服务器在上一周期的反馈信息确定所述分布式系统在当前周期的最优并发数；其中，所述预设的时间间隔的时长与所述多个子处理任务中每个子处理任务的处理时长相关
。3.
如权利要求2所述的方法，其特征在于，所述基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数，包括：对所述多个服务器的同一项资源的使用率求均值，得到所述多个服务器的至少一项资源的使用率均值；从所述至少一项资源中确定资源使用率均值最大的代表资源；若所述代表资源的使用率均值不等于阈值，根据所述代表资源在最近的至少一个周期中的使用率均值与并发数确定所述代表资源的使用率均值与所述分布式系统的并发数的函数关系；基于所述函数关系，确定所述代表资源的使用率均值为阈值时的并发数，将所述代表资源的使用率均值为阈值时的并发数作为当前周期的最优并发数
。4.
如权利要求3所述的方法，其特征在于，所述方法还包括：若所述代表资源的使用率均值等于所述阈值，则将所述分布式系统上一周期的并发数作为当前周期的最优并发数
。5.
如权利要求3所述的方法，其特征在于，所述将所述批处理任务所包括的多个子处理任务中，与所述最优并发数对应数量的子处理任务分配至所述多个服务器，包括：按照所述多个服务器的代表资源的使用率从大到小的顺序，对所述多个服务器进行优先级排序；若当前周期的最优并发数大于上一周期的最优并发数，则按照优先级从小到大的顺序，从优先级最小的服务器开始依次增加所述服务器被分配的子处理任务的数量；或者，若当前周期的最优并发数小于上一周期的最优并发数，则按照优先级从大到小的顺序，从优先级最大的服务器开始依次减少所述服务器被分配的子处理任务的数量
。6.
一种批处理任务的并发数调整装置，其特征在于，所述装置应用于包括多个服务器的分布式系统中的任一服务器，所述多个服务器组合完成所述分布式系统的批处理任务，所述装置包括：获取模块，用于获取所述多个服务器的反馈信息；所述多个服务器中每个服务器的反馈信息用于指示所述每个服务器的资源使用率；
处理模块，用于基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数；在所述设定时间段，将所述...
【专利技术属性】
技术研发人员：陈志伟，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。