本申请提供一种资源调度方法及装置,涉及资源管理技术领域。在本申请中,接收到针对目标业务的业务执行请求之后,便可根据业务执行请求中携带的目标业务的第一资源需求,为目标业务设置多个资源调度策略,这样,不再针对目标业务预留固定的资源,而是根据目标业务的资源需求针对性设置多个资源调度策略,从而提高了资源调度的灵活性;并且,还可从多个资源调度策略中,筛选出满足针对目标业务设置的业务执行时长要求的目标资源调度策略,从而确保资源的整体利用率较高。由此可见,采用这种方式,可以在针对目标业务进行灵活地调度资源的情况下,确保了资源的整体利用率较高。
【技术实现步骤摘要】
本申请涉及资源管理,尤其涉及一种资源调度方法及装置。
技术介绍
1、随着互联网的迅速发展,大数据的应用也随之变得越来越广泛。由于资源(如,网络资源)的有限性,故而,需要对有限数量的资源进行合理的分配或者调度,以确保业务(比如,作业(job))后续能够顺利进行。
2、目前,通常采用为不同业务分别预留固定资源的资源调度策略,或者,基于资源感知的负载均衡策略,来实现针对业务的资源调度。其中,前述基于资源感知的负载均衡策略也即结合资源占用情况,为业务调度满足业务需求的资源。
3、然而,采用上述的资源调度方式,由于为业务预留的资源是固定的,会导致无法根据业务的运行情况灵活地调整资源的调度;以及,简单为业务调度满足业务需求的资源,可能会导致资源整体的利用率较低,进而无法保证较高地资源整体利用率。
技术实现思路
1、本申请实施例提供了一种资源调度方法及装置,用以可以在针对业务进行灵活地调度资源的情况下,确保资源的整体利用率较高。
2、第一方面,本申请实施例提供了一种资源调度方法,所述方法包括:
3、接收目标对象针对目标业务发起的业务执行请求,并从业务执行请求中,获取目标业务的第一资源需求;第一资源需求包括:完成目标业务所需的至少一种资源,以及至少一种资源分别对应的资源需求量;
4、基于可调度资源集合针对第一资源需求设置多个资源调度策略;其中,每个资源调度策略用于指示为目标业务分配的至少一种资源,以及至少一种资源分别对应的资源分配量;p>5、从多个资源调度策略中,筛选出满足针对目标业务设置的业务执行时长要求的目标资源调度策略;
6、将目标资源调度策略对应的调度资源组合作为目标业务的调度资源组合。
7、在一种可选的实施例中,从多个资源调度策略中,筛选出满足针对目标业务设置的业务执行时长要求的目标资源调度策略,包括:
8、获取与目标业务关联的历史业务执行信息;历史业务执行信息包括:目标业务的多个目标子业务分别对应的子业务执行信息,以及目标业务的多个业务阶段分别对应的业务阶段信息,其中,每个业务阶段对应至少一个目标子业务;
9、基于历史业务执行信息,确定目标业务分别在多个资源调度策略下的业务执行预计时长;
10、基于获得的多个业务执行预计时长,从多个资源调度策略中,筛选出满足业务执行时长要求的目标资源调度策略。
11、在一种可选的实施例中,获取与目标业务关联的历史业务执行信息之前,还包括:
12、获取业务执行设备的日志信息;日志信息包括目标业务的历史业务执行信息;
13、基于多个业务各自的事件类型标识,从日志信息中解析出多个历史业务执行信息,并将多个业务执行信息保存在预设的业务执行信息查询表中;其中,每个事件类型标识用于指示对应的业务的业务执行事件。
14、在一种可选的实施例中,基于历史业务执行信息,确定目标业务分别在多个资源调度策略下的业务执行预计时长,包括:
15、基于历史业务执行信息获得第一时长和第二时长;其中,第一时长为目标业务对应的目标子业务的平均启动时长或最大启动时长,第二时长为目标业务对应的目标子业务的平均清理时长;
16、针对多个资源调度策略,分别执行以下操作:
17、基于目标业务在第一资源调度策略下的运行预计时长、第一时长和第二时长,获得目标业务在第一资源调度策略下的业务执行预计时长;其中,第一资源调度策略为多个资源调度策略中的任意一个。
18、在一种可选的实施例中,若第一资源调度策略指示的至少一种资源包括内核和内存,内核用于执行目标业务的至少一个目标子业务;
19、则基于目标业务在第一资源调度策略下的运行预计时长、第一时长和第二时长,获得目标业务在第一资源调度策略下的业务执行预计时长,包括:
20、基于内核的内核数量、内存的内存总量、第一时长、第二时长,以及运行预计时长,确定业务执行预计时长。
21、在一种可选的实施例中,若目标业务的执行并发度等于内核数量,则第一时长为平均启动时长;
22、基于内核的内核数量、内存的内存总量、第一时长、第二时长,以及运行预计时长,确定业务执行预计时长,包括:
23、对第一时长和第二时长求和,获得第三时长;
24、基于执行并发度、内存总量、第三时长和运行预计时长,确定业务执行预计时长。
25、在一种可选的实施例中,若目标业务的执行并发度小于内核数量,则第一时长为最大启动时长;
26、基于内核的内核数量、内存的内存总量、第一时长、第二时长,以及运行预计时长,确定业务执行预计时长,包括:
27、对第一时长和第二时长作差,获得第四时长;
28、基于执行并发度、内存总量、第四时长、运行预计时长,以及基于历史业务执行信息获得的第五时长,确定业务执行预计时长;其中,第五时长为目标业务对应的目标子业务的最大清理时长。
29、在一种可选的实施例中,将目标资源调度策略对应的调度资源组合作为目标业务的调度资源组合之后,还包括:
30、向目标对象发送目标资源调度策略的推送消息;推送消息用于指示目标对象选择目标资源调度策略;
31、若在设定时间范围内目标对象未选择目标资源调度策略,则将目标业务的资源调度策略调整为目标资源调度策略。
32、在一种可选的实施例中,将目标资源调度策略对应的调度资源组合作为目标业务的调度资源组合之后,还包括:
33、接收目标对象针对目标业务的第二资源需求;
34、若多个资源调度策略均不满足第二资源需求,则向目标对象发送资源配置警示消息;资源配置警示消息用于提醒目标对象调整第二资源需求;
35、和/或,向目标对象发送资源释放消息;资源释放消息用于指示目标对象停止未按照资源调度策略运行的业务,以及释放业务占用的资源。
36、第二方面,本申请实施例还提供了一种资源调度装置,所述装置包括:
37、信息收发模块,用于接收目标对象针对目标业务发起的业务执行请求,并从业务执行请求中,获取目标业务的第一资源需求;第一资源需求包括:完成目标业务所需的至少一种资源,以及至少一种资源分别对应的资源需求量;
38、策略设置模块,用于基于可调度资源集合针对第一资源需求设置多个资源调度策略;每个资源调度策略用于指示为目标业务分配的至少一种资源,以及至少一种资源分别对应的资源分配量;
39、策略筛选模块,用于从多个资源调度策略中,筛选出满足针对目标业务设置的业务执行时长要求的目标资源调度策略;
40、资源确认模块,用于将目标资源调度策略对应的调度资源组合作为目标业务的调度资源组合。
41、在一种可选的实施例中,在从多个资源调度策略中,筛选出满足针对目标业务设置的业务执行时长要求的目标资源调度策略时,策略筛选模块具体本文档来自技高网
...
【技术保护点】
1.一种资源调度方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述从所述多个资源调度策略中,筛选出满足针对所述目标业务设置的业务执行时长要求的目标资源调度策略,包括:
3.如权利要求2所述的方法,其特征在于,所述获取与所述目标业务关联的历史业务执行信息之前,还包括:
4.如权利要求2所述的方法,其特征在于,所述基于所述历史业务执行信息,确定所述目标业务分别在所述多个资源调度策略下的业务执行预计时长,包括:
5.如权利要求4所述的方法,其特征在于,若所述第一资源调度策略指示的所述至少一种资源包括内核和内存,所述内核用于执行所述目标业务的至少一个目标子业务;
6.如权利要求5所述的方法,其特征在于,若所述目标业务的执行并发度等于所述内核数量,则所述第一时长为所述平均启动时长;
7.如权利要求5所述的方法,其特征在于,若所述目标业务的执行并发度小于所述内核数量,则所述第一时长为所述最大启动时长;
8.如权利要求1-7中任一项所述的方法,其特征在于,所述将所述目标资源调度策略对应的调度资源组合作为所述目标业务的调度资源组合之后,还包括:
9.如权利要求1-7中任一项所述的方法,其特征在于,所述将所述目标资源调度策略对应的调度资源组合作为所述目标业务的调度资源组合之后,还包括:
10.一种资源调度装置,其特征在于,包括:
...
【技术特征摘要】
1.一种资源调度方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述从所述多个资源调度策略中,筛选出满足针对所述目标业务设置的业务执行时长要求的目标资源调度策略,包括:
3.如权利要求2所述的方法,其特征在于,所述获取与所述目标业务关联的历史业务执行信息之前,还包括:
4.如权利要求2所述的方法,其特征在于,所述基于所述历史业务执行信息,确定所述目标业务分别在所述多个资源调度策略下的业务执行预计时长,包括:
5.如权利要求4所述的方法,其特征在于,若所述第一资源调度策略指示的所述至少一种资源包括内核和内存,所述内核用于执行所述目标业务的至少一个目标子业务;...
【专利技术属性】
技术研发人员:冯春锋,徐健,潘丹,王京,
申请(专利权)人:度小满科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。