【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种离线任务处理方法、装置、系统、设备及存储介质。
技术介绍
1、随着科技的不断发展，越来越多的客户端或服务端等设备中可以部署资源调度系统(如容器编排(kubernetes)系统)形成资源调度集群，从而可以基于资源调度集群实现应用程序的自动化部署、扩展和管理等。
2、通常，在自动化部署、扩展和管理应用程序的过程中，响应于针对一个在线任务的提交操作时，资源调度集群可以及时地处理该在线任务。其中，在线任务为处理及时度要求较高的任务，例如，在线任务可以包括web应用的应用任务或数据库服务的服务任务等。
3、由于处理在线任务一般不会占用资源调度集群的全部资源，因此，资源调度集群存在资源利用率不高的情况，那么，通常可以利用资源调度集群中的空闲资源，对处理及时度要求较低的离线任务进行处理，以提高资源利用率。其中，离线任务可以是批处理任务、数据分析任务、模型训练任务等。
4、相关技术中，离线任务的处理方法通常是，从用于处理在线任务的众多资源调度集群中，选取出空闲资源的资源量适配的一个资源调度集群，如选取空闲资源的资源量较多的一个资源调度集群；采用该一个资源调度集群接收离线任务的资源配置数据，并基于资源配置数据处理该离线任务。
5、然而，由于每个资源调度集群中的空闲资源的资源量规格均较小，且空闲资源分布在资源调度集群包含的各资源调度节点上，使得空闲资源呈现碎片化，因此，每次选取一个资源调度集群处理一个离线任务的方式，既不能保证离线任务的处理效率，也无法有效提高资源调度集群
6、可见，相关技术下处理离线任务时的处理局限性较大。
技术实现思路
1、本申请实施例提供了一种离线任务处理方法、装置、系统、设备及存储介质，用于解决处理离线任务时的处理局限性较大的问题。
2、第一方面，提供一种离线任务处理方法，应用于包含多个第一调度节点的第一资源调度集群，包括：
3、获取所述多个第一调度节点与多个第二资源调度集群中的各第二调度节点之间的映射关系；
4、接收任务处理请求；所述任务处理请求携带目标离线任务的资源配置数据；
5、基于所述映射关系，从所述多个第一调度节点中，选取相应的第二调度节点的节点资源中的空闲资源，与所述资源配置数据相匹配的至少一个目标调度节点；
6、采用所述至少一个目标调度节点，分别调度相应的第二调度节点的空闲资源处理所述目标离线任务，获得任务处理结果。
7、第二方面，提供一种离线任务处理装置，应用于包含多个第一调度节点的第一资源调度集群，包括：
8、获取模块：用于获取所述多个第一调度节点与多个第二资源调度集群中的各第二调度节点之间的映射关系；
9、处理模块：用于接收任务处理请求；所述任务处理请求携带目标离线任务的资源配置数据；
10、所述处理模块还用于：基于所述映射关系，从所述多个第一调度节点中，选取相应的第二调度节点的节点资源中的空闲资源，与所述资源配置数据相匹配的至少一个目标调度节点；
11、所述处理模块还用于：采用所述至少一个目标调度节点，分别调度相应的第二调度节点的空闲资源处理所述目标离线任务，获得任务处理结果。
12、可选的，所述处理模块具体用于：
13、基于所述映射关系，获取所述多个第一调度节点各自对应的调度资源量；其中，所述第一调度节点对应的调度资源量包含：所述第一调度节点对应的第二调度节点的节点资源中空闲资源的空闲资源量；
14、基于所述资源配置数据，创建多个离线子任务各自的配置子数据；其中，所述配置子数据用于：配置相应的离线子任务的运行环境；每个所述离线子任务是从所述目标离线任务拆分出的；
15、针对所述多个离线子任务，分别执行：基于获得的各调度资源量，从所述多个第一调度节点中，选取调度资源量与一个离线子任务的配置子数据相匹配的第一调度节点作为目标调度节点。
16、可选的，所述处理模块具体用于：
17、针对所述多个第一调度节点，分别执行以下操作：
18、基于所述映射关系，接收一个第一调度节点对应的第二调度节点上报的空闲资源量；
19、确定接收到所述空闲资源量时，将所述空闲资源量存入所述一个第一调度节点的节点属性中，获得所述一个第一调度节点对应的调度资源量。
20、可选的，所述第一资源调度集群包含管理节点时，所述处理模块具体用于：
21、采用所述管理节点，针对所述多个第一调度节点，分别执行以下操作：
22、基于所述映射关系，从一个第一调度节点对应的第二调度节点的节点属性中读取空闲资源量；
23、将获得的空闲资源量写入所述一个第一调度节点的节点属性，获得所述一个第一调度节点对应的调度资源量。
24、可选的，在所述资源配置数据转换为多个离线子任务各自的配置子数据时，每个所述目标调度节点用于处理一个离线子任务，所述离线子任务是从所述目标离线任务拆分出的；
25、则所述处理模块具体用于：
26、针对所述至少一个目标调度节点，分别执行以下操作：
27、按照一个目标调度节点对应的第二调度节点的资源调度策略，对所述一个目标调度节点处理的离线子任务的配置子数据中的资源调度字段进行数据更新，获得配置更新数据；
28、向所述一个目标调度节点对应的第二调度节点发送所述配置更新数据，以使所述第二调度节点基于接收的配置更新数据处理相应的离线子任务，以及生成并返回子任务结果；
29、基于接收的各子任务结果，生成所述目标离线任务的任务处理结果。
30、可选的，所述第一资源调度集群包含管理节点时，所述处理模块具体用于执行以下任一操作方式：
31、采用所述管理节点，将一个目标调度节点处理的离线子任务的配置子数据中的资源调度字段及其字段取值，添加在所述配置子数据的环境变量中，并删除所述配置子数据中的资源调度字段及其字段取值，获得配置更新数据；
32、采用所述管理节点，将一个目标调度节点处理的离线子任务的配置子数据中的资源调度字段的字段取值更新为预设值，获得配置更新数据。
33、可选的，所述映射关系中，所述多个第一调度节点与各个第二调度节点之间一一对应。
34、第三方面，提供一种离线任务处理系统，包括第一资源调度集群和多个第二资源调度集群；所述第一资源调度集群包含的多个第一调度节点与所述多个第二资源调度集群中的各第二调度节点之间存在映射关系；其中：
35、所述第一资源调度集群接收任务处理请求；其中，所述任务处理请求携带目标离线任务的资源配置数据；
36、所述第一资源调度集群基于所述映射关系，从所述多个第一调度节点中，选取相应的第二调度节点的节点资源中的空闲资源，与所述资源配置数据相匹配的至少一个目标调度节点；
37、所述第本文档来自技高网...
【技术保护点】
1.一种离线任务处理方法，其特征在于，应用于包含多个第一调度节点的第一资源调度集群，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述映射关系，从所述多个第一调度节点中，选取相应的第二调度节点的节点资源中的空闲资源，与所述资源配置数据相匹配的至少一个目标调度节点，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述映射关系，获取所述多个第一调度节点各自对应的调度资源量，包括：
4.根据权利要求2所述的方法，其特征在于，所述第一资源调度集群包含管理节点时，所述基于所述映射关系，获取所述多个第一调度节点各自对应的调度资源量，包括：
5.根据权利要求1～4任一项所述的方法，其特征在于，在所述资源配置数据转换为多个离线子任务各自的配置子数据时，每个所述目标调度节点用于处理一个离线子任务，所述离线子任务是从所述目标离线任务拆分出的；
6.根据权利要求5所述的方法，其特征在于，所述第一资源调度集群包含管理节点时，所述按照一个目标调度节点对应的第二调度节点的资源调度策略，对所述一个目标调度节点处理的离线子任务的配
7.根据权利要求1～4任一项所述的方法，其特征在于，所述映射关系中，所述多个第一调度节点与各个第二调度节点之间一一对应。
8.一种离线任务处理装置，其特征在于，应用于包含多个第一调度节点的第一资源调度集群，包括：
9.一种离线任务处理系统，其特征在于，包括第一资源调度集群和多个第二资源调度集群；所述第一资源调度集群包含的多个第一调度节点与所述多个第二资源调度集群中的各第二调度节点之间存在映射关系；其中：
10.根据权利要求9所述的系统，其特征在于，所述系统还包括管理节点，所述管理节点针对所述多个第一调度节点，分别执行以下操作：
11.根据权利要求9所述的系统，其特征在于，所述系统还包括管理节点，在所述资源配置数据转换为多个离线子任务各自的配置子数据时，每个所述目标调度节点用于处理一个离线子任务，所述离线子任务是从所述目标离线任务拆分出的；
12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
13.一种计算机设备，其特征在于，包括：
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1～7中任一项所述的方法。
...【技术特征摘要】
1.一种离线任务处理方法，其特征在于，应用于包含多个第一调度节点的第一资源调度集群，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述映射关系，从所述多个第一调度节点中，选取相应的第二调度节点的节点资源中的空闲资源，与所述资源配置数据相匹配的至少一个目标调度节点，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述映射关系，获取所述多个第一调度节点各自对应的调度资源量，包括：
4.根据权利要求2所述的方法，其特征在于，所述第一资源调度集群包含管理节点时，所述基于所述映射关系，获取所述多个第一调度节点各自对应的调度资源量，包括：
5.根据权利要求1～4任一项所述的方法，其特征在于，在所述资源配置数据转换为多个离线子任务各自的配置子数据时，每个所述目标调度节点用于处理一个离线子任务，所述离线子任务是从所述目标离线任务拆分出的；
6.根据权利要求5所述的方法，其特征在于，所述第一资源调度集群包含管理节点时，所述按照一个目标调度节点对应的第二调度节点的资源调度策略，对所述一个目标调度节点处理的离线子任务的配置子数据中的资源调度字段进行数据更新，获得配置更新数据，包括以下任一操作方式：
7.根据权利要求1～4任一项所述的方...
【专利技术属性】
技术研发人员：陈东东，杨競婿，陈纯，罗韩梅，陈鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。