一种大数据系统中基于资源估算的任务调度方法及装置制造方法及图纸

本发明专利技术公开了一种大数据系统中基于资源估算的任务调度方法，所述方法包括：对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度。本发明专利技术还同时公开了一种大数据系统中基于资源估算的任务调度装置。

【技术实现步骤摘要】

本专利技术涉及任务规划和调度
，尤其涉及一种大数据系统中基于资源估算的任务调度方法及装置。
技术介绍
大数据系统具备存储数据量大、结构复杂、运行的任务繁多，任务处理的数据量大、任务间具有复杂的依赖关系等特点。大数据系统在计算和存储等方面的能力都非常强大，但就一个具体的大数据系统而言，在一定时期内，无论其时间资源还是存储资源都已确定，因此，只有合理地对系统中的任务进调度，让任务协调地执行，才能让系统有限的资源充分发挥其作用，实现大数据系统的真正价值。完整的任务调度过程至少要包括任务资源估算及任务执行规划两部分，但由于大数据系统数据量的庞大和任务繁杂，目前尚无有效的方法实现资源估算，实际工作中，一般都放弃对任务资源估算；在任务执行规划方面，通常采用基于控制流的原理来实现，该方法在任务规模较小的情况具有一定的可操作性，但是随着任务数量的增加、任务依赖关系变得复杂，不仅效率下降而且实现难度非常大。综上所述，提供一种基于资源估算的任务调度方案，能够实现对任务资源的估算，准确、高效的完成任务规划调度，已成为亟待解决的问题。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种大数据系统中基于资源估算的任务调度方法及装置，能够实现对任务资源的估算，准确、高效的完成任务规划调度，且实现简单、可靠性高。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种大数据系统中基于资源估算的任务调度方法，所述方法包括：对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度。上述方案中，所述对接收的任务进行资源估算包括：获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需的资源；其中，N为正整数。上述方案中，所述从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数。上述方案中，所述依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度包括：确定任务列表中的任务所需的资源总量不大于当前的系统空闲资源时，启动所述任务列表中所有任务；确定任务列表中的任务所需的资源总量大于当前的系统空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。上述方案中，所述依据任务列表中任务的优先级依次启动所述任务列表中的任务包括：依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。本专利技术实施例还提供了一种大数据系统中基于资源估算的任务调度装置，所述装置包括：处理模块及调度模块；其中，所述处理模块，用于对接收的任务进行资源估算，并将所述任务加入任务列表；所述调度模块，用于对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度。上述方案中，所述处理模块，具体用于获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需资源；其中，N为正整数。上述方案中，所述处理模块，具体用于对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数。上述方案中，所述调度模块，具体用于确定任务列表中的任务所需的资源总量不大于当前的系统空闲资源时，启动所述任务列表中所有任务；确定任务列表中的任务所需的资源总量大于当前的系统空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。上述方案中，所述调度模块，具体用于依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。本专利技术实施例所提供的大数据系统中基于资源估算的任务调度方法及装置，对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度；如此，能够实现对任务资源的估算，准确、高效的完成任务规划调度，且实现简单、可靠性高。附图说明图1为本专利技术实施例一大数据系统中基于资源估算的任务调度方法流程示意图；图2为本专利技术实施例二大数据系统中基于资源估算的任务调度方法流程示意图；图3为本专利技术实施例大数据系统中基于资源估算的任务调度装置组成结构示意图。具体实施方式大数据系统的存储策略为尽可能的随机的均匀分布于集群的各个节点，通常对任务规划与调度主要基于两个方面：运行该任务所需要的时间成本和存储成本；在系统环境不变的情况下，时间成本和存储成本主要取决于任务处理的数据量、计算逻辑和算法时间复杂度，而对于一个既定任务，处理逻辑和算法复杂度都是确定的，因此，该任务的时间成本与存储成本与任务处理的数据量呈正比。在本专利技术实施例中，对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度。图1为本专利技术实施例一大数据系统中基于资源估算的任务调度方法流程示意图，如图1所示，本专利技术实施例大数据系统中基于资源估算的任务调度方法包括：步骤101：对接收的任务进行资源估算，并将所述任务加入任务列表；这里，所述任务可以为数据处理任务，所述接收的任务可以为一个或多个；所述对接收的任务进行资源估算包括：获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需资源；其中，N为正整数；这里，所述资源包括：时间资源和存储资源。进一步的，所述获取所述接收的任务的数据源信息包括：解析所述接收的任务的任务描述文件，获取所述任务的数据源信息。进一步的，所述确定获取的数据源的规模满足第一条件包括：确定获取的数据源包含的数据块总量达到预设的数据块阈值；其中，所述数据块阈值可以依据实际需要进行设定。进一步的，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，遇到队尾便从头开始计数，直到本文档来自技高网...

【技术保护点】
一种大数据系统中基于资源估算的任务调度方法，其特征在于，所述方法包括：对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度。

【技术特征摘要】
1.一种大数据系统中基于资源估算的任务调度方法，其特征在于，所述方法包括：对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的系统空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度。2.根据权利要求1所述方法，其特征在于，所述对接收的任务进行资源估算包括：获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需的资源；其中，N为正整数。3.根据权利要求2所述方法，其特征在于，所述从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数。4.根据权利要求1或2所述方法，其特征在于，所述依据任务列表中的任务所需的资源总量与当前的系统空闲资源的大小关系对所述任务列表中的任务进行调度包括：确定任务列表中的任务所需的资源总量不大于当前的系统空闲资源时，启动所述任务列表中所有任务；确定任务列表中的任务所需的资源总量大于当前的系统空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。5.根据权利要求4所述方法，其特征在于，所述依据任务列表中任务的优
\t先级依次启动所述任务列表中的任务包括：依据任务列表中任务的优先级依次对所述任务列表中的任务进行资...

【专利技术属性】
技术研发人员：朱泓，钟咏，曾东，张聪，夏峻峰，李小东，
申请(专利权)人：咪咕音乐有限公司，
类型：发明
国别省市：四川;51