任务调度方法及装置、计算机可读存储介质制造方法及图纸

本公开涉及一种任务调度方法及装置、计算机可读存储介质。任务调度方法包括：获取多个待调度任务；确定与每个待调度任务相关的业务特征、技术特征和资源特征；和根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度。

【技术实现步骤摘要】
任务调度方法及装置、计算机可读存储介质
本公开涉及计算机
，特别涉及一种任务调度方法及装置、计算机可读存储介质。
技术介绍
随着大数据(bigdata)时代的到来，企业中每天存在海量的大数据计算，用于支撑企业营销和运营。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要有5个特点：大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)、真实(Veracity)。在企业大数据平台中或数据中心中或数据仓库环境会存在大量的Hadoop批处理计算任务、Spark实时计算任务、Presto即席查询计算任务、Flink实时计算任务等，任务数量规模包括万级、十万级、百万级规模等等。批处理是对某对象进行批量的处理，通常被认为是一种简化的脚本语言，它应用于DOS和Windows、linux、大数据、云计算等系统中。实时计算是一种时间复杂性较低的计算，支持实时的数据分析与业务计算，对规模巨大的数据进行分析，利用大数据技术高效的快速完成分析，达到近似实时的效果，能够更及时地反映数据的价值和意义。对于这样海量的大数据计算任务，其研发人员往往是分布在不同的子集团、子公司、业务部门，可能会出现各子公司、部门的研发人员提交到大数据作业的任务优先级、执行时间的设置存在片面性，造成大数据平台资源使用在一部分时段出现拥堵，而在另一部分时段出现空闲。即，使得大数据平台资源不能得到最大程度利用，并且任务时效也难以保障。相关的大数据调度系统或工作流管理系统大致分为两类：一类是底层物理计算资源管理调度系统，例如Yarn、Kubernetes、Borg、Mesos等系统；另一类是基础任务调度管理调度系统，例如Oozie、ApacheAirflow、Azkaban、DolphinScheduler等系统。
技术实现思路
以上底层物理计算资源管理调度系统和基础任务调度管理调度系统这两类系统存在如下问题中的至少一种：1)侧重底层资源的调配，忽略了上层业务应用的宏观调度，或者依赖人为主观干预，导致调度的频繁低效；2)由于用户分布在不同的部门，任务时间的安排又依赖人工设置，故容易出现在一部分时段内集群计算资源空闲，而在另一部分时段内任务资源抢占，造成集群的整体资源利用率低；3)在物理集群硬件计算资源有限、任务数量又剧烈增长的情况下，在个别时段内由于不同任务重要程度的任务争抢计算资源，可能导致重要任务的时效反而无法获得保障。鉴于此，本公开提出一种任务调度方案，能够解决上述问题中的至少一种。根据本公开的一些实施例，提供了一种任务调度方法，包括：获取多个待调度任务；确定与每个待调度任务相关的业务特征、技术特征和资源特征；和根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度。在一些实施例中，技术特征包括待调度任务的任务类型，根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度包括：根据与待调度任务相关的业务特征，确定各个任务之间的血缘关系；根据各个任务之间的血缘关系，计算待调度任务的层级评分；根据与待调度任务相关的业务特征和技术特征，计算待调度任务的任务权重，任务权重反映待调度任务的任务重要程度和任务类型；根据待调度任务的层级评分和任务权重，计算待调度任务的综合评分；根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度。在一些实施例中，资源特征包括待调度任务的资源需求量、资源队列的当前可用资源量，根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度包括：根据待调度任务的综合评分，将多个待调度任务分为不同任务批次，其中，综合评分越高的待调度任务所在的任务批次，调度排序越靠前。在一些实施例中，根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度还包括：根据待调度任务的资源需求量和资源队列的当前可用资源量，以及多个任务批次的调度排序，生成任务池。在一些实施例中，任务池包括多个不同时间范围的候选任务集，任务池根据任务的层级评分或任务重要程度进行分类。在一些实施例中，任务重要程度越高，任务权重越大；任务类型包括抽取任务、计算任务、推送任务，抽取任务的任务权重大于计算任务的任务权重，计算任务的任务权重大于推送任务的任务权重。在一些实施例中，利用链路评估模型，得到以树状结构图体现的各个任务之间的血缘关系。在一些实施例中，利用PageRank模型，计算待调度任务的层级评分。在一些实施例中，根据历史资源使用数据，利用差分整合移动平均自回归模型，确定资源使用趋势，作为与待调度任务相关的资源特征。在一些实施例中，利用Flume技术，确定资源队列的当前可用资源量，作为与待调度任务相关的资源特征。在一些实施例中，业务特征包括待调度任务的业务线、任务重要程度、服务等级协议中的至少一种。根据本公开的另一些实施例，提供了一种任务调度装置，包括：获取模块，配置为获取多个待调度任务；确定模块，配置为确定与每个待调度任务相关的业务特征、技术特征和资源特征；和调度模块，配置为根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度。在一些实施例中，调度模块包括：确定单元，配置为根据与待调度任务相关的业务特征，确定各个任务之间的血缘关系；计算单元，配置为根据各个任务之间的血缘关系，计算待调度任务的层级评分，根据与待调度任务相关的业务特征和技术特征，计算待调度任务的任务权重，任务权重反映待调度任务的任务重要程度和类型，根据待调度任务的层级评分和任务权重，计算待调度任务的综合评分；和调度单元，配置为根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度。在一些实施例中，资源特征包括待调度任务的资源需求量、资源队列的当前可用资源量，根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度包括：根据待调度任务的综合评分，将多个待调度任务分为不同任务批次，其中，综合评分越高的待调度任务所在的任务批次，调度排序越靠前。在一些实施例中，根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度还包括：根据待调度任务的资源需求量和资源队列的当前可用资源量，以及多个任务批次的调度排序，生成任务池。在一些实施例中，任务池包括多个不同时间范围的候选任务集，任务池根据任务的层级评分或任务重要程度进行分类。根据本公开的又一些实施例，提供一种任本文档来自技高网...

【技术保护点】
1.一种任务调度方法，包括：/n获取多个待调度任务；/n确定与每个待调度任务相关的业务特征、技术特征和资源特征；和/n根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度。/n

【技术特征摘要】
1.一种任务调度方法，包括：
获取多个待调度任务；
确定与每个待调度任务相关的业务特征、技术特征和资源特征；和
根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度。


2.根据权利要求1所述的任务调度方法，其中，技术特征包括待调度任务的任务类型，根据与每个待调度任务相关的业务特征、技术特征和资源特征，对多个待调度任务进行动态任务调度包括：
根据与待调度任务相关的业务特征，确定各个任务之间的血缘关系；
根据各个任务之间的血缘关系，计算待调度任务的层级评分；
根据与待调度任务相关的业务特征和技术特征，计算待调度任务的任务权重，任务权重反映待调度任务的任务重要程度和任务类型；
根据待调度任务的层级评分和任务权重，计算待调度任务的综合评分；
根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度。


3.根据权利要求2所述的任务调度方法，其中，资源特征包括待调度任务的资源需求量、资源队列的当前可用资源量，根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度包括：
根据待调度任务的综合评分，将多个待调度任务分为不同任务批次，其中，综合评分越高的待调度任务所在的任务批次，调度排序越靠前。


4.根据权利要求3所述的任务调度方法，其中，根据待调度任务的综合评分、与待调度任务相关的资源特征，对多个待调度任务进行动态任务调度还包括：
根据待调度任务的资源需求量和资源队列的当前可用资源量，以及多个任务批次的调度排序，生成任务池。


5.根据权利要求4所述的任务调度方法，其中，任务池包括多个不同时间范围的候选任务集，任务池根据任务的层级评分或任务重要程度进行分类。


6.根据权利要求2所述的任务调度方法，其中：
任务重要程度越高，任务权重越大；
任务类型包括抽取任务、计算任务、推送任务，抽取任务的任务权重大于计算任务的任务权重，计算任务的任务权重大于推送任务的任务权重。


7.根据权利要求1至6任一项所述的任务调度方法，其中，利用链路评估模型，得到以树状结构图体现的各个任务之间的血缘关系。


8.根据权利要求1至6任一项所述的任务调度方法，其中，利用PageRank模型，计算待调度任务的层级评分。


9.根据权利要求1至6任一项所述的任务调度方法，其中，根据历史资源使用数据，利用差分整合移动平均自回归模型，确定资源使用趋势，作为与待调度任务相关...

【专利技术属性】
技术研发人员：杨泽森，王军伟，
申请(专利权)人：京东数字科技控股股份有限公司，
类型：发明
国别省市：北京;11