一种任务处理方法及装置制造方法及图纸

本申请实施例提供了一种任务处理方法及装置，涉及数据处理技术领域，其中方法包括：根据预先确定的各任务类别的热点运行时段，在到达热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；当接收到任务提交请求时，根据任务提交请求包括的待提交任务的任务信息，确定待提交任务所属的目标任务类别；确定是否存在目标任务类别所对应的第一任务提交器；若是，则将待提交任务分发给第一任务提交器，以使第一任务提交器执行待提交任务的提交操作。通过本申请实施例，使得相同任务类别的待提交任务可在同一个提交环境中完成提交，提升了任务的提交速度和任务提交的并发量。

【技术实现步骤摘要】
一种任务处理方法及装置
本申请涉及数据处理
，尤其涉及一种任务处理方法及装置。
技术介绍
目前，在大数据处理系统的数据处理过程中，通常包括任务提交和任务执行两个部分，即将各任务提交到集群，并在集群执行任务。其中，任务提交的过程中，对于每个待提交的任务，均需要准备相应的提交环境，即拷贝相关依赖到HDFS(英文全称：HadoopDistributedFileSystem；中文全称：分布式文件系统)，并拉起一个JVM(英文全称：JavaVirtualMachine；中文全称：Java虚拟机)，以运行任务提交器，实现相应任务的提交。然而，对于每个待提交的任务，均执行相关依赖的拷贝操作、JVM的拉起操作，不仅降低了任务的提交速度，而且限制了任务提交的并发量。
技术实现思路
本申请实施例的目的是提供一种任务处理方法及装置，以使相同任务类别的待提交任务可以在同一个提交环境中完成提交，而不再是一个提交环境仅提交一个任务，因此极大的提升了任务的提交速度和任务提交的并发量。第一方面，本申请实施例提供了一种任务处理方法，包括：根据预先确定的各任务类别的热点运行时段，在到达所述热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；当接收到任务提交请求时，根据所述任务提交请求包括的待提交任务的任务信息，确定所述待提交任务所属的目标任务类别；确定是否存在所述目标任务类别所对应的第一任务提交器；若是，则将所述待提交任务分发给所述第一任务提交器，以使所述第一任务提交器执行所述待提交任务的提交操作。第二方面，本申请实施例提供了一种任务处理装置，包括：生成模块，用于根据预先确定的各任务类别的热点运行时段，在到达所述热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；接收模块，用于当接收到任务提交请求时，根据所述任务提交请求包括的待提交任务的任务信息，确定所述待提交任务所属的目标任务类别；第一确定模块，用于确定是否存在所述目标任务类别所对应的第一任务提交器；分发模块，用于若所述确定模块的确定结果为是，则将所述待提交任务分发给所述第一任务提交器，以使所述第一任务提交器执行所述待提交任务的提交操作。第三方面，本申请实施例提供了一种任务处理设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述任务处理方法的步骤。第四方面，本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述任务处理方法的步骤。本申请实施例所提供的任务处理方法及装置，根据预先确定的各任务类别的热点运行时段，在到达各热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；以及，在接收到任务提交请求时，将待提交任务分发给相应的第一任务提交器，以使第一任务提交器执行待提交任务的提交操作。由此，基于预先确定的各任务类别及各任务类别的热点运行时段，在到达热点运行时段之前预先准备相应的提交环境，从而将相同任务类别的待提交任务均在同一个提交环境中进行提交，而无需对于每个待提交任务均执行提交环境的准备操作，不仅提升了任务的提交速度，提升了任务提交的并发量，而且降低了高峰时段任务的丢失率。附图说明图1为本申请实施例提供的一种任务处理方法的场景示意图；图2为本申请实施例提供的一种任务处理方法的第一种流程示意图；图3为本申请实施例提供的一种任务处理方法的第二种流程示意图；图4为本申请实施例提供的一种任务处理方法的第三种流程示意图；图5为本申请实施例提供的一种任务处理方法的第四种流程示意图；图6为本申请实施例提供的步骤S104-4的细化图；图7为本申请实施例提供的一种任务处理方法的第五种流程示意图；图8为本申请实施例提供的一种任务处理装置的第六种流程示意图；图9为本申请实施例提供的一种任务处理装置的第七种流程示意图；图10为本申请实施例提供的步骤S106-10的细化图；图11为本申请实施例提供的一种任务处理装置的模块组成示意图；图12为本申请实施例提供的一种任务处理设备的结构示意图。具体实施方式为了使本
的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请的保护范围。图1为本申请实施例提供的一种任务处理方法的应用场景示意图，如图1所示，任务处理装置预先基于历史的任务提交记录信息确定各任务类别的热点运行时段，并在到达热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；以及，在接收到用户或其他系统(图1中仅示出用户)发送的任务提交请求时，根据任务提交请求包括的待提交任务的任务信息，确定待提交任务所属的目标任务类别；以及，确定是否存在目标任务类别所对应的第一任务提交器，若是，则将、待提交任务分发给、第一任务提交器，以使第一任务提交器执行待提交任务的提交操作，以将待提交任务提交给指定的YARN(YetAnotherResourceNegotiator，另一种资源协调者)，由YARN执行任务。由此，基于预先确定的各任务类别的热点运行时段，在到达热点运行时段之前预先准备相应的提交环境，并将相同任务类别的待提交任务均在同一个提交环境中进行提交，而无需对于每个待提交任务均执行提交环境的准备操作，不仅提升了任务的提交速度，提升了任务提交的并发量，而且降低了高峰时段任务的丢失率。基于上述应用场景架构，本申请实施例提供了一种任务处理方法，图2为本申请实施例提供的一种任务处理方法的流程示意图，图2中的方法能够由图1中的任务处理装置执行，如图2所示，该方法包括以下步骤：步骤S102，根据预先确定的各任务类别的热点运行时段，在到达热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；具体的，预先基于历史的任务提交记录信息，确定各任务类别的热点运行时段；为了确保在到达各热点运行时段时，能够快速的执行任务的提交操作，本说明书实施例中，提前准备好任务提交环境，即在到达热点运行时段的起始时间之前，距离该起始时间为第二预设时长的时间点时，生成相应任务类别所对应的任务提交器。其中，第二预设时长可以在实际应用中根据需要自行设定，例如为2分钟。需要指出的是，任务类别的确定方式可以在实际应用中根据需要自行设定。作为示例，任务类别可以是基于不同的操作所确定，如分发类别、测试类别等；任务类别还可以是基于不同的应用所确定，如清理应用所对应的清理类别、分发应用所对应的分发类别等。步骤S104，当接收到任务提交请求时，根据任务提交请求包括的待提交任务的任务信息，确定待提交任务所属的目标任务类别；其本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，包括：/n根据预先确定的各任务类别的热点运行时段，在到达所述热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；/n当接收到任务提交请求时，根据所述任务提交请求包括的待提交任务的任务信息，确定所述待提交任务所属的目标任务类别；/n确定是否存在所述目标任务类别所对应的第一任务提交器；/n若是，则将所述待提交任务分发给所述第一任务提交器，以使所述第一任务提交器执行所述待提交任务的提交操作。/n

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：
根据预先确定的各任务类别的热点运行时段，在到达所述热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；
当接收到任务提交请求时，根据所述任务提交请求包括的待提交任务的任务信息，确定所述待提交任务所属的目标任务类别；
确定是否存在所述目标任务类别所对应的第一任务提交器；
若是，则将所述待提交任务分发给所述第一任务提交器，以使所述第一任务提交器执行所述待提交任务的提交操作。


2.根据权利要求1所述的方法，其特征在于，所述根据预先确定的各任务类别的热点运行时段，在到达所述热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器之前，还包括：
获取预设历史时长内的任务提交记录信息；
根据所述任务提交记录信息，确定所述各任务类别的热点运行时段。


3.根据权利要求2所述的方法，其特征在于，所述预设历史时长包括：多个第一时段；所述第一时段包括多个子时段；所述任务提交记录信息包括：相应任务的任务模板标识和任务提交时间；
所述根据所述任务提交记录信息，确定所述各任务类别的热点运行时段，包括：
根据所述任务模板标识，从预设的第一关联关系中获取关联的任务类别，将获取的所述任务类别确定为相应任务所属的任务类别；其中，所述第一关联关系包括多个任务模板标识与任务类别的关联关系；
根据所述任务提交时间，统计在每个所述子时段内所提交的每个所述任务类别的任务的第一数量；
按照时间的先后顺序，根据预设的计算方式，对各所述第一时段中相同子时段内所提交的相同任务类别的任务的所述第一数量进行计算，得到第二数量；
确定每个所述任务类别中是否存在多个连续的大于预设数量的目标第二数量；
若是，则将所述目标第二数量所对应的子时段确定为相应任务类别的热点运行时段。


4.根据权利要求1所述的方法，其特征在于，所述任务信息包括：所述待提交任务的任务模版标识；
所述根据所述任务提交请求包括的待提交任务的任务信息，确定所述待提交任务所属的目标任务类别，包括：
确定所述任务模板标识是否为预设标识；
若是，则从所述任务信息中获取所述待提交任务的元信息，根据所述元信息确定所述待提交任务所属的目标任务类别；以及，根据所述元信息更新所述任务模板标识；
若否，则根据所述任务模板标识，从预设的第一关联关系中获取关联的任务类别，将获取的所述任务类别确定为所述待提交任务所属的目标任务类别；其中，所述第一关联关系包括多个任务模板标识与任务类别的关联关系。


5.根据权利要求4所述的方法，其特征在于，所述元信息包括：所述待提交任务的任务类型信息和任务依赖信息；
所述根据所述元信息确定所述待提交任务所属的目标任务类别，包括：
确定根据所述任务类型信息和所述任务依赖信息，从预设的第二关联关系中是否获取到关联的任务类别；其中，所述第二关联关系包括多个任务类型信息和任务依赖信息与任务类别的关联关系；
若是，则将获取的所述任务类别确定为所述待提交任务所属的目标任务类别；
若否，则生成新的任务类别，将生成的所述任务类别确定为所述待提交任务所属的目标任务类别。


6.根据权利要求4所述的方法，其特征在于，所述元信息还包括：所述待提交任务的执行入口信息和执行虚拟机信息；
所述根据所述元信息更新所述任务模板标识，包括：
确定根据所述执行入口信息和所述执行虚拟机信息，从预设的第三关联关系中是否获取到关联的任务模板标识；其中，所述第三关联关系包括多个执行入口信息和执行虚拟机信息与任务模板标识的关联关系；
若是，则将所述任务信息包括的所述任务模板标识更新为获取的所述任务模板标识；
若否，则生成新的任务模板标识，将所述任务信息包括的所述任务模板标识更新为生成的所述任务模板标识。


7.根据权利要求1所述的方法，其特征在于，所述生成相应任务类别所对应的任务提交器之后，还包括：
将所述任务类别的类别标识、所述任务提交器的提交器标识、以及表征所述任务提交器处于可用状态的第一状态信息进行关联记录，得到第一记录信息；
所述确定是否存在所...

【专利技术属性】
技术研发人员：王茂军，李涛，
申请(专利权)人：郑州阿帕斯数云信息科技有限公司，
类型：发明
国别省市：河南;41