【技术实现步骤摘要】
本申请涉及大数据，具体而言，涉及一种任务处理方法、装置、电子设备及存储介质。
技术介绍
1、在传统的批量调度算法中，首先任务节点的下发顺序是按照当前具有依赖条件的任务组中执行时间最久的顺序来下发任务，任务之间的依赖关系是静态定义的，没有将每个任务的截止时间、数据流的量以及该任务如果没有执行完时的损失这些因素考虑到执行顺序中，任务节点之间只考虑了执行时间长短的静态顺序执行、串行依赖、同步等待、资源限制等因素影响了系统的整体并行执行能力，耗时较长。
2、其次，现有技术在为每个任务分配服务器时，完全是静态指定，完全没有将数据流量的传输作为考虑因素，无法动态的根据服务器的当前闲置状态来进行动态调度，这意味着即使有一些服务器闲置下来了，但由于任务与服务器之间的静态分配关系，限制了这些空闲服务器无法被充分的利用起来。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请提供了一种任务处理方法、装置、电子设备及存储介质，以至少解决现有技术中在进行任务调度处理时对于服务器的资源利用效率低的技术问题。
2、根据本申请的一个方面，提供了一种任务处理方法，包括：获取待处理的n个任务以及处于空闲状态的服务器数量，其中，n为大于1的整数；根据处于空闲状态的服务器数量确定n个任务中的每个任务所对应的平均剩余时长，其中，每个任务对应的平均剩余时长表征通过所有处于空闲状态的服务器上执行完成位于该任务之后的所有后续任务所需要消耗的平均时长；根据每个任务对应的
3、可选地，任务处理方法还包括：获取n个任务中的第i个任务的最早执行时刻，其中，i为小于或等于n的正整数；计算第i个任务的最早执行时刻与n个任务的截止时刻之间的时间间隔时长；获取从第i个任务执行至n个任务中的目标任务所间隔的任务数量，其中，目标任务为n个任务中需要执行的最后一个任务；根据间隔的任务数量、时间间隔时长以及处于空闲状态的服务器数量确定第i个任务对应的平均剩余时长。
4、可选地，任务处理方法还包括：获取每个任务对应的数据流指标，其中，每个任务对应的数据流指标用于表征从每个任务开始至最后一个任务完成所需要传输的数据流的大小；获取每个任务对应的价值损失量，其中，每个任务对应的价值损失量用于表征该任务未完成时影响到的任务数量；根据每个任务对应的价值损失量、数据流指标以及平均剩余时长确定该任务的执行优先级。
5、可选地，任务处理方法还包括：根据每个任务的执行优先级确定当前执行优先级最高的待执行任务为第一任务；获取第一任务对应的第一调度损耗信息和第二调度损耗信息，其中，第一调度损耗信息用于表征从n个任务中确定第一任务时所需要的服务器调度资源量，第二调度损耗信息用于表征依据所有的服务器执行第一任务时所需要的服务器调度资源量；将求解得到第一调度损耗信息和第二调度损耗信息的最小求和结果作为服务器分配策略；依据服务器分配策略将第一任务分配给对应的服务器进行处理。
6、可选地，任务处理方法还包括：获取从n个任务中确定第一任务时基于每个服务器产生的调度资源量；对从n个任务中确定第一任务时基于每个服务器产生的调度资源量进行求和计算，得到第一任务对应的第一调度损耗信息；获取依据每个服务器执行第一任务时所需要的调度资源量；对依据每个服务器执行第一任务时所需要的调度资源量进行求和计算，得到第一任务对应的第二调度损耗信息。
7、可选地，任务处理方法还包括：获取第j个服务器对第一任务的调度关系，其中，第j个服务器为任意一个处于空闲状态的服务器；根据第j个服务器对第一任务的调度关系、第一任务对应的服务器之间的同步调度损耗率、第一任务的分配决策变量以及第j个服务器的分配决策变量，确定从n个任务中确定第一任务时基于每个服务器产生的调度资源量。
8、可选地，任务处理方法还包括：根据第j个服务器对第一任务的调度关系以及第一任务对第j个服务器的调度损耗率确定第j个服务器执行第一任务时所需要的调度资源量。
9、可选地，任务处理方法还包括：获取每个服务器在调用第一任务时的信息传输路径；在信息传输路径中传输预设数据量的信息，其中，预设数据量的信息在传输过程中均匀分布在信息传输路径上；计算预设数据量的信息在信息传输路径上的信息分布浓度；根据信息分布浓度和服务器分配策略将第一任务分配给对应的服务器进行处理。
10、可选地，任务处理方法还包括：将从n个任务中确定第一任务时基于每个服务器产生的调度资源量作为第一资源量；将依据每个服务器执行第一任务时所需要的调度资源量作为第二资源量；对第一资源量和第二资源量进行求和计算，得到目标数值；根据目标数值和信息分布浓度确定第一任务分配给每个服务器的概率；根据第一任务分配给每个服务器的概率和服务器分配策略将第一任务分配给对应的服务器进行处理。
11、根据本申请的另一方面，还提供了一种任务处理装置，其中，任务处理装置还包括：获取单元，用于获取待处理的n个任务以及处于空闲状态的服务器数量，其中，n为大于1的整数；第一确定单元，用于根据处于空闲状态的服务器数量确定n个任务中的每个任务所对应的平均剩余时长，其中，每个任务对应的平均剩余时长表征通过所有处于空闲状态的服务器上执行完成位于该任务之后的所有后续任务所需要消耗的平均时长；第二确定单元，用于根据每个任务对应的平均剩余时长确定该任务的执行优先级；处理单元，用于依据每个任务的执行优先级和服务器分配策略将n个任务依次分配给对应的服务器进行处理，其中，服务器分配策略用于在保证n个任务在截止时刻完成之前的前提下，通过最小的网络通讯资源分配服务器执行n个任务。
12、根据本申请的另一方面，还提供了一种计算机可读存储介质，其中，计算机可读存储介质中存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的任务处理方法。
13、根据本申请的另一方面，还提供了一种电子设备，其特征在于，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任意一项的任务处理方法。
14、在本申请中，采用根据每个任务对应的平均剩余时长确定该任务的执行优先级，并依据每个任务的执行优先级和服务器分配策略将n个任务依次分配给对应的服务器的方式，首先获取待处理的n个任务以及处于空闲状态的服务器数量，其中，n为大于1的整数，然后根据处于空闲状态的服务器数量确定n个任务中的每个任务所对应的平均剩余时长，其中，每个任务对应的平均剩余时长表征通过所有处于空闲状态的服务器上执行完成位于该任务之后的所有后续任务所需要消耗的平均时长，随后根据每个任务对应的平均剩余时长确定该任本文档来自技高网...
【技术保护点】
1.一种任务处理方法，其特征在于，包括：
2.根据权利要求1所述的任务处理方法，其特征在于，在根据所述处于空闲状态的服务器数量确定所述N个任务中的每个任务所对应的平均剩余时长的过程中，所述任务处理方法还包括：
3.根据权利要求1所述的任务处理方法，其特征在于，根据所述每个任务对应的平均剩余时长确定该任务的执行优先级，所述任务处理方法还包括：
4.根据权利要求1所述的任务处理方法，其特征在于，在依据所述每个任务的执行优先级和服务器分配策略将所述N个任务依次分配给对应的服务器进行处理的过程中，所述任务处理方法还包括：
5.根据权利要求4所述的任务处理方法，其特征在于，获取所述第一任务对应的第一调度损耗信息和第二调度损耗信息，包括：
6.根据权利要求5所述的任务处理方法，其特征在于，在获取从所述N个任务中确定所述第一任务的过程中基于每个服务器产生的调度资源量的过程中，所述任务处理方法还包括：
7.根据权利要求5所述的任务处理方法，其特征在于，在获取依据每个服务器执行所述第一任务时所需要的调度资源量的过程中，所述任务
8.根据权利要求4所述的任务处理方法，其特征在于，依据所述服务器分配策略将所述第一任务分配给对应的服务器进行处理，所述任务处理方法还包括：
9.根据权利要求8所述的任务处理方法，其特征在于，根据所述信息分布浓度和所述服务器分配策略将所述第一任务分配给对应的服务器进行处理，所述任务处理方法还包括：
10.一种任务处理装置，其特征在于，包括：
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的任务处理方法。
12.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任意一项所述的任务处理方法。
...【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：
2.根据权利要求1所述的任务处理方法，其特征在于，在根据所述处于空闲状态的服务器数量确定所述n个任务中的每个任务所对应的平均剩余时长的过程中，所述任务处理方法还包括：
3.根据权利要求1所述的任务处理方法，其特征在于，根据所述每个任务对应的平均剩余时长确定该任务的执行优先级，所述任务处理方法还包括：
4.根据权利要求1所述的任务处理方法，其特征在于，在依据所述每个任务的执行优先级和服务器分配策略将所述n个任务依次分配给对应的服务器进行处理的过程中，所述任务处理方法还包括：
5.根据权利要求4所述的任务处理方法，其特征在于，获取所述第一任务对应的第一调度损耗信息和第二调度损耗信息，包括：
6.根据权利要求5所述的任务处理方法，其特征在于，在获取从所述n个任务中确定所述第一任务的过程中基于每个服务器产生的调度资源量的过程中，所述任务处理方法还包括：
7.根据权利要求5所述的任务处理方法，其特征在于...
【专利技术属性】
技术研发人员：唐惠琛，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。