System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请属于数据处理领域,具体涉及一种基于数据任务网络的任务节点执行控制方法、设备及存储介质。
技术介绍
1、随着数据处理需求的增加,复杂数据任务的执行管理变得越来越重要。特别是在大规模数据处理和数据分析领域,如何高效地调度和执行数据任务是一个关键问题。传统的任务执行方式往往存在效率低下和资源浪费的问题,而基于数据任务网络的任务节点执行控制方法能够有效地解决这些问题,提高数据任务的执行效率。
2、目前,传统的任务执行方式通常采用独立的任务单元,每个任务单元独立执行,彼此之间没有关联。
3、然而这种方式虽然实现简单,但在面对复杂的数据任务网络时,往往无法满足任务节点之间的依赖关系,缺乏对任务参数动态变化的支持,难以满足实际应用中复杂任务调度的需求。
技术实现思路
1、本申请旨在提供一种基于数据任务网络的任务节点执行控制方法、设备及存储介质,至少解决参数动态的情况下,对复杂任务适用性低的问题。
2、第一方面,本申请实施例公开了一种基于数据任务网络的任务节点执行控制方法,包括:
3、根据多个待执行的任务,生成所述任务的虚拟执行网络;所述虚拟执行网络中的每个虚拟执行节点与每个待执行的所述任务一一对应;所述虚拟执行网络中的各个虚拟执行节点之间的连接关系用以表征与每个虚拟执行节点对应的任务之间的执行依赖关系;
4、根据所述虚拟执行网络,确定每个所述任务的信号量,并根据所述虚拟执行网络生成用以记录所述任务的信号量和任务内容的任务列表;所述
5、根据每个所述任务的信号量,从所述任务列表中确定目标任务,并执行所述目标任务;所述目标任务是所述任务中满足执行条件的任务。
6、第二方面,本申请实施例还公开了一种基于数据任务网络的任务节点执行控制装置,包括:
7、网络生成模块,用于根据多个待执行的任务,生成所述任务的虚拟执行网络;所述虚拟执行网络中的每个虚拟执行节点与每个待执行的所述任务一一对应;所述虚拟执行网络中的各个虚拟执行节点之间的连接关系用以表征与每个虚拟执行节点对应的任务之间的执行依赖关系;
8、索引生成模块,用于根据所述虚拟执行网络,确定每个所述任务的信号量,并根据所述虚拟执行网络生成用以记录所述任务的信号量和任务内容的任务列表;所述任务的信号量与所述任务的执行优先级负相关;
9、任务执行模块,用于根据每个所述任务的信号量,从所述任务列表中确定目标任务,并执行所述目标任务;所述目标任务是所述任务中满足执行条件的任务。
10、第三方面,本申请实施例还公开了一种电子设备,包括处理器和存储器、所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
11、第四方面,本申请实施例还公开了一种可读存储介质,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
12、综上,在本申请实施例中,通过生成所述任务的虚拟执行网络,能够明确各个任务节点之间的依赖关系,确保任务按照正确的顺序执行,提高了任务调度的准确性和效率;进而得以根据所述虚拟执行网络确定每个任务的信号量,并生成记录任务信号量和任务内容的任务列表,使任务执行的优先级得以合理分配,从而优化了任务的执行顺序,减少了任务等待时间,提高了整体执行效率;最终根据每个任务的信号量从任务列表中确定目标任务并执行目标任务,解决了现有技术中缺乏对任务参数动态变化支持的问题,利用动态调整机制有效避免了传统预定义调度表无法应对任务参数变化的不足,使任务执行更具灵活性和适应性。由此,基于本申请实施例的方法,通过虚拟执行网络的生成、信号量的确定和动态调整任务执行顺序,能够高效管理和执行复杂数据任务,提高任务执行效率,减少资源浪费。解决了参数动态的情况下,对复杂任务适用性低的问题。
本文档来自技高网...【技术保护点】
1.一种基于数据任务网络的任务节点执行控制方法,其特征在于,包括:
2.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据多个待执行的任务,生成所述任务的虚拟执行网络,包括:
3.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据所述虚拟执行网络,确定每个所述任务的信号量,包括:
4.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据所述虚拟执行网络生成用以记录所述任务的信号量和任务内容的任务列表,包括:
5.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据每个所述任务的信号量,从所述任务列表中确定目标任务,并执行所述目标任务,包括:
6.如权利要求5所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述将所述任务队列中的目标任务发送给与所述目标任务匹配的任务执行器,以执行所述目标任务,包括:
7.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述基于数据任务网络的
8.一种基于数据任务网络的任务节点执行控制装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:处理器、用于存储所述处理器可执行指令的存储器;
10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种基于数据任务网络的任务节点执行控制方法,其特征在于,包括:
2.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据多个待执行的任务,生成所述任务的虚拟执行网络,包括:
3.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据所述虚拟执行网络,确定每个所述任务的信号量,包括:
4.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据所述虚拟执行网络生成用以记录所述任务的信号量和任务内容的任务列表,包括:
5.如权利要求1所述的基于数据任务网络的任务节点执行控制方法,其特征在于,所述根据每个所述任务的信号量,从所述任务列表中确定目标任务,并执行所述...
【专利技术属性】
技术研发人员:闫鑫,史殿习,李晓,杨炎煜,王子奇,熊杏林,刘智慧,
申请(专利权)人:北京大数据先进技术研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。