【技术实现步骤摘要】
本申请涉及人工智能，具体而言，涉及一种资源调度方法、装置及计算机设备。
技术介绍
1、目前，数字化起到了越来越重要的作用。涉及到数据的集成，加工，提供服务的全链路数据加工。整个数据处理任务链路中的任务节点会比较长而且节点数也会比较庞大，有的链路甚至会到上千个节点。要保证链路上所有节点的高效稳定的运行，最重要是需要保证资源的有效调度。要做到资源的有效调度，目前面临如下的一些问题：资源无法动态调整：许多现有的调度系统在资源分配上缺乏弹性，难以根据实时的负载变化和任务需求进行动态调整。这导致资源利用率低，无法充分发挥系统的性能优势。任务依赖复杂：数据处理任务之间的依赖关系复杂，调度系统需要准确地管理这些依赖关系，确保任务按正确顺序执行。如果资源调度不当，可能会引发任务执行延迟或失败。资源竞争：在资源有限的情况下，多个任务可能会竞争相同的资源，导致资源争夺和冲突。现有的调度系统往往缺乏有效的资源分配策略，难以平衡资源需求，导致部分任务得不到及时处理。
技术实现思路
1、本申请实施例提供了一种资源调度方法、装置及计算机设备，以至少解决相关技术中的资源调度灵活性较低的技术问题。
2、根据本申请实施例的一个方面，提供了一种资源调度方法，包括：获取待调度的全链路任务的执行信息，其中，所述执行信息至少包括：所述全链路任务的上下游任务关系、所述全链路任务在执行过程中消耗的资源信息和所述全链路任务的执行时长；采用预设模型对所述全链路任务的执行信息进行分析，得到执行所述全链路任务的资源调度策略
3、可选地，采用预设模型对所述全链路任务的执行信息进行分析，包括：获取训练数据集，其中，所述训练数据集中包括：静态信息和动态信息，所述静态信息至少包括：历史任务的上下游任务关系，所述动态信息至少包括：历史任务执行过程中消耗的资源信息和任务执行时长；采用所述训练数据集对预设初始模型进行训练，得到所述预设模型；采用所述预设模型中的多个子模型对所述全链路任务的执行信息进行分析。
4、可选地，采用所述预设模型中的多个子模型对所述全链路任务的执行信息进行分析，得到执行所述全链路任务的资源调度策略包括：采用所述第一子模型对所述待调度的全链路任务的执行信息进行分析，得到所述全链路任务在执行过程中每个时段内所需消耗的资源量；采用所述第二子模型对全链路任务的上下游任务关系和所述全链路任务在执行过程中消耗的资源信息，确定所述全链路任务中会产生资源竞争情况的目标子任务，并生成报警信息，所述资源竞争情况包括：多个子任务在同一时段内消耗同一类型的资源，所述报警信息用于指示所述目标子任务和所述目标子任务的执行时段；采用所述第三子模型对所述全链路任务在执行过程中每个时段内所需消耗的资源量和所述报警信息，确定所述全链路任务的资源调度策略。
5、可选地，在确定所述全链路任务的资源调度策略之后，所述方法还包括：采用所述预设模型中的第四子模型对所述全链路任务的上下游任务关系、所述报警信息和所述全链路任务的资源调度策略进行分析，得到所述全链路任务中每个子任务的执行顺序。
6、可选地，所述第四子模型通过以下方式确定，包括：根据训练数据集构建有向图，在所述有向图中，节点表示任务，边代表任务之间的依赖关系；对所述有向图中的每个节点进行特征提取，得到每个节点的特征向量，每个节点的特征向量至少用于表征任务的持续时长、资源需求量和执行优先级；基于所述每个节点的特征向量，以任务执行的每个时段内的资源消耗量最低为目标对所述有向图进行调整，直到所述第四子模型收敛。
7、可选地，所述方法还包括：采用预先训练的第五子模型对全链路任务在执行过程中每个时段内所需消耗的资源量进行分析，从多个计算节点中选择资源利用率最低的计算节点确定为目标计算节点，并将所述全链路任务链部署到所述目标计算节点上执行。
8、可选地，所述方法还包括：获取所述全链路任务在执行过程中所述多个计算节点的资源利用率；在所述多个计算节点的资源利用率高于预设阈值的情况下，对所述多个计算节点进行扩容。
9、根据本申请实施例的另一方面，还提供了一种资源调度装置，包括：获取模块，用于获取待调度的全链路任务的执行信息，其中，所述执行信息至少包括：所述全链路任务的上下游任务关系、所述全链路任务在执行过程中消耗的资源信息和所述全链路任务的执行时长；分析模块，用于采用预设模型对所述全链路任务的执行信息进行分析，得到执行所述全链路任务的资源调度策略，其中，所述预设模型至少包括：用于预测所述全链路任务执行过程中所需消耗的资源的第一子模型、用于确定任务执行过程中报警机制的第二子模型、用于确定资源调度策略的第三子模型；调度模块，用于按照所述全链路任务的资源调度策略对所述全链路任务执行过程中所需的资源进行调度。
10、根据本申请实施例的又一方面，还提供了一种计算机设备，包括：存储器和处理器，其中，存储器用于存储程序指令；处理器，与存储器连接，用于执行上述资源调度方法。
11、根据本申请实施例的再一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，该非易失性存储介质所在设备通过运行计算机程序执行上述资源调度方法。
12、根据本申请实施例的再一方面，还提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现上述资源调度方法。
13、在本申请实施例中，通过获取待调度的全链路任务的执行信息，其中，所述执行信息至少包括：所述全链路任务的上下游任务关系、所述全链路任务在执行过程中消耗的资源信息和所述全链路任务的执行时长；采用预设模型对所述全链路任务的执行信息进行分析，得到执行所述全链路任务的资源调度策略，其中，所述预设模型至少包括：用于预测所述全链路任务执行过程中所需消耗的资源的第一子模型、用于确定任务执行过程中报警机制的第二子模型、用于确定资源调度策略的第三子模型；按照所述全链路任务的资源调度策略对所述全链路任务执行过程中所需的资源进行调度，达到了采用含有多个子模型的预设模型根据全链路任务的执行信息动态调整资源调度策略的目的，从而实现了提升资源调度灵活性的技术效果，进而解决了相关技术中的资源调度灵活性较低的技术问题。
本文档来自技高网...【技术保护点】
1.一种资源调度方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采用预设模型对所述全链路任务的执行信息进行分析，包括：
3.根据权利要求2所述的方法，其特征在于，采用所述预设模型中的多个子模型对所述全链路任务的执行信息进行分析，得到执行所述全链路任务的资源调度策略包括：
4.根据权利要求3所述的方法，其特征在于，在确定所述全链路任务的资源调度策略之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述第四子模型通过以下方式确定，包括：
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
8.一种资源调度装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括：存储器和处理器，其中，所述存储器用于存储程序指令；所述处理器，与所述存储器连接，用于执行权利要求1至7中任意一项所述的资源调度方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执
...【技术特征摘要】
1.一种资源调度方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采用预设模型对所述全链路任务的执行信息进行分析，包括：
3.根据权利要求2所述的方法，其特征在于，采用所述预设模型中的多个子模型对所述全链路任务的执行信息进行分析，得到执行所述全链路任务的资源调度策略包括：
4.根据权利要求3所述的方法，其特征在于，在确定所述全链路任务的资源调度策略之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述第四子模型通过以下方式确定，包括：
【专利技术属性】
技术研发人员：张云龙，刘涛，
申请(专利权)人：中电信人工智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。