【技术实现步骤摘要】
本专利技术涉及云计算和任务管理，尤其涉及一种yarn任务的资源调度方法、装置、电子设备及存储介质。
技术介绍
1、云计算技术迅猛发展下，yarn作为hadoop生态的基石，肩负起集群资源高效调度与管理的使命，确保资源按需分配，优化处理性能。其重要性不言而喻，对于推动大数据处理与云计算应用发展具有关键作用。
2、然而，面对日益复杂多变的业务场景和任务需求，传统yarn资源调度算法因其固有的静态规则和启发式方法，逐渐显露出局限性，现有技术难以精准捕捉并动态响应资源供需的细微变化，进而导致资源分配不均、利用率低下，甚至在高峰时段引发性能瓶颈，限制了大数据处理与分析的效率和潜力。
3、因此，迫切需要一种能够应对复杂多变的任务和资源需求，从而提高资源调度的效率和灵活性的yarn任务的资源调度方法。
技术实现思路
1、本专利技术各实施例提供一种yarn任务的资源调度方法，以解决现有技术无法应对复杂多变的任务和资源需求，资源分配不均、利用率低下不够的问题。所述技术方案如下：
2、根据本专利技术的一个方面，一种yarn任务的资源调度方法，所述方法包括：获取yarn集群的相关数据，将所述相关数据进行处理得到训练集和测试集；所述相关数据包括任务数据、资源使用数据和状态数据；通过自监督学习的方式使用所述训练集训练gpt算法模型，使用所述测试集对所述gpt算法模型进行评估并根据评估结果对所述gpt算法模型进行优化；获取目标任务的特征信息，通过所述gpt算法模型根据所述特
3、在其中一个实施例中，将所述相关数据进行处理得到训练集和测试集通过以下步骤实现：对所述相关数据进行清洗，去除噪声和异常值，对所述相关数据进行格式化，使得所述相关数据的格式符合gpt算法模型的要求；提取所述相关数据的关键特征，将处理后的所述相关数据和关键特征作为训练集和测试集；所述关键特征包括任务类型、数据大小、任务之间的关联关系。
4、在其中一个实施例中，通过所述gpt算法模型根据所述特征信息得到所述目标任务的资源需求通过以下步骤实现：将所述特征信息输入所述gpt算法模型，预测得到所述目标任务的需求资源量；所述需求资源量包括cpu和内存；根据所述目标任务的优先级、任务关联关系和需求资源量设置所述目标任务的优先级、资源分配顺序和数量并作为所述目标任务的资源需求。
5、在其中一个实施例中，根据所述资源需求和所述yarn集群的资源状况制定资源调度策略通过以下步骤实现：获取yarn集群的资源使用情况和资源可用性；所述资源使用情况包括各资源的总量、已分配量和空闲量；根据所述目标任务的资源需求和所述yarn集群的资源使用情况和资源可用性为所述目标任务制定资源调度策略使得资源的分配能够满足所述目标任务的需求且不存在资源浪费。
6、在其中一个实施例中，根据所述调度策略调用所述yarn集群执行所述目标任务通过以下步骤实现：根据所述调度策略调用所述yarn集群执行所述目标任务，记录所述目标任务的执行过程和执行结果并检测是否正常执行；若任务执行时出现错误，则及时调整和优化所述调度策略后执行所述目标任务。
7、在其中一个实施例中，执行所述目标任务之后还包括以下步骤：持续观察yarn集群的资源使用情况和所述目标任务的执行情况，所述执行情况包括目标任务的执行进度、资源使用情况；使用所述yarn集群的资源使用情况和所述目标任务的执行情况更新所述gpt算法模型。
8、在其中一个实施例中，所述方法还包括以下步骤：根据目标任务的特征关系构建树状任务图并存储；所述树状任务的根节点表示没有前置依赖的任务；执行所述目标任务之前确定每个任务的依赖关系均被满足，执行所述目标任务时按照所述树状任务图的顺序进行，所述目标任务执行完成后更新节点状态。
9、根据本专利技术的一个方面，一种yarn任务的资源调度装置，所述装置包括：数据集准备模块，用于获取yarn集群的相关数据，将所述相关数据进行处理得到训练集和测试集；模型训练模块，用于通过自监督学习的方式使用所述训练集训练gpt算法模型，使用所述测试集对所述gpt算法模型进行评估并根据评估结果对所述gpt算法模型进行优化；资源需求分析模块，用于获取目标任务的特征信息，通过所述gpt算法模型根据所述特征信息得到所述目标任务的资源需求；资源调度模块，用于根据所述资源需求和所述yarn集群的资源状况制定资源调度策略，根据所述调度策略调用所述yarn集群执行所述目标任务。
10、根据本专利技术的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的yarn任务的资源调度方法。
11、根据本专利技术的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的yarn任务的资源调度方法。
12、本专利技术提供的技术方案带来的有益效果是：
13、在上述技术方案，本专利技术通过首先获取yarn集群的相关数据，将相关数据进行处理得到训练集和测试集，通过自监督学习的方式使用训练集训练gpt算法模型，使用测试集对gpt算法模型进行评估并根据评估结果对gpt算法模型进行优化，获取目标任务的特征信息，通过gpt算法模型根据特征信息得到目标任务的资源需求，根据资源需求和yarn集群的资源状况制定资源调度策略，根据调度策略调用yarn集群执行目标任务，通过结合yarn集群资源管理、数据处理、自监督学习以及gpt算法模型，优化了资源调度策略，提升了云计算环境中目标任务执行的效率和资源利用率，能够制定更加合理的资源调度策略，有助于减少任务等待时间和执行时间，提高任务执行的效率和性能，从而能够有效地解决现有技术无法应对复杂多变的任务和资源需求，资源分配不均、利用率低下不够的问题。
本文档来自技高网...【技术保护点】
1.一种YARN任务的资源调度方法，其特征在于，所述方法包括：
2.如权利要求1所述的YARN任务的资源调度方法，其特征在于，所述将所述相关数据进行处理得到训练集和测试集，包括：
3.如权利要求1所述的YARN任务的资源调度方法，其特征在于，所述通过所述GPT算法模型根据所述特征信息得到所述目标任务的资源需求，包括：
4.如权利要求1所述的YARN任务的资源调度方法，其特征在于，所述根据所述资源需求和所述YARN集群的资源状况制定资源调度策略，包括：
5.如权利要求1所述的YARN任务的资源调度方法，其特征在于，所述根据所述调度策略调用所述YARN集群执行所述目标任务，包括：
6.如权利要求5所述的YARN任务的资源调度方法，其特征在于，所述执行所述目标任务之后，所述方法包括：
7.如权利要求1所述的YARN任务的资源调度方法，其特征在于，所述方法还包括：
8.一种YARN任务的资源调度装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：至少一个处理器以及至少一个存储
10.一种存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行，以实现如权利要求1至7中任一项所述的YARN任务的资源调度方法。
...【技术特征摘要】
1.一种yarn任务的资源调度方法，其特征在于，所述方法包括：
2.如权利要求1所述的yarn任务的资源调度方法，其特征在于，所述将所述相关数据进行处理得到训练集和测试集，包括：
3.如权利要求1所述的yarn任务的资源调度方法，其特征在于，所述通过所述gpt算法模型根据所述特征信息得到所述目标任务的资源需求，包括：
4.如权利要求1所述的yarn任务的资源调度方法，其特征在于，所述根据所述资源需求和所述yarn集群的资源状况制定资源调度策略，包括：
5.如权利要求1所述的yarn任务的资源调度方法，其特征在于，所述根据所述调度策略调用所...
【专利技术属性】
技术研发人员：李同兵，段彬，
申请(专利权)人：深圳市雁联计算系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。