资源分配方法、系统、计算机可读存储介质及电子设备技术方案

本申请公开了一种资源分配方法、系统、计算机可读存储介质及电子设备。其中，该方法包括：获取目标计算集群待执行的目标作业的作业特征信息；基于作业特征信息确定目标计算资源类型；为目标计算集群分配目标计算资源，其中，目标计算资源为目标计算集群执行目标作业所需的计算资源，目标计算资源的计算资源类型为目标计算资源类型。本申请解决了由于现有技术中对所有作业选择同类计算资源造成的资源分配不合理的技术问题。配不合理的技术问题。配不合理的技术问题。

【技术实现步骤摘要】
资源分配方法、系统、计算机可读存储介质及电子设备


[0001]本申请涉及人工智能领域，具体而言，涉及一种资源分配方法、系统、计算机可读存储介质及电子设备。

技术介绍

[0002]云计算平台也称云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。随着云计算和人工智能的发展，云计算服务平台上云的需求越来越多，对计算规格也要求多样化，单个集群的规模也越来越大。
[0003]目前，相关云计算服务平台在对作业进行处理的过程中，对所有作业选择同类计算资源进行统一处理，导致资源分配不合理，无法发挥云上计算资源的优势。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种资源分配方法、系统、计算机可读存储介质及电子设备，以至少解决由于现有技术中对所有作业选择同类计算资源造成的资源分配不合理的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种资源分配方法，包括：获取目标计算集群待执行的目标作业的作业特征信息；基于作业特征信息确定目标计算资源类型；为目标计算集群分配目标计算资源，其中，目标计算资源为目标计算集群执行目标作业所需的计算资源，目标计算资源的计算资源类型为目标计算资源类型。
[0007]根据本申请实施例的另一方面，还提供了一种资源分配方法，包括：响应作业创建指令，创建目标作业以及执行目标作业的目标计算集群，并显示目标作业的作业特征信息；显示基于作业特征信息所确定的目标计算资源类型；响应资源分配指令，显示为目标计算集群所分配的目标计算资源，其中，目标计算资源为目标计算集群执行目标作业所需的计算资源，目标计算资源的计算资源类型为目标计算资源类型。
[0008]根据本申请实施例的另一方面，还提供了一种资源分配装置，包括：获取模块，用于获取目标计算集群待执行的目标作业的作业特征信息；确定模块，用于基于作业特征信息确定目标计算资源类型；分配模块，用于为目标计算集群分配目标计算资源，其中，目标计算资源为目标计算集群执行目标作业所需的计算资源，目标计算资源的计算资源类型为目标计算资源类型。
[0009]根据本申请实施例的另一方面，还提供了一种资源分配装置，包括：第一响应模块，用于响应作业创建指令，创建目标作业以及执行目标作业的目标计算集群，并显示目标作业的作业特征信息；显示模块，用于显示基于作业特征信息所确定的目标计算资源类型；第二响应模块，用于响应资源分配指令，显示为目标计算集群所分配的目标计算资源，其中，目标计算资源为目标计算集群执行目标作业所需的计算资源，目标计算资源的计算资源类型为目标计算资源类型。
[0010]根据本申请实施例的另一方面，还提供了一种资源分配系统，包括：调度器，用于接收目标对象提交的目标作业；特征收集组件，用于获取目标计算集群待执行的目标作业的作业特征信息，并基于作业特征信息确定目标计算资源类型；资源管理组件，用于根据目标计算资源类型确定目标计算资源，为调度器创建任务队列，然后基于任务队列向调度器添加目标计算资源；调度器还基于预设的调度策略将目标计算资源分配至目标计算集群的计算节点所对应的任务队列中，以使目标计算集群中的计算节点执行目标作业。
[0011]根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的资源分配方法。
[0012]根据本申请实施例的另一方面，还提供了一种电子设备，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的资源分配方法。
[0013]在本专利技术实施例中，采用基于作业的作业特征信息为每个作业分配不同类计算资源的方式，通过获取目标计算集群待执行的目标作业的作业特征信息，然后基于作业特征信息确定目标计算资源类型，从而为目标计算集群分配目标计算资源，其中，目标计算资源为目标计算集群执行目标作业所需的计算资源，目标计算资源的计算资源类型为目标计算资源类型。
[0014]在上述过程中，为目标计算集群分配目标计算资源，实现了基于不同类计算资源对各作业进行处理，避免了对所有作业选择同类计算资源所存在的资源浪费或不足的现象，从而提高了资源分配的合理性，进而提高了作业运行效率，提升了用户体验。此外，在本申请中，基于作业特征信息确定目标计算资源类型，从而确定了对各目标作业进行处理的最合适的计算资源的计算资源类型，避免了人工选择计算资源的差异性和不准确性，进一步提高了作业运行效率。
[0015]由此可见，本申请所提供的方案达到了基于作业的作业特征信息为每个作业分配不同类计算资源的目的，从而实现了提高资源分配合理性的技术效果，进而解决了由于现有技术中对所有作业选择同类计算资源造成的资源分配不合理的技术问题。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1是根据本申请实施例的一种可选的电子设备(或移动设备)的硬件结构框图；
[0018]图2是根据本申请实施例的一种可选的电子设备(或移动设备)作为发送端的一种实施例；
[0019]图3是根据本申请实施例的一种可选的资源分配方法的流程图；
[0020]图4是根据现有技术的一种资源分配方法的示意图；
[0021]图5是根据现有技术的一种资源分配方法的示意图；
[0022]图6是根据本申请实施例的一种可选的资源分配方法的时序图；
[0023]图7是根据本申请实施例的一种可选的特征收集组件的示意图；
[0024]图8是根据本申请实施例的一种可选的资源分配方法的流程图；
[0025]图9是根据本申请实施例的一种可选的人机交互操作的示意图；
[0026]图10是根据本申请实施例的一种可选的资源分配装置的示意图；
[0027]图11是根据本申请实施例的一种可选的资源分配装置的示意图；
[0028]图12是根据本申请实施例的一种可选的资源分配系统的示意图；
[0029]图13是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
[0030]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0031]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源分配方法，其特征在于，包括：获取目标计算集群待执行的目标作业的作业特征信息；基于所述作业特征信息确定目标计算资源类型；为所述目标计算集群分配目标计算资源，其中，所述目标计算资源为所述目标计算集群执行所述目标作业所需的计算资源，所述目标计算资源的计算资源类型为所述目标计算资源类型。2.根据权利要求1所述的方法，其特征在于，获取目标计算集群待执行的目标作业的作业特征信息，包括：从资源调度组件所对应的作业列表中获取所述目标作业的作业信息，其中，所述资源调度组件用于接收目标对象提交的目标作业，并将所述目标作业分配至所述目标计算集群的计算节点中；基于所述目标计算集群确定所述目标作业所对应的系统特征信息，其中，所述作业特征信息至少包括所述作业信息以及所述系统特征信息，所述作业信息至少包括：所述目标作业运行时的容器依赖信息，所述系统特征信息至少包括：所述计算节点的网络带宽、内存占用率。3.根据权利要求2所述的方法，其特征在于，基于所述作业特征信息确定目标计算资源类型，包括：基于所述作业特征信息从预设特征数据库中进行计算资源类型查询，得到查询结果，其中，所述预设特征数据库中至少存储有历史作业的作业特征信息、计算资源类型，以及所述历史作业的作业特征信息与所述计算资源类型之间的关联关系，所述计算资源类型为所述目标计算集群执行所述历史作业所需的计算资源的类型；在所述查询结果表征所述预设特征数据库中存在与所述目标作业的作业特征信息所对应的计算资源类型时，确定所述预设特征数据库中与所述目标作业的作业特征信息所对应的计算资源类型为所述目标计算资源类型；在所述查询结果表征所述预设特征数据库中不存在与所述目标作业的作业特征信息所对应的计算资源类型时，对所述目标作业的作业特征信息与预设的计算资源类型所对应的目标作业特征信息进行比对，根据比对结果确定所述目标计算资源类型。4.根据权利要求3所述的方法，其特征在于，对所述目标作业的作业特征信息与预设的计算资源类型所对应的目标作业特征信息进行比对，根据比对结果确定所述目标计算资源类型，包括：根据所述目标作业运行时的容器依赖信息确定所述目标作业的作业运行形式；在所述作业运行形式表征所述目标作业运行在容器中时，确定所述目标计算资源类型为容器化实例计算资源类型，其中，所述容器化实例计算资源类型表征所述目标作业运行时依赖于所述容器。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述作业运行形式表征所述目标作业未运行在所述容器中时，检测所述计算节点的实时最大网络带宽是否大于第一预设带宽，并且，所述计算节点所对应的平均带宽是否大于第二预设带宽；在所述实时最大网络带宽大于所述第一预设带宽，或者，所述平均带宽大于所述第二
预设带宽时，确定所述目标计算资源类型为超级计算集群计算资源类型，其中，所述超级计算集群计算资源类型表征所述目标作业的运行受网络带宽的影响程度最大。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在所述实时最大网络带宽小于或等于所述第一预设带宽，并且，所述平均带宽小于或等于所述第二预设带宽时，检测所述计算节点的内存占用率是否大于预设占用率；在所述内存占用率大于所述预设占用率时，确定所述目标计算资源类型为物理机计算资源类型；在所述内存占用率小于或等于所述预设占用率时，确...

【专利技术属性】
技术研发人员：王敏，贺荣徽，何万青，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：