【技术实现步骤摘要】
本申请实施例涉及数据处理，并且更具体地，涉及一种资源分配的方法及装置。
技术介绍
1、算力资源分配是影响任务的运行性能的重要因素之一。在一些方案中，算力资源分配方案是基于通用算法确定的。然而，通用算法无法感知任务的特点，即无法根据不同的任务的特点来分配算力资源，难以实现任务与算力资源的最佳匹配。在另一些方案中，算力分配方案是由用户确定的，例如，由用户指定任务所需要的算力资源，或者，由用户为任务定制算力资源分配方案。然而人为确定资源分配方案的方式对用户的要求较高，且该方式效率较低，难以满足运行需求。
2、如何实现算力资源分配成为一个亟待解决的问题。
技术实现思路
1、本申请实施例提供一种资源分配的方法及装置，有利于为多个任务分配较为合理的算力资源，从而提高多个任务的整体运行性能。
2、第一方面，提供了一种资源分配的方法，包括：获取多个任务中的每个任务的运行性能数据，多个任务中的每个任务的运行性能数据包括每个任务在每个任务对应的样本资源规模下的运行性能；根据多个任务中的每个任务的运行性能数据确定多个任务中的每个任务在独占多个任务对应的候选资源规模的情况下的运行性能；根据多个任务中的每个任务在独占每个任务对应的候选资源规模的情况下的运行性能确定多个任务中的每个任务对应的目标资源。
3、在本申请实施例的方案中，可以基于多个任务的运行性能数据分析任务，以识别各个任务自身的行为特点，例如，各个任务独占资源时的运行性能，并基于任务自身的行为特点确定多个任务中的
4、示例性地，任务的运行性能可以包括任务的运行时间、任务的响应时延、任务的资源利用率或通过硬件性能监控单元(performance monitoring unit，pmu)计数器采集的数据等。
5、一个任务在一种资源规模下的运行性能可以包括以下至少一项：该任务在独占该资源规模的情况下的运行性能；该任务在非独占该资源规模的情况下的运行性能。
6、每个任务对应的样本资源规模可以包括一种样本资源规模，也可以包括多种样本资源规模。
7、不同任务对应的样本资源规模可以相同，也可以不同。
8、示例性地，资源可以包括进程资源。一个单位资源可以为一个进程。资源规模可以为进程的数量。
9、结合第一方面，在第一方面的某些实现方式中，该多个任务中的至少一个任务的运行性能数据包括该至少一个任务在非独占该至少一个任务对应的样本资源规模的情况下的运行性能。
10、在实际应用的场景中，通常任务不独占资源。在本申请实施例的方案中，可以根据基于任务在不独占资源时的运行性能确定任务在独占资源时的运行性能，减少了对该多个任务的运行性能数据的限制。本申请实施例的方案中获取到的多个任务的运行性能既可以包括任务独占资源的情况下的运行性能，还可以包括任务在不独占资源的情况下的运行性能，提高了获取到的运行性能数据的数据量，为后续的处理过程奠定了数据基础，从而有利于更准确地分析该多个任务，进而实现合理的资源分配。
11、结合第一方面，在第一方面的某些实现方式中，每个任务对应的目标资源包括每个任务对应的一个或多个进程，一个或多个进程分别与一个或多个资源槽(slot)绑定。
12、slot和处理器核可以是一一对应的。一个或多个进程分别与一个或多个slot绑定，也可以理解为一个或多个进程分别与一个或多个处理器核绑定。
13、在本申请实施例的方案中，将进程与slot绑定，可以在全局范围内实现进程的分配，也即实现全局范围内的slot的分配，有利于得到最优的资源分配方案。同时本申请实施例的方案，将进程与slot绑定，实现了精细化的算力分配，无需算力节点内核的二次调度，即无需由算力节点为进程调度处理器核，避免了二次调度所带来的开销。
14、结合第一方面，在第一方面的某些实现方式中，多个进程为多个连续的进程，多个slot为多个连续的slot。
15、多个slot为多个连续的slot指的是该多个slot的编号连续。
16、在本申请实施例中，为各个任务分配连续的slot，有利于减少各个任务执行过程中的通信代价，进一步提高任务的运行性能。
17、结合第一方面，在第一方面的某些实现方式中，多个任务包括第一任务，根据第一任务的运行性能数据确定第一任务在独占第一任务对应的候选资源规模的情况下的运行性能，包括：根据第一任务的运行性能数据构建第一任务的第一性能模型，其中，第一任务的第一性能模型用于预测第一任务在独占输入至第一任务的性能模型的资源规模的情况下的运行性能；根据第一任务的第一性能模型确定第一任务在独占第一任务对应的第一候选资源规模的情况下的运行性能，第一任务对应的候选资源规模包括第一任务对应的第一候选资源规模。
18、第一任务可以为该多个任务中的任一任务。
19、本申请实施例中，通过任务的运行性能数据对该任务进行性能建模，有利于实现对任务的准确的性能分析，从而为后续算力资源的合理分配提供基础。
20、结合第一方面，在第一方面的某些实现方式中，多个任务包括第二任务，根据第二任务的运行性能数据确定第二任务在独占第二任务对应的候选资源规模的情况下的运行性能，包括：根据第二任务的波动系数模型和第二任务的运行性能数据确定第二任务在独占第二任务对应的第二候选资源规模的情况下的运行性能。第二任务对应的候选资源规模包括第二任务对应的第二候选资源规模。第二任务的运行性能数据包括第二任务在第二任务对应的样本资源分配方案下的运行性能。第二候选资源规模为第二任务对应的样本资源分配方案所指示的样本资源规模。第二任务的波动系数模型用于预测输入至第二任务的波动系数模型的资源分配方案对应的第二任务的波动系数。第二任务对应的样本资源分配方案对应的第二任务的波动系数用于指示第二任务在第二任务对应的样本资源分配方案下的运行性能和第二任务在独占第二任务对应的样本资源规模的情况下的运行性能之间的差异。
21、在本申请实施例的方案中，基于任务的波动系数对任务在样本资源分配方案下的运行性能数据进行性能反解，以预测任务在独占资源时的运行性能，有利于实现对各个任务的准确的性能分析，从而为后续算力资源的合理分配提供基础。
22、结合第一方面，在第一方面的某些实现方式中，每个任务对应的候选资源规模为每个任务对应的候选资源规模中的部分资源规模，每个任务对应的候选资源规模中的部分资源规模与每个任务在独占每个任务对应的所有候选资源规模中的部分资源规模的情况下的运行性能满足第一预设条件。
23、在本申请实施例的方案中，可以基于第一预设条件从候选资源规模中确定部分资源规模，减少了候选资源规模的组合的数量，即减少了后续目标资源分配过程中的搜索空间，有利于提高资源分配的效率。具体地，基于该任务在独占该任务对应的资源规模的情况下的运行性能与该资源规本文档来自技高网...
【技术保护点】
1.一种资源分配的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述每个任务对应的目标资源包括所述每个任务对应的一个或多个进程，所述一个或多个进程分别与一个或多个资源槽绑定。
3.根据权利要求2所述的方法，其特征在于，所述多个进程为多个连续的进程，所述多个资源槽为多个连续的资源槽。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述多个任务包括第一任务，根据所述第一任务的运行性能数据确定所述第一任务在独占所述第一任务对应的候选资源规模的情况下的运行性能，包括：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述每个任务对应的候选资源规模为所述每个任务对应的所有候选资源规模中的部分资源规模，所述每个任务对应的候选资源规模中的部分资源规模与所述每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能满足第一预设条件。
6.根据权利要求5所述的方法，其特征在于，所述第一预设条件包括：所述每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能与所
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述多个任务中的每个任务在独占所述每个任务对应的候选资源规模的情况下的运行性能确定所述多个任务中的每个任务对应的目标资源，包括：
8.根据权利要求7所述的方法，其特征在于，所述根据所述多个任务中的每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能确定多种资源规模组合下的目标候选资源分配方案，包括：
9.根据权利要求7或8所述的方法，其特征在于，所述确定所述多种资源规模组合中的每种资源规模组合下的目标候选资源分配方案对应的多个任务的波动系数，包括：
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述多个任务包括多个应用对应的任务，所述多个应用中的每个应用对应一个任务。
11.根据权利要求1至9中任一项所述的方法，其特征在于，所述多个任务包括一个应用中的多个功能模块对应的任务，所述多个功能模块中的每个功能模块对应一个任务。
12.一种资源分配的装置，其特征在于，包括：
13.根据权利要求12所述的装置，其特征在于，所述每个任务对应的目标资源包括所述每个任务对应的一个或多个进程，所述一个或多个进程分别与一个或多个资源槽绑定。
14.根据权利要求13所述的装置，其特征在于，所述多个进程为多个连续的进程，所述多个资源槽为多个连续的资源槽。
15.根据权利要求12至14中任一项所述的装置，其特征在于，所述多个任务包括第一任务，所述处理单元具体用于：
16.根据权利要求12至15中任一项所述的装置，其特征在于，所述每个任务对应的候选资源规模为所述每个任务对应的所有候选资源规模中的部分资源规模，所述每个任务对应的候选资源规模中的部分资源规模与所述每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能满足第一预设条件。
17.根据权利要求16所述的装置，其特征在于，所述第一预设条件包括：所述每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能与所述每个任务对应的候选资源规模中的部分资源规模之间的比值大于或等于第一阈值，所述第一阈值为任务对资源规模的利用效率的阈值。
18.根据权利要求16或17所述的装置，其特征在于，所述处理单元具体用于：
19.根据权利要求18所述的装置，其特征在于，所述处理单元具体用于：
20.根据权利要求18或19所述的装置，其特征在于，所述处理单元具体用于：
21.根据权利要求12至20中任一项所述的装置，其特征在于，所述多个任务包括多个应用对应的任务，所述多个应用中的每个应用对应一个任务。
22.根据权利要求12至20中任一项所述的装置，其特征在于，所述多个任务包括一个应用中的多个功能模块对应的任务，所述多个功能模块中的每个功能模块对应一个任务。
23.一种资源分配的装置，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的指令，以使得所述装置执行如权利要求1至11中任一项所述的方法。
24.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；
25.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当...
【技术特征摘要】
1.一种资源分配的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述每个任务对应的目标资源包括所述每个任务对应的一个或多个进程，所述一个或多个进程分别与一个或多个资源槽绑定。
3.根据权利要求2所述的方法，其特征在于，所述多个进程为多个连续的进程，所述多个资源槽为多个连续的资源槽。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述多个任务包括第一任务，根据所述第一任务的运行性能数据确定所述第一任务在独占所述第一任务对应的候选资源规模的情况下的运行性能，包括：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述每个任务对应的候选资源规模为所述每个任务对应的所有候选资源规模中的部分资源规模，所述每个任务对应的候选资源规模中的部分资源规模与所述每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能满足第一预设条件。
6.根据权利要求5所述的方法，其特征在于，所述第一预设条件包括：所述每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能与所述每个任务对应的候选资源规模中的部分资源规模之间的比值大于或等于第一阈值，所述第一阈值为任务对资源规模的利用效率的阈值。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述多个任务中的每个任务在独占所述每个任务对应的候选资源规模的情况下的运行性能确定所述多个任务中的每个任务对应的目标资源，包括：
8.根据权利要求7所述的方法，其特征在于，所述根据所述多个任务中的每个任务在独占所述每个任务对应的候选资源规模中的部分资源规模的情况下的运行性能确定多种资源规模组合下的目标候选资源分配方案，包括：
9.根据权利要求7或8所述的方法，其特征在于，所述确定所述多种资源规模组合中的每种资源规模组合下的目标候选资源分配方案对应的多个任务的波动系数，包括：
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述多个任务包括多个应用对应的任务，所述多个应用中的每个应用对应一个任务。
11.根据权利要求1至9中任一项所述的方法，其特征在于，所述多个任务包括一个应用中的多个功能模块对应的任务，所述多个功能模块中的每个功能模块对应一个任务。
12.一种资源分配的装置，其特征在于，包括：
13.根据权利要求12所述的装置，其特征在于，所述每个任...
【专利技术属性】
技术研发人员：孙楚旻，周李，任玉鑫，樊瑞，孙杰，陈东辉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。