【技术实现步骤摘要】
技术介绍
1、本说明书涉及提高加速的资源密集型计算效率。
2、与例如传统的中央处理单元(central processing unit，cpu)的通用处理器相比，诸如图形处理单元(gpu)或张量处理单元(tpu)的硬件加速器具有更大的计算能力。结果，加速器已开始推动关键工作负载的性能改善。例如，加速器广泛用于机器学习训练和推理任务。
技术实现思路
1、本说明书描述了一种系统，该系统被实现为在一个或多个位置的一个或多个计算机上的计算机程序，该系统管理包括多个通用处理单元的处理系统的效率。
2、该系统将多个通用处理单元(例如，cpu核)划分为高优先级和低优先级域。高优先级域中的通用处理单元被分配为执行包括一个或多个高优先级任务的一个或多个任务，并且低优先级域中的通用处理单元被分配为执行包括一个或多个低优先级任务的一个或多个任务。通常，不分配低优先级域中的处理单元执行任何高优先级任务。此外，处理系统通常还包括一个或多个硬件加速器，这些硬件加速器被分配了资源密集型工作负载，例如机器学习工作负载，并且高优先级任务是与该资源密集型工作负载相关联的任务，即支持分配给硬件加速器的工作负载的任务。
3、在处理系统运行时，系统会获取使用率度量，这些度量表征高优先级域和低优先级域对系统存储器的使用。基于存储器使用率度量，系统调整(i)高优先级域，(ii)低优先级域或，或者(iii)两者的配置，以调整通用处理单元对系统存储器的利用。
4、系统可以重复获取使
5、可以实施本说明书中描述的主题的特定实施例，以实现以下优点中的一个或多个。尽管在资源密集型计算中，硬件加速器负责最繁重的计算任务，但通用处理器(例如cpu)通常执行各种支持角色。例如，在大规模的分布式机器学习系统中，cpu可以执行收集和同步机器学习模型参数的支持角色。但是，cpu的支持角色可能会通过与加速器竞争共享资源(诸如系统存储器)，而降低系统性能。所描述的技术将多个通用处理单元划分为高优先级和低优先级域，每个子域内的存储器请求由相应的存储器控制器处理，并且享有较低的存储器延迟和高速缓存延迟。此外，通过用低优先级cpu任务填充高优先级域，可以重新获得由于域分割的分裂而导致的吞吐量损失。此外，通过在运行时比较性能计数器的度量，系统可以选择增强、节制或保持资源配置，以减少高优先级和低优先级域内以及高优先级和低优先级域之间的资源争用。
6、在下面的附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。
本文档来自技高网...【技术保护点】
1.一种使用包括耦合到多个处理器的硬件加速器的系统所实施的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多个处理器被包括在所述系统的资源中，以及所述方法包括：
3.根据权利要求2所述的方法，其特征在于，进一步包括：
4.根据权利要求3所述的方法，其特征在于，进一步包括：
5.根据权利要求4所述的方法，其特征在于：
6.根据权利要求3所述的方法，其特征在于：
7.根据权利要求6所述的方法，其特征在于，所述多个处理器充当参数服务器，以及进行各自具有所述第一优先级的所述ML任务包括：
8.根据权利要求7所述的方法，其特征在于：
9.根据权利要求8所述的方法，其特征在于，执行所述ML工作负载包括：
10.根据权利要求8所述的方法，其特征在于，执行所述ML工作负载包括：
11.一种系统，其特征在于，所述系统包括硬件加速器、多个处理器和存储指令的非暂时性机器可读存储设备，所述指令由所述系统的处理设备可执行，以使得进行操作，所述操作包括：p>
12.根据权利要求11所述的系统，其特征在于，所述多个处理器被包括在所述系统的资源中，以及所述操作包括：
13.根据权利要求12所述的系统，其特征在于，所述操作进一步包括：
14.根据权利要求13所述的系统，其特征在于，所述操作进一步包括：
15.根据权利要求14所述的系统，其特征在于：
16.根据权利要求13所述的系统，其特征在于：
17.根据权利要求16所述的系统，其特征在于，所述多个处理器充当参数服务器，以及进行各自具有所述第一优先级的所述ML任务包括：
18.根据权利要求17所述的系统，其特征在于：
19.根据权利要求18所述的系统，其特征在于，执行所述ML工作负载包括：
20.根据权利要求18所述的系统，其特征在于，执行所述ML工作负载包括：
...【技术特征摘要】
1.一种使用包括耦合到多个处理器的硬件加速器的系统所实施的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多个处理器被包括在所述系统的资源中，以及所述方法包括：
3.根据权利要求2所述的方法，其特征在于，进一步包括：
4.根据权利要求3所述的方法，其特征在于，进一步包括：
5.根据权利要求4所述的方法，其特征在于：
6.根据权利要求3所述的方法，其特征在于：
7.根据权利要求6所述的方法，其特征在于，所述多个处理器充当参数服务器，以及进行各自具有所述第一优先级的所述ml任务包括：
8.根据权利要求7所述的方法，其特征在于：
9.根据权利要求8所述的方法，其特征在于，执行所述ml工作负载包括：
10.根据权利要求8所述的方法，其特征在于，执行所述ml工作负载包括：
11.一种系统，其特征在于，所述系统包括硬件加速器、多个...
【专利技术属性】
技术研发人员：程利群，罗摩·克里希纳·戈文达拉朱，朱海杉，大卫·罗，帕塔萨拉蒂·兰加纳坦，尼桑特·帕蒂，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。