【技术实现步骤摘要】
本申请涉计算机，尤其涉及一种部署模型的方法及装置。
技术介绍
1、目前，通常会因为内存或功耗等方面的限制，导致计算机的计算能力出现瓶颈。例如要在计算机上部署人工智能(artificial intelligence，ai)模型，则可能因为计算机的算力不足而无法部署。因此，可以考虑通过混合结构来解决算力的瓶颈问题。例如，采用不同类型的指令集或不同的体系架构的各种计算单元(例如中央处理器(centralprocessing unit，cpu)、神经网络处理单元(neural network processing unit，npu)或图形处理器(graphics processing unit，gpu)中的一种或多种)可以组合成一个混合系统，该混合系统也可称为异构计算系统。该混合系统由于包括了更多的计算资源，从而能够在一定程度上解决算力瓶颈的问题。
2、在异构计算系统下，提供了一种算力配置平台，该平台可以为ai模型配置算力。例如用户期望在异构计算系统下部署ai模型，则该用户可以通过该平台申请计算资源，以部署该ai模型。
3、然而，如果用户申请的计算资源不足以支持该ai模型的部署，则在部署该ai模型时，会出现报错提示，此时该ai模型无法部署。可见，目前部署模型的成功率较低。
技术实现思路
1、本申请实施例提供一种部署模型的方法及装置，用于提高模型的部署成功率。
2、第一方面，提供一种部署模型的方法，该方法可由网络设备执行，或由芯片系统执行，该芯片系统能够实
3、在本申请实施例中，预申请的计算资源例如为用户通过安装于终端设备上的算力配置平台从异构计算系统中申请的计算资源。如果预申请的计算资源无法支持部署n个ai模型，或未获得预申请的计算资源，网络设备可以再向第一资源集合申请计算资源以部署n个ai模型，从而提高了模型部署的成功率和效率。
4、在一种可选的实施方式中，所述n个ai模型中的任意两个ai模型之间具有第一关联关系或不具有第一关联关系，其中，具有所述第一关联关系的ai模型能够部署到同一个计算资源上，不具有所述第一关联关系的ai模型不能部署到同一个计算资源上。
5、在本申请实施例中，当待部署的ai模型存在多个时，则网络设备可以确定任意两个ai模型之间是否具有第一关联关系，通过确定不同的ai模型是否具有第一关联关系，就能确定不同的ai模型是否能够部署在同一计算资源上，有助于据此部署ai模型，以减小ai模型部署冲突的概率。
6、在一种可选的实施方式中，确定预申请的计算资源不支持部署n个ai模型，包括：如果所述预申请的计算资源中不存在与所述n个ai模型对应的计算资源的类型相匹配的计算资源，确定所述预申请的计算资源无法支持部署所述n个ai模型；或者，如果第一数量小于第二数量，确定所述预申请的计算资源无法支持部署所述n个ai模型，其中，所述第一数量为所述预申请的计算资源中与所述n个ai模型对应的计算资源的类型相匹配的计算资源所提供的子资源的数量，所述第二数量为用于部署所述n个ai模型的子资源的数量；或者，如果所述预申请的计算资源中的与所述n个ai模型对应的计算资源的类型相匹配的计算资源上，已部署第一ai模型，且所述第一ai模型与所述n个ai模型中的一个或多个ai模型之间不具有第一关联关系，确定所述预申请的计算资源无法支持部署所述n个ai模型，其中，具有所述第一关联关系的ai模型能够部署到同一个计算资源上。
7、在本申请实施例中，网络设备可以基于多种方式确定预申请的计算资源是否支持部署n个ai模型，较为灵活。如果预申请的计算资源不支持部署n个ai模型，网络设备可以及时请求新的计算资源，以提高ai模型的部署效率。
8、在一种可选的实施方式中，所述方法还包括：如果所述预申请的计算资源支持部署所述n个ai模型，在所述预申请的计算资源上部署所述ai模型。如果预申请的计算资源支持部署n个ai模型，则可以在预申请的计算资源上部署ai模型，而不必再重新申请计算资源。
9、在一种可选的实施方式中，所述方法还包括：从所述预申请的计算资源中，确定与所述n个ai模型对应的计算资源的类型相匹配的一个或多个计算资源；从所述一个或多个计算资源中，确定用于部署所述n个ai模型的第一计算资源。网络设备可以从预申请的计算资源中选择与n个ai模型对应的计算资源的类型匹配的一个或多个计算资源，使得n个ai模型能够合理部署在对应类型的计算资源上。
10、在一种可选的实施方式中，所述第一计算资源为满足第一筛选条件的计算资源，所述第一筛选条件包括未部署与所述n个ai模型不具有第一关联关系的ai模型，和/或所提供的子资源的数量大于或等于用于部署所述n个ai模型的子资源的数量。一个ai模型要部署在相应的计算资源上，则该计算资源上不能部署与该ai模型不具有第一关联关系的ai模型，和/或该计算资源所提供的子资源的数量应大于或等于用于部署该ai模型的子资源的数量，这样才能使得该ai模型在该计算资源上部署成功。网络设备将这些条件作为筛选计算资源的条件，能够提高所确定的计算资源的合理性。
11、第二方面，提供一种通信装置。该通信装置可以为上述网络设备，或为包括该网络设备的较大设备，或为该网络设备中的功能模块，例如基带装置或芯片系统等。该通信装置可包括用于执行第一方面所述的方法的相应的手段(means)或模块。例如，所述通信装置包括处理单元(有时也称为处理模块)和收发单元(有时也称为收发模块)。收发单元能够实现发送功能和接收功能，在收发单元实现发送功能时，可称为发送单元(有时也称为发送模块)，在收发单元实现接收功能时，可称为接收单元(有时也称为接收模块)。发送单元和接收单元可以是同一个功能模块，该功能模块称为收发单元，该功能模块能实现发送功能和接收功能；或者，发送单元和接收单元可以是不同的功能模块，收发单元是对这些功能模块的统称。
12、其中，所述处理单元，用于确定预申请的计算资源不支持部署n个人工智能ai模型，n为正整数；所述处理单元，还用于向第一资源集合申请计算资源，以通过申请的计算资源部署所述n个ai模型，或通过申请的计算资源以及所述预申请的计算资源部署所述n个ai模型。
13、在一种可选的实现方式中，所述通信装置还包括存储单元，所述处理单元能够与存储单元耦合，并执行存储单元中的程序或指令，使能所述通信装置执行上述第一方面所述的网络设备的功能。
14、第三方面，提供一种通信装置，该通信装置可以为网络设备，或者为用于网络设备中的芯片或芯片系统。该通信装置包括通信接口以及处理器，可选的，还包括存储器。其中，该存储器用于存储计算机程序，处理器与存储器、通信接口耦合，当处本文档来自技高网...
【技术保护点】
1.一种部署模型的方法，其特征在于，应用于网络设备，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求1或2所述的方法，其特征在于，确定预申请的计算资源不支持部署N个AI模型，包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求4或5所述的方法，其特征在于，所述第一计算资源为满足第一筛选条件的计算资源，所述第一筛选条件包括未部署与所述N个AI模型不具有第一关联关系的AI模型，和/或所提供的子资源的数量大于或等于用于部署所述N个AI模型的子资源的数量。
7.一种通信装置，其特征在于，包括：
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1～6任一项所述的方法。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，当所述计算机程序在计算机上运行时，使得
10.一种芯片系统，其特征在于，所述芯片系统包括：
...【技术特征摘要】
1.一种部署模型的方法，其特征在于，应用于网络设备，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求1或2所述的方法，其特征在于，确定预申请的计算资源不支持部署n个ai模型，包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求4或5所述的方法，其特征在于，所述第一计算资源为满足第一筛选条件的计算资源，所述第一筛选条件包括未部署与所述n个ai模型不具有第一关联关系的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。