模型部署方法、系统、电子设备以及计算机可读存储介质技术方案

本申请公开了一种模型部署方法、系统、电子设备以及计算机可读存储介质，涉及大模型技术、模型部署领域。其中，该方法包括：获取待部署模型的模型文件；将模型文件分发至多个存储设备，其中，不同存储设备在地理位置上部署在不同地域内；将存储设备挂载至多个服务器集群中与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群。本申请解决了相关技术中模型跨地域部署的效率较低的技术问题。效率较低的技术问题。效率较低的技术问题。

【技术实现步骤摘要】
模型部署方法、系统、电子设备以及计算机可读存储介质


[0001]本申请涉及大模型技术、模型部署领域，具体而言，涉及一种模型部署方法、系统、电子设备以及计算机可读存储介质。

技术介绍

[0002]目前的大模型会存储大量的参数和计算图结构，导致模型的模型文件非常大，在启动服务时加载模型需要花费很长时间，并且受限于地域、网络、硬件等因素，在涉及到跨地域文件传输的场景时会进一步延长加载时间，从而导致模型的部署效率较低。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种模型部署方法、系统、电子设备以及计算机可读存储介质，以至少解决相关技术中模型跨地域部署的效率较低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种模型部署方法，包括：获取待部署模型的模型文件；将模型文件分发至多个存储设备，其中，不同存储设备在地理位置上部署在不同地域内；将存储设备挂载至多个服务器集群中与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群。
[0006]根据本申请实施例的另一方面，还提供了一种模型部署方法，包括：响应于接收到待部署模型的模型文件，将模型文件存储至中心仓库；响应于接收到模型分发请求，将模型文件分发至多个存储设备，其中，不同存储设备在地理位置上部署在不同地域内，不同地域内还部署有不同服务器集群；响应于接收到服务器部署请求，基于服务器部署请求，将存储设备挂载至多个服务器集群中与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群。
[0007]根据本申请实施例的另一方面，还提供了一种模型部署方法，包括：通过调用第一接口获取待部署模型的模型文件，其中，第一接口包括第一参数，第一参数的参数值为模型文件；将模型文件分发至多个存储设备，其中，不同存储设备在地理位置上部署在不同地域内；在部署待部署模型的推理服务时，将存储设备挂载至多个服务器集群中与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群，得到待部署模型的部署结果；通过调用第二接口输出部署结果，其中，第二接口包括第二参数，第二参数的参数值为部署结果。
[0008]根据本申请实施例的另一方面，还提供了一种模型部署系统，包括：多个服务器集群，不同服务器集群在地理位置上部署在不同地域内；多个存储设备，不同存储设备在地理位置上部署在不同地域内；控制设备，与存储设备和服务器集群连接，用于将待部署模型的模型文件分发至存储设备，并在部署待部署模型的推理服务时，将存储设备挂载至与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群。
[0009]根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可
执行程序；处理器，用于运行程序，其中，程序运行时执行上述实施例中任意一项的方法。
[0010]根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项的方法。
[0011]在本申请实施例中，可以获取待部署模型的模型文件；将模型文件分发至多个存储设备，其中，不同存储设备在地理位置上部署在不同地域内；将存储设备挂载至多个服务器集群中与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群，实现了提高模型在不同地域上的处理效率；容易注意到的是，可以将模型文件分发至部署在不同地域内的存储设备上，以便利用同一地域内存储设备和服务器集群之间的网络实现存储设备和服务器集群之间的高速互联，消除跨地域文件的传输，从而可以缩短模型文件的加载时间，从而提高模型在不同地域上的处理效率，进而解决了相关技术中模型跨地域部署的效率较低的技术问题。
[0012]容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
[0013]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0014]图1是根据本申请实施例的一种模型部署方法的虚拟现实设备的硬件环境的示意图；
[0015]图2是根据本申请实施例1的模型部署方法的流程图；
[0016]图3是根据本申请实施例的一种模型部署方法的结构图；
[0017]图4是根据本申请实施例的另一种模型部署方法的流程图；
[0018]图5是根据本申请实施例的另一种模型部署方法的流程图；
[0019]图6是根据本申请实施例2的一种模型部署方法的流程图；
[0020]图7是根据本申请实施例3的一种模型部署方法的流程图；
[0021]图8是根据本申请实施例4的一种模型部署装置的示意图；
[0022]图9是根据本申请实施例5的一种模型部署装置的示意图；
[0023]图10是根据本申请实施例6的一种模型部署装置的示意图；
[0024]图11是根据本申请实施例7的一种模型部署系统的示意图；
[0025]图12是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
[0026]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0027]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0028]本申请提供的技术方案主要采用大模型技术实现，此处的大模型是指具有大规模模型参数的深度学习模型，通常可以包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的模型参数。大模型又可以称为基石模型/基础模型(Foundation Model)，通过大规模无标注的语料进行大模型的预训练，产出亿级以上参数的预训练模型，这种模型能适应广泛的下游任务，模型具有较好的泛化能力，例如大规模语言模型(Large Language Model,LLM)、多模态预训练模型(multi
‑
modal pre
‑
...

【技术保护点】

【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：获取待部署模型的模型文件；将所述模型文件分发至多个存储设备，其中，不同所述存储设备在地理位置上部署在不同地域内；在部署所述待部署模型的推理服务时，将所述存储设备挂载至多个服务器集群中与所述存储设备部署在同一个地域的目标服务器集群上，以使所述待部署模型部署至多个所述服务器集群。2.根据权利要求1所述的方法，其特征在于，所述存储设备包括：网络附接存储，其中，将所述模型文件分发至多个存储设备，包括：通过公共网络将所述模型文件发送至多个所述网络附接存储，并存储在多个所述网络附接存储中。3.根据权利要求1所述的方法，其特征在于，在部署所述待部署模型的推理服务时，将所述存储设备挂载至多个服务器集群中与所述存储设备部署在同一个地域的目标服务器集群上，包括：基于所述存储设备部署的目标地域，确定所述存储设备对应的目标虚拟专有网络；获取所述目标虚拟专有网络对应的服务器集群，得到所述目标服务器集群，其中，不同所述服务器集群对应不同虚拟专有网络；在部署所述待部署模型的推理服务时，将所述存储设备挂载至所述目标服务器集群中的服务器上。4.根据权利要求1所述的方法，其特征在于，在将所述存储设备挂载至多个服务器集群中与所述存储设备部署在同一个地域的目标服务器集群上之后，所述方法还包括：构建所述目标服务器集群的弹性调度集群；基于所述弹性调度集群，确定部署所述待部署模型所需的计算资源。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将预设资源分发至多个所述服务器集群；将所述模型文件分发至多个存储设备，包括：在所述预设资源分发完毕的情况下，将所述模型文件分发至多个所述存储设备。6.根据权利要求1所述的方法，其特征在于，获取待部署模型的模型文件，包括：从中心仓库中获取所述待部署模型的模型文件，其中，所述模型文件预先上传至所述中心仓库。7.根据权利要求1所述的方法，其特征在于，所述待部署模型为大语言模型。8.一种模型部署方法，其特征在于，包括：响应于接收到待部署模型的模型文件，将所述模型文件存储至中心仓库；响应于接收到模型分发请求，将所述中心仓库存储的所述模型文件分发至多个...

【专利技术属性】
技术研发人员：张欣，王凯，周躜，蔡寅翔，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：