一种加速AI模型部署的方法和设备技术

本发明专利技术涉及一种加速AI模型部署的方法和设备，应用于包括多个节点的P2P网络中，该方法包括：在待部署的机器上设置基于P2P算法的传输工具；将机器作为一个新的节点加入到P2P网络中；将待部署的AI模型的数据进行分片，以将数据分为多个数据片；基于Chord算法作分布式协调获取P2P中各节点和各数据片；确定每个数据片的特征码，其中，不同的数据片对应不同的特征码；在Chord环上存储特征码，以基于传输工具通过Chord环上的特征码完成AI模型在机器上的部署。本方案，基于P2P网络以及传输技术，对网络连接里面的多条链路的带宽充分利用，相比传统方式，带宽利用率更高，传输效率更高，传输时间更短，有效提高了AI模型的部署效率。有效提高了AI模型的部署效率。有效提高了AI模型的部署效率。

【技术实现步骤摘要】
一种加速AI模型部署的方法和设备


[0001]本专利技术涉及AI模型部署领域，具体涉及一种加速AI模型部署的方法和设备。

技术介绍

[0002]人工智能(Artificial Intelligence)，英文缩写为AI。是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
[0003]在部署AI(Artificial Intelligence，人工智能)模型时，传统的方法一般是使用scp(Secure Copy Protocol，是在Linux系统下进行远程传输文件的工具，用于进行服务器间的数据传输)或者rsync(remote sync，是类unix系统下的数据镜像备份工具)进行批量部署，AI模型越大的情况，由于需要逐个机器分别部署，导致需要每个机器都传输全部的AI模型的数据，而数据的传输需要依次进行，例如传递一个AI模型到一台机器的时间是T，传输n台机器的时间那就是n*T；这对网络的带宽浪费越严重。而目前随着AI模型的不断发展，AI模型的数据量越来越大，导致部署的效率低下。
[0004]由此，目前需要有一种更好的方案来解决现有技术中的问题

技术实现思路

[0005]本专利技术提供一种加速AI模型部署的方法和设备，能够解决现有技术中不是效率低下的技术问题。
[0006]本专利技术解决上述技术问题的技术方案如下：
[0007]本专利技术实施例提出了一种加速AI模型部署的方法，应用于包括多个节点的P2P网络中，该方法包括：
[0008]在待部署的机器上设置基于P2P算法的传输工具；
[0009]将所述机器作为一个新的节点加入到P2P网络中；
[0010]将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
[0011]基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；
[0012]确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
[0013]在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
[0014]在一个具体的实施例中，所述将所述机器作为一个新的节点加入到P2P网络中，包括：
[0015]对所述机器进行鉴权；
[0016]若鉴权通过，则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
[0017]在一个具体的实施例中，还包括：
[0018]若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。
[0019]在一个具体的实施例中，所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。
[0020]在一个具体的实施例中，所述数据片的大小为240KB
‑
280KB之间的任意值。
[0021]在一个具体的实施例中，所述特征码为hash code。
[0022]在一个具体的实施例中，完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定：
[0023][0024]D
p2p
是基于P2P算法完成所述AI模型在所述机器上的部署的时间；
[0025]F是需要传输的数据大小；n是需要传输的份数；u
s
是所述节点作为服务器上传的速率；d
min
是所述节点作为客户端下载的速率；u
i
是P2P的传输速率。
[0026]本专利技术实施例还提出了一种加速AI模型部署的设备，应用于包括多个节点的P2P网络中，该设备包括：
[0027]设置模块，用于在待部署的机器上设置基于P2P算法的传输工具；
[0028]加入模块，用于将所述机器作为一个新的节点加入到P2P网络中；
[0029]分片模块，用于将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
[0030]获取模块，用于基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；
[0031]确定模块，用于确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
[0032]部署模块，用于在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
[0033]在一个具体的实施例中，所述加入模块，包括：
[0034]鉴权模块，用于对所述机器进行鉴权；
[0035]处理模块，用于当鉴权通过时，通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
[0036]在一个具体的实施例中，还包括：
[0037]提示模块，用于若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。
[0038]本专利技术的有益效果是：
[0039]本方案，基于P2P网络以及传输技术，对网络连接里面的多条链路的带宽充分利用，相比传统方式，带宽利用率更高，传输效率更高，传输时间更短，有效提高了AI模型的部署效率。
附图说明
[0040]图1为本专利技术实施例提供的一种加速AI模型部署的方法的流程示意图；
[0041]图2为本专利技术实施例提供的一种加速AI模型部署的方法中P2P网络的结构示意图；
[0042]图3为本专利技术实施例提供的一种加速AI模型部署的方法中Chord的环的示意图；
[0043]图4为本专利技术实施例提供的一种加速AI模型部署的方法与现有方式进行部署的时间对比示意图；
[0044]图5为本专利技术实施例提供的一种加速AI模型部署的设备的结构示意图。
具体实施方式
[0045]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0046]本专利技术实施例提供的一种加速AI模型部署的方法，应用于包括多个节点的P2P网络中，该方法包括以下步骤：
[0047]步骤101、在待部署的机器上设置基于P2P算法的传输工具；
[0048]具体的，机器可以为任何可以部署AI模型的机器，例如计算机，平板电脑，智能手机，般现有的服务器等带有计算能力的终端，首先在机器上设置上用于实现P2P(Peer to Peer，对等网络)算法的传输工具。
[0049]具体的对等网络是一种网络结构的思想。它与目前网络中占据主导地位的客户端/服务器(Client/Server)结构(也就是WWW所采用的结构方式)的一个本质区别是，整个网络结构中不存在中心节点(或中心服务器)。在P2P结构中，每一个节点(peer)大都同时具有信息消费者、信息提供者和信息通讯等三方面的功能。从计算模式上来说，P2P打破了传统的Client/Server(C/本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种加速AI模型部署的方法，其特征在于，应用于包括多个节点的P2P网络中，该方法包括：在待部署的机器上设置基于P2P算法的传输工具；将所述机器作为一个新的节点加入到P2P网络中；将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。2.根据权利要求1所述的方法，其特征在于，所述将所述机器作为一个新的节点加入到P2P网络中，包括：对所述机器进行鉴权；若鉴权通过，则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。3.根据权利要求2所述的方法，其特征在于，还包括：若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。4.如权利要求2所述的方法，其特征在于，所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。5.如权利要求1所述的方法，其特征在于，所述数据片的大小为240KB
‑
280KB之间的任意值。6.如权利要求1所述的方法，其特征在于，所述特征码为hash code。7.如权利要求1所述的方法，其特征在于，完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定：的时间基于以下公...

【专利技术属性】
技术研发人员：郭乃洪，黄瑞祺，杨亚楠，陈吉胜，
申请(专利权)人：厦门云知芯智能科技有限公司，
类型：发明
国别省市：