【技术实现步骤摘要】
本申请涉及神经网络模型和存算一体，具体涉及一种模型部署方法、云侧设备、端侧设备及计算机可读存储介质。
技术介绍
1、存算一体是最具潜力的下一代硬件芯片技术之一，能带来硬件算力爆发式增长以及计算能效的快速提升。经过近十年的发展，存算一体技术已逐渐从理论仿真阶段进入实际芯片、系统的原型演示阶段，因此，将深度学习模型部署到存算一体芯片中计算具有十分重要的意义，可以进一步促进人工智能算法的发展和应用。
2、由于不同发展路线的存算一体芯片硬件结构差异大，知识壁垒高，本身也还没有进入大规模商业化阶段，目前人工智能算法在存算一体芯片上的应用都是在出厂时定制化部署，这种方式具有非常大的局限性，在设备使用过程算法出现问题维护困难。此外，目前基于非存算一体芯片的模型在线更新方法是在应用需要的情况下把新的模型整体下发到目标设备上进行替换升级，但是由于存算一体芯片的非理想特性(参数写入存在误差，需要多次写入)，存算一体芯片的模型权重更新是十分费时，而模型更新通常是部分权重的更新或新增，因此现有模型在线更新方法不适用于存算一体芯片。同时，现在深度学习算法发展迅速，模型升级周期会不断缩小，因此急需针对存算一体芯片的在线模型部署和升级方法。
技术实现思路
1、本申请的至少一个实施例提供了一种模型部署方法、云侧设备、端侧设备及计算机可读存储介质，用于解决现有技术中存算一体芯片的模型部署灵活性差的问题。
2、为了解决上述技术问题，本申请是这样实现的：
3、第一方面，本申请实施例提
4、云侧设备根据端侧设备的模型服务参考信息，对目标模型进行拆分，得到拆分后的模型参数和部署控制流指令，其中，所述模型服务参考信息包括以下至少一种信息：端侧设备支持的指令、端侧设备的存储资源信息、端侧设备侧的模型部署信息；
5、所述云侧设备将拆分后的模型参数和部署控制流指令发送至端侧设备，使端侧设备根据所述部署控制流指令将所述拆分后的模型参数部署至所述端侧设备的存算一体芯片上。
6、可选的，所述端侧设备支持的指令包括：所述端侧设备的存算一体芯片支持的指令。
7、可选的，所述端侧设备的存储资源信息包括以下至少一种：所述端侧设备的控制芯片已使用的存储空间、所述控制芯片的空闲存储空间、所述控制芯片支持的数据精度、所述存算一体芯片已使用的存储空间、所述存算一体芯片已使用的存储空间的存储情况、所述存算一体芯片的空闲存储空间、所述存算一体芯片支持的数据精度、目标模型中的目标层在端侧设备侧部署的值。
8、可选的，所述根据端侧设备的模型服务参考信息，对目标模型进行拆分，包括以下至少一项：
9、根据端侧设备的支持的算子，对所述目标模型对应的计算图进行优化，得到优化后的计算图，其中，所述优化包括：将计算图中的多个算子融合为所述端侧设备支持的一个算子；和/或，去除无效算子；
10、将所述计算图中端侧设备不支持的算子，替换为端侧设备支持的一个或多个算子的组合；
11、通过最小化生成图替代，将所述目标模型对应的计算图拆分为不相交的子图，得到至少一个子图；
12、根据所述端侧设备的存储资源信息和所述至少一个子图，生成拆分后的模型参数和部署控制流指令。
13、可选的，在根据端侧设备的模型服务参考信息，对目标模型进行拆分之前，所述方法还包括：
14、云侧设备向端侧设备发送第一服务请求，所述第一服务请求用请求部署、升级或更新目标模型；
15、其中，所述对目标模型进行拆分，包括：
16、云侧设备在接收到端侧设备发送的接受服务请求的响应消息后，根据所述端侧设备的模型服务参考信息，对所述目标模型进行拆分，其中，所述响应消息携带有所述模型服务参考信息。
17、可选的，所述根据所述端侧设备的模型服务参考信息，对所述目标模型进行拆分，包括：
18、确定所述目标模型的待发送模型参数；
19、在所述待发送模型参数的数据量，大于所述端侧设备的控制芯片的空闲存储空间的容量时，按照目标模型的层结构，对所述待发送模型参数进行拆分，得到多个部分模型参数及对应的部署控制流指令，所述部分模型参数包括所述待发送模型参数中部分层的模型参数，且每个所述部分模型参数及对应的部署控制流指令的数据量不超过所述端侧设备的控制芯片的空闲存储空间的容量；
20、其中，在所述第一服务请求用于部署目标模型的情况下，所述待发送模型参数为所述目标模型的全部模型参数；在所述第一服务请求用于升级目标模型的情况下，所述待发送模型参数为所述目标模型中的待升级层的模型参数；在所述第一服务请求用于更新目标模型的情况下，所述待发送模型参数为所述目标模型中的所有层的模型参数或待更新层的模型参数。
21、可选的，所述待升级层包括所述目标模型中新增加的层和与所述新增加的层相关联的层；所述待更新层包括所述目标模型中在云侧设备侧的值和在端侧设备侧的值的偏差大于预设门限的层。
22、可选的，在所述第一服务请求用于更新目标模型的情况下，所述第一服务请求携带有所述目标模型中的目标层的指示信息，所述响应消息携带有目标模型中的目标层在端侧设备侧部署的值；
23、所述方法还包括：
24、云侧设备根据所述目标层在端侧设备侧部署的值以及所述目标层在云侧设备侧的值，确定出在云侧设备侧的值和在端侧设备侧的值的偏差大于预设门限的待更新层。
25、可选的，所述云侧设备将拆分后的模型参数和部署控制流指令发送至端侧设备，还包括：
26、在所述待发送模型参数的数据量，大于所述端侧设备的控制芯片的空闲存储空间的容量的情况下，通过多次传输，将每个所述部分模型参数及对应的部署控制流指令分别发送至端侧设备。
27、第二方面，本申请实施例提供了一种模型部署方法，包括：
28、端侧设备接收云侧设备发送的拆分后的模型参数和部署控制流指令；
29、端侧设备根据所述部署控制流指令，将所述拆分后的模型参数部署至所述端侧设备的存算一体芯片上；
30、其中，所述拆分后的模型参数和部署控制流指令，是云端设备根据端侧设备的模型服务参考信息对目标模型进行拆分后得到的，所述模型服务参考信息包括以下至少一种信息：端侧设备支持的指令、所述端侧设备的存储资源信息、端侧设备侧的模型部署信息。
31、可选的，在接收所述拆分后的模型参数和部署控制流指令之前，所述方法还包括：
32、端侧设备接收云侧设备发送的第一服务请求，所述第一服务请求用请求部署、升级或更新目标模型；
33、端侧设备在接受所述第一服务请求的情况下，向云侧设备发送接受服务请求的响应消息，其中，所述响应消息携带有所述模型服务参考信息。
34、可选的，所述端侧设备支持的指令包括：所述端侧设备的存算一体芯片支持的指令。
35、可选的，所述端侧设备的存储资本文档来自技高网...
【技术保护点】
1.一种模型部署方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，所述根据端侧设备的模型服务参考信息，对目标模型进行拆分，包括以下至少一项：
5.根据权利要求3所述的方法，其特征在于，在根据端侧设备的模型服务参考信息，对目标模型进行拆分之前，所述方法还包括：
6.根据权利要求3所述的方法，其特征在于，所述根据所述端侧设备的模型服务参考信息，对所述目标模型进行拆分，包括：
7.根据权利要求6所述的方法，其特征在于，
8.根据权利要求7所述的方法，其特征在于，
9.根据权利要求6所述的方法，其特征在于，所述云侧设备将拆分后的模型参数和部署控制流指令发送至端侧设备，还包括：
10.一种模型部署方法，其特征在于，包括：
11.根据权利要求10所述的方法，其特征在于，在接收所述拆分后的模型参数和部署控制流指令之前，所述方法还包括：
12.根据权利要求10所
13.根据权利要求10所述的方法，其特征在于，
14.根据权利要求13所述的方法，其特征在于，
15.根据权利要求14所述的方法，其特征在于，
16.根据权利要求14所述的方法，其特征在于，在所述第一服务请求用于更新目标模型的情况下，所述第一服务请求中携带有所述目标模型中的目标层的指示信息，所述方法还包括：
17.根据权利要求14所述的方法，其特征在于，在所述第一服务请求用于更新目标模型的情况下，所述第一服务请求中携带有所述目标模型中的目标层的指示信息，所述方法还包括：
18.一种云侧设备，其特征在于，包括收发机和处理器，其中，
19.一种云侧设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至9任一项所述的方法的步骤。
20.一种端侧设备，其特征在于，包括收发机和处理器，其中，
21.一种端侧设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求10至17任一项所述的方法的步骤。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述的方法的步骤。
...【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，所述根据端侧设备的模型服务参考信息，对目标模型进行拆分，包括以下至少一项：
5.根据权利要求3所述的方法，其特征在于，在根据端侧设备的模型服务参考信息，对目标模型进行拆分之前，所述方法还包括：
6.根据权利要求3所述的方法，其特征在于，所述根据所述端侧设备的模型服务参考信息，对所述目标模型进行拆分，包括：
7.根据权利要求6所述的方法，其特征在于，
8.根据权利要求7所述的方法，其特征在于，
9.根据权利要求6所述的方法，其特征在于，所述云侧设备将拆分后的模型参数和部署控制流指令发送至端侧设备，还包括：
10.一种模型部署方法，其特征在于，包括：
11.根据权利要求10所述的方法，其特征在于，在接收所述拆分后的模型参数和部署控制流指令之前，所述方法还包括：
12.根据权利要求10所述的方法，其特征在于，
13.根据权利要求10所述的方法，其特征在于，
14.根据权利要求13所述的方法...
【专利技术属性】
技术研发人员：祝淑琼，潘卫平，张童，高若飞，李昊，姚燕玲，
申请(专利权)人：中国移动通信有限公司研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。