System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种模型加载方法、装置、设备、介质及程序产品制造方法及图纸_技高网

一种模型加载方法、装置、设备、介质及程序产品制造方法及图纸

技术编号:43058174 阅读:6 留言:0更新日期:2024-10-22 14:38
本发明专利技术提供了一种模型加载方法、装置、设备、介质及程序产品,涉及存算一体设备技术领域。其中,所述模型加载方法包括:在易失性存算一体设备启动的情况下,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,所述历史加载信息是所述非易失性存算一体设备在所述神经网络模型每次加载至所述易失性存算一体设备的情况下获得的;将所述权重数据加载至所述易失性存算一体设备。本发明专利技术的方案,能够根据非易失性存算一体设备存储的历史加载信息实现模型自动化加载,提升模型加载效率。

【技术实现步骤摘要】

本专利技术涉及存算一体设备,特别是指一种模型加载方法、装置、设备、介质及程序产品


技术介绍

1、存算一体技术能够有效克服冯诺依曼架构的算力不足、存访存效率低以及功耗高等问题,目前主流的存算一体技术是基于sram(static random access memory,静态随机存储器)实现大规模并行计算应用,例如在人工智能模型的推理场景。在推理之前,模型的权重数据需要预先加载至sram中。但是,sram属于易失性存算一体设备,断电重新启动后无法有效保存数据,因此每一次重新启动,都需要人工手动重新加载权重数据,上层应用才能进行后续计算操作,存在模型加载效率低的问题。


技术实现思路

1、本专利技术技术方案的目的是提供一种模型加载方法、装置、设备、介质及程序产品,用于解决现有技术中易失性存算一体设备断电重启时模型加载效率低的问题。

2、为达到上述目的,本专利技术是这样实现的:

3、第一方面,本专利技术实施例提供一种模型加载方法,包括:

4、在易失性存算一体设备启动的情况下,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,所述历史加载信息是所述非易失性存算一体设备在所述神经网络模型每次加载至所述易失性存算一体设备的情况下获得的;

5、将所述权重数据加载至所述易失性存算一体设备。

6、可选地,所述的模型加载方法,其中,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,包括:

7、对所述历史加载信息进行解析,获取第一标记位;

8、根据所述第一标记位,确定所述权重数据的保存位置;

9、若所述保存位置为所述非易失性存算一体设备,则根据所述历史加载信息中的权重路径信息,获取所述权重数据;

10、若所述保存位置为云端设备,则通过向所述云端设备发送权重获取请求,获取所述权重数据,所述权重获取请求携带所述历史加载信息中的模型参数,用于指示所述云端设备根据所述模型参数发送对应的所述权重数据。

11、可选地,所述的模型加载方法,其中,将所述权重数据加载至所述易失性存算一体设备,包括:

12、将所述权重数据通过电路转换,按照所述历史加载信息中的权重编排信息加载至所述易失性存算一体设备的对应阵列单元,所述权重编排信息是所述权重数据映射在所述易失性存算一体设备的阵列单元上的编排信息。

13、可选地,所述的模型加载方法,其中,还包括:

14、根据所述权重数据的加载位置校验结果和加载准确度校验结果,对所述权重数据加载至所述易失性存算一体设备的结果进行评估。

15、可选地,所述的模型加载方法,其中,还包括:

16、将所述权重数据的加载位置和所述历史加载信息中的权重编排信息进行比对,获取所述加载位置校验结果。

17、可选地,所述的模型加载方法,其中,还包括:

18、获取所述易失性存算一体设备的阵列单元的电压电平数据;

19、将所述电压电平数据通过电路转换获取待校验权重数据;

20、根据所述待校验权重数据与所述神经网络模型的权重数据,获取所述加载准确度校验结果。

21、可选地,所述的模型加载方法,其中,还包括:

22、对所述历史加载信息中的以下至少一项进行更新:

23、模型标识码;

24、模型名称;

25、模型版本号;

26、模型校验信息,用于指示所述权重数据的加载准确度结果;

27、第二标记位,用于指示所述权重数据已完成准确度校验;

28、模型加载次数。

29、可选地,所述的模型加载方法,其中,还包括:

30、将更新后的历史加载信息保存至所述非易失性存算一体设备。

31、第二方面,本专利技术实施例还提供一种模型加载设备,包括处理器,所述处理器用于:

32、在易失性存算一体设备启动的情况下,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,所述历史加载信息是所述非易失性存算一体设备在所述神经网络模型每次加载至所述易失性存算一体设备的情况下获得的;

33、将所述权重数据加载至所述易失性存算一体设备。

34、第三方面,本专利技术实施例还提供一种模型加载装置,包括:

35、第一获取模块,用于在易失性存算一体设备启动的情况下,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,所述历史加载信息是所述非易失性存算一体设备在所述神经网络模型每次加载至所述易失性存算一体设备的情况下获得的;

36、加载模块,用于将所述权重数据加载至所述易失性存算一体设备。

37、第四方面,本专利技术实施例还提供一种模型加载设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如第一方面所述的模型加载方法。

38、第五方面,本专利技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如第一方面所述的模型加载方法。

39、第六方面,本专利技术实施例还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如第一方面所述的模型加载方法。

40、本专利技术的上述技术方案的有益效果如下:

41、采用本专利技术实施例所述模型加载方法,在易失性存算一体设备启动的情况下,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,所述历史加载信息是所述非易失性存算一体设备在所述神经网络模型每次加载至所述易失性存算一体设备的情况下获得的;将所述权重数据加载至所述易失性存算一体设备,如此,能够根据历史加载信息完成权重数据的自动加载,从而将模型加载与应用程序操作解耦,避免用户因易失性存算一体设备断电而频繁执行手动加载操作,实现自动化加载,有效提升模型加载效率。

本文档来自技高网...

【技术保护点】

1.一种模型加载方法,其特征在于,包括:

2.根据权利要求1所述的模型加载方法,其特征在于,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,包括:

3.根据权利要求1所述的模型加载方法,其特征在于,将所述权重数据加载至所述易失性存算一体设备,包括:

4.根据权利要求1所述的模型加载方法,其特征在于,还包括:

5.根据权利要求4所述的模型加载方法,其特征在于,还包括:

6.根据权利要求4所述的模型加载方法,其特征在于,还包括:

7.根据权利要求1所述的模型加载方法,其特征在于,还包括:

8.根据权利要求7所述的模型加载方法,其特征在于,还包括:

9.一种模型加载设备,其特征在于,包括处理器,所述处理器用于:

10.一种模型加载装置,其特征在于,包括:

11.一种模型加载设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至8中任一项所述的模型加载方法。

12.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如权利要求1至8中任一项所述的模型加载方法。

13.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至8中任一项所述的模型加载方法。

...

【技术特征摘要】

1.一种模型加载方法,其特征在于,包括:

2.根据权利要求1所述的模型加载方法,其特征在于,根据非易失性存算一体设备存储的神经网络模型的历史加载信息,获取所述神经网络模型的权重数据,包括:

3.根据权利要求1所述的模型加载方法,其特征在于,将所述权重数据加载至所述易失性存算一体设备,包括:

4.根据权利要求1所述的模型加载方法,其特征在于,还包括:

5.根据权利要求4所述的模型加载方法,其特征在于,还包括:

6.根据权利要求4所述的模型加载方法,其特征在于,还包括:

7.根据权利要求1所述的模型加载方法,其特征在于,还包括:

8.根据权利要求7所述的模型加载...

【专利技术属性】
技术研发人员:李昊潘卫平张童祝淑琼姚燕玲高若飞
申请(专利权)人:中国移动通信有限公司研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1