System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于深度学习模型的量化方法及相关产品技术_技高网

基于深度学习模型的量化方法及相关产品技术

技术编号:41259138 阅读:10 留言:0更新日期:2024-05-11 09:18
本申请实施例提供一种基于深度学习模型的量化方法及相关产品,该基于深度学习模型的量化方法包括:确定深度学习模型中的M个权重层,M为大于或等于2的整数;基于M个权重层分别构建子模型,得到M个子模型,M个子模型中任意两个子模型的量化结果相互独立;确定针对第一子模型的初始模型量化参数,对初始模型量化参数进行调整,得到调整后的模型量化参数,第一子模型是M个子模型中的任一个;基于调整后的模型量化参数对第一子模型进行量化。本申请实施例可以降低深度学习模型的量化所需的时长。

【技术实现步骤摘要】

本申请涉及深度学习,具体涉及一种基于深度学习模型的量化方法及相关产品


技术介绍

1、目前,针对深度学习模型的量化一般采用全局量化。全局量化时,由于模型的前面的层的量化结果的误差会累积并影响到后面的层,模型的量化的顺序必须按照模型中所有需要量化的层在模型图中的拓扑顺序来做,导致模型的量化需要较长的时间。


技术实现思路

1、本申请实施例提供一种基于深度学习模型的量化方法及相关产品,可以降低深度学习模型的量化所需的时长。

2、本申请实施例的第一方面提供了一种基于深度学习模型的量化方法,包括:

3、确定所述深度学习模型中的m个权重层,m为大于或等于2的整数;

4、基于所述m个权重层分别构建子模型,得到m个子模型,所述m个子模型中任意两个子模型的量化结果相互独立;

5、确定针对第一子模型的初始模型量化参数,对所述初始模型量化参数进行调整,得到调整后的模型量化参数,所述第一子模型是所述m个子模型中的任一个;

6、基于所述调整后的模型量化参数对所述第一子模型进行量化。

7、可选的,所述权重层包括卷积层或全连接层。

8、可选的,所述第一子模型基于第一权重层构建得到,所述第一权重层是所述m个权重层中的一个;所述第一子模型的输入为所述第一权重层的输入,所述第一子模型的输出为所述第一权重层的输出。

9、本申请实施例的第二方面提供了一种基于深度学习模型的量化装置,包括:

10、确定单元,用于确定所述深度学习模型中的m个权重层,m为大于或等于2的整数;

11、构建单元,用于基于所述m个权重层分别构建子模型,得到m个子模型,所述m个子模型中任意两个子模型的量化结果相互独立;

12、所述确定单元,还用于确定针对第一子模型的初始模型量化参数;

13、调整单元,用于对所述初始模型量化参数进行调整,得到调整后的模型量化参数,所述第一子模型是所述m个子模型中的任一个;

14、量化单元,用于基于所述调整后的模型量化参数对所述第一子模型进行量化。

15、本申请实施例的第三方面提供了一种终端设备,包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例第一方面中的步骤指令。

16、本申请实施例的第四方面提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面中的步骤指令。

17、本申请实施例的第五方面提供了一种计算机程序产品,其中,上述计算机程序产品包括计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面中的步骤指令。

18、本申请实施例的基于深度学习模型的量化方法,确定所述深度学习模型中的m个权重层,m为大于或等于2的整数;基于所述m个权重层分别构建子模型,得到m个子模型,所述m个子模型中任意两个子模型的量化结果相互独立;确定针对第一子模型的初始模型量化参数,对所述初始模型量化参数进行调整,得到调整后的模型量化参数,所述第一子模型是所述m个子模型中的任一个;基于所述调整后的模型量化参数对所述第一子模型进行量化。

19、本申请实施例中,由于m个子模型中任意两个子模型的量化结果相互独立,可以针对m个子模型中的每个子模型进行单独量化,与全局量化相比,可以降低整个深度学习模型的量化所需的时长。

本文档来自技高网...

【技术保护点】

1.一种基于深度学习模型的量化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定针对第一子模型的初始模型量化参数,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一子模型的初始模型量化参数包括:初始输入量化参数和初始权重量化参数;所述对所述初始模型量化参数进行调整,得到调整后的模型量化参数,包括:

4.根据权利要求2所述的方法,其特征在于,所述第一子模型的初始模型量化参数包括:初始输入量化参数和初始权重量化参数;所述对所述初始模型量化参数进行调整,得到调整后的模型量化参数,包括:

5.根据权利要求3或4所述的方法,其特征在于,所述固定所述初始输入量化参数,在第一预设范围内搜索目标权重量化参数,包括:

6.根据权利要求3或4所述的方法,其特征在于,所述固定所述初始权重量化参数,在第二预设范围内搜索目标输入量化参数,包括:

7.根据权利要求1~4任一项所述的方法,其特征在于,所述方法还包括:

8.一种基于深度学习模型的量化装置,其特征在于,包括:

9.一种终端设备,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1~7任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1~7任一项所述的方法。

...

【技术特征摘要】

1.一种基于深度学习模型的量化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定针对第一子模型的初始模型量化参数,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一子模型的初始模型量化参数包括:初始输入量化参数和初始权重量化参数;所述对所述初始模型量化参数进行调整,得到调整后的模型量化参数,包括:

4.根据权利要求2所述的方法,其特征在于,所述第一子模型的初始模型量化参数包括:初始输入量化参数和初始权重量化参数;所述对所述初始模型量化参数进行调整,得到调整后的模型量化参数,包括:

5.根据权利要求3或4所述的方法,其特征在于,所述固定所述初始输入量化参数,在第一预设范围内搜索目标权重量化参数,包括...

【专利技术属性】
技术研发人员:董旭炯
申请(专利权)人:哲库科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1