【技术实现步骤摘要】
【国外来华专利技术】用于神经网络参数的表示的改进的概念
[0001]根据本专利技术的实施例涉及使用用于神经网络参数的表示的改进概念来编码或解码神经网络参数的装置和方法。可以实现在推理和/或存储比特率优化方面的改进。
技术介绍
[0002]在其最基本的形式中,神经网络构成仿射变换的链,其后是元素方式的非线性函数。它们可以表示为有向非循环图,如图1所示。每个节点需要特定值,该特定值通过与边的相应权重值相乘而被前向传播到下一节点。然后,简单地聚合所有输入值。
[0003]图1示出了前馈神经网络的图形表示的示例。具体地,该2层神经网络是将4维输入向量映射到实线的非线性函数。
[0004]在数学上,图1的神经网络将以如下方式计算输出:
[0005]输出=L2(L1(输入))
[0006]其中
[0007]L
i
(X)=N
i
(B
i
(X))
[0008]并且其中B
i
是层i的仿射变换,并且其中N
i
是层i的某个非线性函数。
[0009]偏置层
[0010]在所谓的“偏置层”的情况下,B
i
是与层i相关联的权重参数(边缘权重)W
i
与层i的输入X
i
的矩阵乘法,伴随与偏差b
i
的求和:
[0011]B
i
(X)=W
i
*X
i
+b
i
[0012]W ...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于生成NN表示(110)的装置(100),所述装置(100)被配置为通过确定(140)用于NN参数(120)的量化值(152)和量化参数(142)将所述NN参数(120)量化到经量化值(130),以使从所述量化参数(142)基于由所述量化参数(142)得出的被除数与由精度参数(145)得出的除数之间的除法的余数,可得出乘数(144),以及基于所述除法的商的舍入可得出位移位数(146),以使所述NN参数(120)的所述经量化值(130)对应于所述量化值(152)和取决于所述乘数(144)的因子(148)之间的乘积,所述乘积被位移多个位,所述多个位取决于所述位移位数(146)。2.根据权利要求1所述的装置(100),还被配置为将所述精度参数(145)编码到所述NN表示(110)。3.根据权利要求1或权利要求2所述的装置(100),其中所述NN参数(120)是以下中的一个:用于对神经元对(10)之间的神经元间激活前馈(12)进行加权的权重参数,用于参数化神经网络层的仿射变换的批标准化参数,以及用于偏置预定神经网络神经元(10)的入站神经元间激活前馈(12)的总和的偏置。4.根据前述权利要求中任一项所述的装置(100),其中所述NN参数(120)根据NN(20)的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN(20),并且对于所述多个(122)神经元间激活前馈中的每个,相应的NN参数(120)包括在所述NN表示(110)中,其中所述装置(100)被配置为针对所述多个(122)神经元间激活前馈中的每个,通过确定与所述相应的神经元间激活前馈(12)相关联的关联量化参数(142)和与所述相应的神经元间激活前馈(12)相关联的关联量化值(152)来将对应的NN参数(120)量化到对应的经量化值(130),以使从所述关联量化参数(142),基于由所述关联量化参数(142)得出的被除数和由与所述相应的神经元间激活前馈(12)相关联的关联精度参数(145)得出的除数之间的除法的余数,可得出与所述相应的神经元间激活前馈(12)相关联的关联乘数(144),以及基于所述除法的所述商的舍入,可得出与所述相应的神经元间激活前馈(12)相关联的关联位移位数(146),以使用于所述相应的神经元间激活前馈(12)的所述对应的NN参数(120)的所述对应的经量化值(130)对应于所述关联量化值(152)和取决于所述关联乘数(144)的因子(148)之间的乘积,所述乘积被位移多个位,所述多个位取决于所述关联位移位数(146)。5.根据前述权利要求1至3中任一项所述的装置(100),其中所述装置(100)被配置为将NN的多个(122)神经元间激活前馈细分为神经元间激活前馈的子组(122a、122b),以使每个子组(122a、122b)与所述NN(20)的关联NN层对相关联,并且包括所述关联NN层对之间的神经元间激活前馈(12),并且排除除所述关联层对之外的另外的NN层对之间的神经元间激活前馈(12),并且多于一个子组(122a、122b)与预定NN层相关联,
所述NN参数(120)根据所述NN的所述多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN(20),其中对于所述多个(122)神经元间激活前馈中的每个,相应的NN参数(120)包括在所述NN表示(110)中,其中所述装置(100)被配置为对于神经元间激活前馈的每个子组(122a、122b),从所述NN表示(110)确定与相应子组(122a、122b)相关联的关联量化参数(142),以使从所述关联量化参数(142),基于由所述关联量化参数(142)得出的被除数和由与所述相应子组(122a、122b)相关联的关联精度参数(145)得出的除数之间的除法的余数,可得出与所述相应子组(122a、122b)相关联的关联乘数(144),和基于所述除法的商的舍入,可得出与所述相应子组(122a、122b)相关联的关联位移位数(146),对于所述多个(122)神经元间激活前馈中的每个,通过从所述NN表示(110)确定与所述相应的神经元间激活前馈(12)相关联的关联量化值(152),将所述对应的NN参数(120)量化到对应的经量化值(130),其中所述相应的神经元间激活前馈(12)的所述对应的NN参数(120)对应于所述关联量化值(152)与因子(148)之间的乘积,所述因子取决于与包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)相关联的所述关联乘数(144),所述乘积被位移多个位,所述多个位取决于其中包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)的所述关联位移位数(146)。6.根据权利要求4或权利要求5所述的装置(100),其中所述关联精度参数(145)在所述NN(20)上或在每个NN层(114、116)内全局相等地取值。7.根据前述权利要求4至6中任一项所述的装置(100),被配置为将所述关联精度参数(145)编码到所述NN表示(110)。8.根据前述权利要求4至7中任一项所述的装置(100),被配置为以与参考量化参数的差值的形式将所述关联量化参数(142)编码到所述NN表示(110)。9.根据前述权利要求中任一项所述的装置(100),其中根据mul=k+QP%k从所述量化参数(142)可得出所述乘数(144)和所述位移位数(146)其中mul是所述乘数(144),shift是所述位移位数(146),QP是所述量化参数(142),k是所述精度参数(145),是产生小于或等于其操作数的最大整数的向下取整运算符,并且%是产生用于x%y的的取模运算符,以使所述NN参数(130)是其中P是所述量化值(152)。10.根据前述权利要求中任一项所述的装置(100),其中所述精度参数(145)是2的幂。11.根据前述权利要求中任一项所述的装置(100),被配置为通过使用上下文自适应二进制算术编码,或者通过将表示所述量化参数(142)的位直接写入所述NN表示(110),或者
通过所述装置(100)的上下文自适应二进制编码器的等概率旁路模式将表示所述量化参数(142)的位编码到所述NN表示(110),而将所述量化参数(142)编码到所述NN表示(110)。12.根据前述权利要求中任一项所述的装置(100),被配置为通过使用二值化方案将所述量化参数(142)二值化为二进制串来将所述量化参数(142)编码到所述NN表示(110)。13.根据权利要求12所述的装置(100),其中所述二值化方案是指数哥伦布码。14.根据前述权利要求中任一项所述的装置(100),被配置为确定所述量化参数(142)并将其编码成固定小数点表示形式的所述NN表示(110)。15.根据权利要求14所述的装置(100),其中所述精度参数(145)为2
t
,所述固定小数点表示的位长度被设置为对于所述NN(20)为常数,或者被设置为对于所述NN(20)为常数的基准位长度与t的和。16.根据前述权利要求中任一项所述的装置(100),被配置为将所述量化参数(142)作为整数值的语法元素编码到所述NN表示(110)。17.根据前述权利要求中任一项所述的装置(100),被配置为通过将表示所述精度参数(145)的位直接写入所述NN表示(110)中,或者通过经由所述装置(100)的上下文自适应二进制编码器的等概率旁路模式将表示所述精度参数(145)的位编码到所述NN表示(110),而将所述精度参数(145)编码到所述NN表示(110)。18.根据前述权利要求中任一项所述的装置(100),被配置为将所述量化值(152)和所述量化参数(142)编码到所述NN表示(110)。19.根据前述权利要求中任一项所述的装置(100),被配置为通过使用用于所述NN参数(120)的浮点表示训练NN,而提供所述NN参数(120),以及通过旨在减少量化误差的迭代优化方案来确定所述NN参数(120)的所述量化参数(142)和所述量化值(152)。20.根据前述权利要求中任一项所述的装置(100),被配置为确定所述量化值(152)并将其编码到固定小数点表示形式的所述NN表示(110)。21.根据前述权利要求中任一项所述的装置(100),被配置为通过根据二值化方案将所述量化值(152)二值化为二进制串,使用上下文自适应算术编码对所述二进制串的位进行编码,将所述量化值(152)编码到所述NN表示(110)。22.根据前述权利要求中任一项所述的装置(100),被配置为通过根据二值化方案将所述量化值(152)二值化为二进制串,使用上下文自适应算术译码对所述二进制串的第一位进行编码,以及使用等概率旁路模式对所述二进制串的第二位进行编码,将所述量化值(152)编码到所述NN表示(110)。23.一种定义NN表示(110)的数字数据,所述NN表示(110)包括用于表示NN参数(130)的量化参数(142)和量化值(152),以使从所述量化参数(142),基于由所述量化参数(142)得出的被除数与由精度参数(145)得出的除数之间的除法的余数,可得出乘数(144),和基于所述除法的商的舍入,可得出位移位数(146),以及以使所述NN参数(130)对应于所述量化值(152)和取决于所述乘数(144)的因子(148)
之间的乘积,所述乘积被位移多个位,所述多个位取决于所述位移位数(146)。24.根据权利要求23所述的数字数据,其中所述精度参数(145)被编码到所述NN表示(110)。25.根据权利要求23或24所述的数字数据,其中所述NN参数(130)是以下中的一个:用于对神经元对(10)之间的神经元间激活前馈(12)进行加权的权重参数,用于参数化神经网络层的仿射变换的批标准化参数,以及用于偏置预定神经网络神经元(10)的入站神经元间激活前馈(12)的总和的偏置。26.根据前述权利要求23至25中任一项所述的数字数据,其中所述NN参数(130)根据所述NN的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN,并且对于所述多个(122)神经元间激活前馈中的每个,相应的NN参数(130)包括在所述NN表示(110)中,其中对于所述多个(122)神经元间激活前馈中的每个,与所述相应的神经元间激活前馈(12)相关联的关联量化参数(142)被包括在所述NN表示(110)中,并且与所述相应的神经元间激活前馈(12)相关联的关联量化值(152)被包括在所述NN表示(110)中,以使从所述关联量化参数(142)中,基于由所述关联量化参数(142)得出的被除数和由与所述相应的神经元间激活前馈(12)相关联的关联精度参数(145)得出的除数之间的除法的余数,可得出与所述相应的神经元间激活前馈(12)相关联的关联乘数(144),以及基于所述除法的所述商的舍入,可得出与所述相应的神经元间激活前馈(12)相关联的关联位移位数(146),以使用于所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)的所述对应的经量化值(130)对应于所述关联量化值(152)和取决于所述关联乘数(144)的因子(148)之间的乘积,所述乘积被位移多个位,所述多个位取决于所述关联位移位数(146)。27.根据前述权利要求23至25中任一项所述的数字数据,其中NN的多个(122)神经元间激活前馈被细分为神经元间激活前馈的子组(122a、122b),以使每个子组(122a、122b)与所述NN的关联NN层对相关联,并且包括所述关联NN层对之间的神经元间激活前馈,并且排除除了所述关联层对之外的另外的NN层对之间的神经元间激活前馈,并且多于一个子组(122a、122b)与预定NN层相关联,所述NN参数(130)根据所述NN的所述多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN,其中对于所述多个(122)神经元间激活前馈中的每个,相应的NN参数(130)包括在所述NN表示(110)中,其中对于神经元间激活前馈的每个子组(122a、122b),与所述相应子组(122a、122b)相关联的关联量化参数(142)被包括在所述NN表示(110)中,以使从所述关联量化参数(142),基于由所述关联量化参数(142)得出的被除数和由与所述相应子组(122a、122b)相关联的关联精度参数(145)得出的除数之间的除法的余数,可得出与所述相应子组(122a、
122b)相关联的关联乘数(144),和基于所述除法的商的舍入,可得出与所述相应子组(122a、122b)相关联的关联位移位数(146),对于所述多个(122)神经元间激活前馈中的每个,与相应的神经元间激活前馈相关联的关联量化值(152)被包括在所述NN表示(110)中,其中所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)对应于所述关联量化值(152)与因子(148)之间的乘积,所述因子取决于与包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)相关联的所述关联乘数(144),所述乘积被位移多个位,所述多个位取决于其中包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)的所述关联位移位数(146)。28.根据前述权利要求26或27中任一项所述的数字数据,其中所述关联精度参数(145)在所述NN上或在每个NN层内全局相等地取值。29.根据前述权利要求26至28中任一项所述的数字数据,其中所述关联精度参数(145)被编码到所述NN表示(110)。30.根据前述权利要求26至29中任一项所述的数字数据,所述关联量化参数(142)以与参考量化参数的差值的形式被编码到所述NN表示(110)。31.根据权利要求23至30中任一项所述的数字数据,其中根据mul=k+QP%k从所述量化参数(142)可得出所述乘数(144)和所述位移位数(146),其中mul是所述乘数(144),shift是所述位移位数(146),QP是所述量化参数(142),k是所述精度参数(145),是产生小于或等于其操作数的最大整数的向下取整运算符,并且%是产生用于x%y的的取模运算符,以使NN参数(130)是其中P是所述量化值(152)。32.根据前述权利要求23至31中任一项所述的数字数据,其中所述精度参数(145)是2的幂。33.根据权利要求23至32中任一项所述的数字数据,其中通过使用上下文自适应二进制算术编码,或者通过将表示所述量化参数(142)的位直接写入所述NN表示(110),或者通过上下文自适应二进制编码器的等概率旁路模式将表示所述量化参数(142)的位编码到所述NN表示(110),而将所述量化参数(142)编码到所述NN表示(110)。34.根据前述权利要求23至33中任一项所述的数字数据,其中使用二值化方案将所述量化参数(142)以二值化为二进制串的形式编码到所述NN表示(110)。35.根据权利要求34所述的数字数据,其中所述二值化方案为指数哥伦布码。36.根据前述权利要求23至35中任一项所述的数字数据,其中所述量化参数(142)以固定小数点表示的形式被编码到所述NN表示(110)。
37.根据权利要求36所述的数字数据,其中所述精度参数(145)为2
t
,所述固定小数点表示的位长度被设置为对于所述NN为常数,或者被设置为对于所述NN为常数的基准位长度与t的和。38.根据前述权利要求23至37中任一项所述的数字数据,其中所述量化参数(142)被作为整数值的语法元素编码到所述NN表示(110)。39.根据前述权利要求23至38中任一项所述的数字数据,其中通过将表示所述精度参数(145)的位直接写入所述NN表示(110)中,或者通过经由上下文自适应二进制编码器的等概率旁路模式将表示所述精度参数(145)的位编码到所述NN表示(110),而将所述精度参数(145)编码到所述NN表示(110)。40.根据前述权利要求23至39中任一项所述的数字数据,其中所述量化值(152)以固定小数点表示的形式被编码到所述NN表示(110)。41.根据前述权利要求23至40中任一项所述的数字数据,其中以根据二值化方案将所述量化值(152)二值化为二进制串并使用上下文自适应算术编码将所述二进制串的位编码到位流的形式而将所述量化值(152)编码到所述MN表示(110)。42.根据前述权利要求23至41中任一项所述的数字数据,其中以根据二值化方案将所述量化值(152)二值化到所述二进制串中,并且使用上下文自适应算术编码将所述二进制串的第一位编码到所述位流,使用等概率旁路模式将所述二进制串的第二位编码到所述位流的形式来而将所述量化值(152)编码到所述MN表示(110)。43.一种用于从NN表示(110)得出NN参数的装置,被配置为从所述NN表示(110)得出量化参数(142),从所述NN表示(110)得出量化值(152),以及从所述量化参数(142),基于由所述量化参数(142)得出的被除数与由精度参数(145)得出的除数之间的除法的余数,得出乘数(144),和基于所述除法的商的舍入,得出位移位数(146),其中所述NN参数(130)对应于所述量化值(152)和取决于所述乘数(144)的因子(148)之间的乘积,所述乘积被位移多个位,所述多个位取决于所述位移位数(146)。44.根据权利要求43所述的装置,还被配置为从所述NN表示(110)中得出所述精度参数(145)。45.根据权利要求43或44所述的装置,其中所述NN参数(130)是以下中的一个:用于对神经元对(10)之间的神经元间激活前馈(12)进行加权的权重参数,用于参数化神经网络层的仿射变换的批标准化参数,和用于偏置预定神经网络神经元(10)的入站神经元间激活前馈(12)的总和的偏置。46.根据前述权利要求43至45中任一项所述的装置,其中所述NN参数(130)根据所述NN的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN,并且所述装置被配置为针对所述多个(122)神经元间激活前馈中的每个,从所述NN表示(110)得出相应的NN参数(130),其中对于所述多个(122)神经元间激活前馈(12)中的每个,从所述NN表示(110)得出与所述相应的神经元间激活前馈(12)相关联的关联量化参数
(142),从所述NN表示(110)得出与所述相应的神经元间激活前馈(12)相关联的关联量化值(152),从所述关联量化参数(142),基于由所述关联量化参数(142)得出的被除数和由与所述相应的神经元间激活前馈(12)相关联的关联精度参数(145)得出的除数之间的除法的余数,得出与所述相应的神经元间激活前馈(12)相关联的关联乘数(144),和基于所述除法的所述商的舍入,得出与所述相应的神经元间激活前馈(12)相关联的关联位移位数(146),其中用于所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)对应于所述关联量化值(152)和取决于所述关联乘数(144)的因子(148)之间的乘积,所述乘积被位移多个位,所述多个位取决于所述关联位移位数(146)。47.根据前述权利要求43至45中任一项所述的装置,其中所述装置被配置为将NN的多个(122)神经元间激活前馈细分为神经元间激活前馈的子组(122a、122b),以使每个子组(122a、122b)与所述NN的关联NN层对相关联,并且包括所述关联NN层对之间的神经元间激活前馈,并且排除除了所述关联层对之外的另外的NN层对之间的神经元间激活前馈,并且多于一个子组(122a、122b)与预定NN层相关联,所述NN参数(130)根据所述NN的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN,并且所述装置被配置为针对所述多个(122)神经元间激活前馈中的每个,从用所述NN表示(110)得出对应的NN参数(130),其中对于神经元间激活前馈的每个子组(122a、122b),从所述NN表示(110)得出与所述相应子组(122a、122b)相关联的关联量化参数(142),从所述关联量化参数(142),基于由所述关联量化参数(142)得出的被除数和由与所述相应子组(122a、122b)相关联的关联精度参数(145)得出的除数之间的除法的余数,得出与所述相应子组(122a、122b)相关联的关联乘数(144),和基于所述除法的商的舍入,得出与所述相应子组(122a、122b)相关联的关联位移位数(146),对于所述多个(122)神经元间激活前馈中的每个,从所述NN表示(110)得出与所述相应的神经元间激活前馈(12)相关联的关联量化值(152),其中所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)对应于所述关联量化值(152)与因子(148)之间的乘积,所述因子取决于与包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)相关联的所述关联乘数(144),所述乘积被位移多个位,所述多个位取决于其中包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)的所述关联位移位数(146)。48.根据前述权利要求46或47中任一项所述的装置,其中所述关联精度参数(145)在所述NN上或在每个NN层内全局相等地取值。49.根据前述权利要求46至48中任一项所述的装置,被配置为从所述NN表示(110)得出
所述关联精度参数(145)。50.根据前述权利要求46至49中任一项所述的装置,被配置为以与参考量化参数的差值的形式从所述NN表示(110)得出所述关联量化参数(142)。51.根据前述权利要求43至50中任一项所述的装置,被配置为根据下式从所述量化参数(142)得出所述乘数(144)和所述位移位数(146)mul=k+QP%k其中mul是所述乘数(144),shift是所述位移位数(146),QP是所述量化参数(142),k是所述精度参数(145),是产生小于或等于其操作数的最大整数的向下取整运算符,并且%是产生用于x%y的的取模运算符,以使NN参数(130)是其中P是所述量化值(152)。52.根据前述权利要求43至51中任一项所述的装置,所述精度参数(145)是2的幂。53.根据前述权利要求43至52中任一项所述的装置,被配置为通过使用上下文自适应二进制算术解码或通过直接从所述NN表示(110)读取表示所述量化参数(142)的位,或通过经由所述装置的上下文自适应二进制解码器的等概率旁路模式从所述NN表示(110)得出表示所述量化参数(142)的位,而从所述NN表示(110)得出所述量化参数(142)。54.根据前述权利要求43至53中任一项所述的装置,被配置为通过使用二值化方案对二进制串进行解二值化来从所述NN表示(110)得出所述量化参数(142)。55.根据权利要求54所述的装置,其中所述二值化方案是指数哥伦布码。56.根据前述权利要求43至55中任一项所述的装置,被配置为以固定小数点表示的形式从所述NN表示(110)得出所述量化参数(142)。57.根据权利要求56所述的装置,其中所述精度参数(145)为2
t
,所述固定小数点表示的位长度被设置为对于所述NN为常数,或者被设置为对于所述NN为常数的基准位长度与t的和。58.根据前述权利要求43至57中任一项所述的装置,被配置为从所述NN表示(110)得出所述量化参数(142)作为整数值的语法元素。59.根据前述权利要求43至58中任一项所述的装置,被配置为通过直接从所述NN表示(110)读取表示所述精度参数(145)的位或通过经由所述装置的上下文自适应二进制解码器的等概率旁路模式从所述NN表示(110)得出表示所述精度参数(145)的位,而从所述NN表示(110)得出所述精度参数(145)。60.根据前述权利要求43至59中任一项所述的装置,被配置为以固定小数点表示的形式从所述NN表示(110)得出所述量化值(152)。61.根据前述权利要求43至60中任一项所述的装置,被配置为通过根据二值化方案从二进制串解二值化出所述量化值(152),并且使用上下文自适应算术解码从所述NN表示(110)解码所述二进制串的位,而从所述NN表示(110)得出所述量化值(152)。
62.根据前述权利要求43至61中任一项所述的装置,被配置为通过根据二值化方案从二进制串解二值化出所述量化值(152),并且使用上下文自适应算术解码从所述NN表示(110)解码所述二进制串的第...
【专利技术属性】
技术研发人员:西蒙,
申请(专利权)人:弗劳恩霍夫应用研究促进协会,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。