【技术实现步骤摘要】
本申请涉及机器学习，尤其涉及一种二值量化方法、神经网络的训练方法、设备以及存储介质。
技术介绍
1、近年来，深度神经网络(deep neural networks，dnn)因其强大的表征学习能力而被应用到各种任务上，如计算机视觉，自然语言处理和语音识别等等。为了进一步提升模型准确率，模型的结构被设计的越来越复杂，单个模型对内存和计算资源的需求也日益增大，使得移动端和嵌入式端的模型部署变得极其困难。于是大量的技术被提出用于压缩和加速神经网络，包括低秩分解、剪枝、量化和知识蒸馏等。其中量化方法因为通过降低表示每个参数的比特数，从而能够达到显著减少网络的内存占用，节省能耗并降低延时的效果而受到了广泛的关注。
2、二值神经网络(binarized neural networks，bnn)是量化方法的一个特殊应用，它将模型中的权重和中间特征都用1比特数进行表示，并用同或(xnor)位操作和计数(popcount)位操作分别代替传统神经网络中的浮点乘法和累加操作，从而可以实现几十倍的推理加速和内存节省。现有的二值神经网络一般使用符号函数将权重和中间特征二值量化为固定值，如{-1,+1}。例如，rastegari等人提出最小化量化误差的新型二值量化方法，qin等人提出最小化权重量化误差和信息熵损失的两步量化方式和近似梯度的渐进训练方法，liu等人提出显式学习中间特征形状和偏移的新网络结构，以及wang等人提出诱使中间特征稀疏化，然后使用可训练阈值将其量化到{0,+1}集合的新型二值量化方式。但是这些将不同分布的浮点数都量化到一个固
技术实现思路
1、本申请的一些实施方式提供了一种二值量化方法、神经网络的训练方法、设备以及存储介质，以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。
2、第一方面，本申请实施方式提供了一种二值量化方法，应用于电子设备，所述方法包括：
3、获取神经网络中的待量化数据；
4、确定所述待量化数据对应的量化参数，所述量化参数包括缩放系数和偏移量；
5、基于所述缩放系数和所述偏移量确定所述待量化数据对应的二值化上限值和二值化下限值；
6、基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化，以将所述待量化数据量化为所述二值化上限值或所述二值化下限值。
7、根据本申请实施方式，提出了一种自适应的二值量化方式，摒弃了将二值量化之后的取值范围局限在{0,+1}或者一对相反数的固定二值集合上的限制，通过使用一个自适应的缩放系数和偏移量来控制生成二值量化最终的二值集合，将全精度的待量化数据(包括权重参数和中间特征)量化到任意二值以灵活地适应不同的数据分布，能够提升二值量化特征的表达能力，从而提升二值神经网络的表达能力，在增加少量计算量和参数量的前提下，有效提升了二值神经网络的性能，有利于二值神经网络在不同任务中的推广应用。
8、在一些实施方式中，所述待量化数据为所述神经网络中的第一权重参数；
9、所述确定所述第一权重参数对应的量化参数包括：
10、基于所述神经网络中的各个权重参数的数据分布确定对应的均值和标准差；
11、将所述均值作为所述第一权重参数对应的偏移量；以及，
12、根据所述标准差确定所述第一权重参数对应的缩放系数。
13、在一些实施方式中，所述二值化上限值为所述缩放系数和所述偏移量之和；以及，
14、所述二值化下限值为所述缩放系数的相反数与所述偏移量之和。
15、根据本申请实施方式，对于权重参数而言，通过最小化全精度权重参数和二值化权重参数之间的kl散度(kullback-leibler divergence)，可以得到权重参数对应的缩放系数和偏移量的解析解。这种根据原始数据分布自适应地确定缩放系数和偏移量，进而确定最佳的二值集合的方式，能够去除二值集合的固定约束，得到随数据分布自适应修正的最优二值化权重，使得二值量化之后的数据可以适应不同的原始分布并增强二值化特征的表达能力。
16、在一些实施方式中，所述待量化数据为所述神经网络中的中间特征；并且，
17、作为待量化数据的所述中间特征对应的偏移量和缩放系数是从所述神经网络中获取的。
18、根据本申请实施方式，对于中间特征而言，同时考虑了中间特征分布的偏移和幅值，通过在神经网络中引入可学习的缩放系数和偏移量，在模型训练过程中可以通过梯度优化的方式进行更新，而在正向推理过程中被固定，相比符号函数能够提供更丰富的纹理特征，从而进一步提升二值神经网络的精度。
19、在一些实施方式中，所述基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化包括：
20、计算所述待量化数据与所述偏移量之间的差值，并确定所述差值与所述缩放系数的比值；
21、将所述比值与预设量化阈值进行比较，得到比较结果；
22、根据所述比较结果将所述待量化数据转化为所述二值化上限值或所述二值化下限值。
23、根据本申请实施方式，通过提出一种新型二值量化器，将神经网络中的权重参数和中间特征二值量化到自适应的二值集合中，操作简单，对功耗、内存以及其他计算资源的需求量减少，有利于整体性能的提升。
24、第二方面，本申请实施方式提供了一种神经网络的训练方法，应用于电子设备，所述方法包括：
25、获取待训练的神经网络及对应的训练数据集；
26、对于所述训练数据集，交替进行所述神经网络的正向传播过程和反向传播过程，以调整所述神经网络的参数，直至所述神经网络对应的损失函数收敛；
27、其中，在所述正向传播过程中，采用本申请第一方面任一实施方式提供的二值量化方法对所述神经网络中的待量化数据进行二值量化，得到对应的二值神经网络，并基于所述二值神经网络进行所述正向传播过程；
28、将所述损失函数收敛时所述神经网络对应的二值神经网络确定为训练得到的神经网络。
29、根据本申请实施方式，采用自适应的二值量化方式，通过使用一个自适应的缩放系数和偏移量来控制生成二值量化最终的二值集合，将全精度的待量化数据(包括权重参数和中间特征)量化到任意二值以灵活地适应不同的数据分布，能够提升二值量化特征的表达能力，从而提升二值神经网络的表达能力，在增加少量计算量和参数量的前提下，提升了二值神经网络的精度，有效减少了二值神经网络与全精度的神经网络之间的性能差距，有利于将二值神经网络进一步推广到更复杂任务上。
30、并且，根据本申请实施方式训练得到的神经网络为具有量化权重参数的二值神经网络，能够减小模型的大小，降低存储和内存带宽需求，降低计算代价，使得训练得到的神经网络能够部署到资源受限的设备中，有利于神经网络在本文档来自技高网...
【技术保护点】
1.一种二值量化方法，应用于电子设备，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述待量化数据为所述神经网络中的第一权重参数；
3.根据权利要求1所述的方法，其特征在于，所述待量化数据为所述神经网络中的中间特征；并且，
4.根据权利要求1所述的方法，其特征在于，所述二值化上限值为所述缩放系数和所述偏移量之和；以及，
5.根据权利要求1所述的方法，其特征在于，所述基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化包括：
6.一种神经网络的训练方法，应用于电子设备，其特征在于，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，所述神经网络采用Maxout函数作为激活函数；
8.根据权利要求7所述的方法，其特征在于，所述待量化数据包括所述神经网络中的各个权重参数和中间特征；
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，该指令在计算机上执行时使得计算机执行权利要求1～5
...【技术特征摘要】
1.一种二值量化方法，应用于电子设备，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述待量化数据为所述神经网络中的第一权重参数；
3.根据权利要求1所述的方法，其特征在于，所述待量化数据为所述神经网络中的中间特征；并且，
4.根据权利要求1所述的方法，其特征在于，所述二值化上限值为所述缩放系数和所述偏移量之和；以及，
5.根据权利要求1所述的方法，其特征在于，所述基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化包括：
6.一种神经网络的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。