用于生成和使用神经网络的定点操作的系统和方法包括：使用缩放因子将浮点加权因子转换为定点加权因子。将缩放因子定义成使成本函数最小化，并且缩放因子是从预定基数的倍数集合中导出的。将可能的缩放函数的集合定义成减少用于针对多个可能的缩放因子中的每一个评估成本函数的计算量。该系统和方法可以在被编程为执行逻辑的一个或多个控制器中实现。
【技术实现步骤摘要】
针对分辨率降低的神经网络的优化量化
本申请一般涉及使用定点值计算的神经网络。
技术介绍
近年来，通过使用深度学习方法，在计算机视觉和语音处理/识别领域中，实现了大多数基于机器学习的突破。使用这些基于深度学习的分类器对输入数据进行分类的任务已得到广泛研究，并且被用于许多不同的应用。基于该应用，分类所需的神经网络可能非常庞大，其中具有数千万个变量。这样的大型网络需要大量的计算和数据存储资源，因此具有很高的能量/功率占位面积。由于较高的资源需求，许多深度学习任务主要在云中完成（大多数计算是在GPU或诸如神经网络加速器之类的特殊硬件上实行的）。由于计算和功率的约束，在许多情况下，深度学习网络无法部署在资源受约束的环境中。最新趋势是将应用领域从成像器和电话扩展到其他种类的传感器（例如，惯性传感器）。由于电池寿命的限制，这些传感器可以成为没有永久云连接的可穿戴设备的一部分——所谓的边缘计算。因此，需要用于边缘设备上的局部分类的新颖概念。
技术实现思路
一种用于将神经网络的浮点加权因子转换为定点加权因子的方法包括：选择预定数量的候选缩放因子，其是预定基数的倍数。该方法包括：在成本函数中评估每一个候选缩放因子。该方法包括：作为候选缩放因子中导致成本函数的最小值的一个来选择缩放因子。该方法包括：通过使用缩放因子缩放浮点加权因子来生成定点加权因子。该方法包括：使用定点加权因子来操作神经网络。预定基数可以是二。该方法可以进一步包括：响应于完成神经网络的训练阶段，将定点加权因子提供给推理阶段。预定数量的候选缩放因子可以包括更大数量的候选（candidates），该候选具有的值超过浮点加权因子的绝对值的平均值。预定数量的候选缩放因子可以包括仅一个小于浮点加权因子的绝对值的平均值的候选。成本函数可以是浮点加权因子与候选缩放因子和对应的定点加权因子的乘积之间的均方误差。该方法可以进一步包括：在预定数量的训练间隔之后的神经网络的训练阶段期间更新缩放因子。机器学习系统包括：控制器，该控制器被编程为使用缩放因子将神经网络的浮点加权因子转换为定点加权因子，该缩放因子是预定基数b的倍数，并且使成本函数最小化，该成本函数是浮点加权因子与候选缩放因子和对应的定点加权因子的乘积之间的均方误差（ameansquareerror），并且在训练阶段期间的预定数量的迭代之后，改变缩放因子。控制器可以进一步被编程为使用定点操作来实现神经网络。候选缩放因子可以包括分别具有指数L和L-1的第一和第二候选值，使得浮点加权因子的绝对值的平均值在bL与bL-1之间。控制器可以进一步被编程为利用候选缩放因子来评估成本函数，该候选缩放因子是预定基数的从bL-1到bL+4的倍数。控制器可以进一步被编程为针对第一数量的候选缩放因子并且针对第二数量的候选缩放因子来评估成本函数，该第一数量的候选缩放因子大于浮点加权因子的绝对值的平均值，该第二数量的候选缩放因子小于平均值，第一数量大于第二数量。控制器可以被进一步编程为在完成训练阶段之后，将定点加权因子提供给被配置成实现神经网络的推理阶段。预定基数b可以是二。控制器可以被进一步编程为定义包括多于一个节点的层的缩放因子。一种方法包括：选择预定数量的候选缩放因子，其是二的倍数，并且针对每一个候选缩放因子来评估成本函数，该成本函数是神经网络的预定集合的浮点加权因子与被评估的候选缩放因子和由被评估的候选缩放因子定义的定点加权因子的乘积之间的均方误差。该方法包括：选择缩放因子作为导致成本函数的最小值的候选缩放因子之一，以及通过按缩放因子缩放每一个浮点加权因子来生成定点加权因子集合。该方法包括：使用定点加权因子集合来实现神经网络。候选缩放因子可以包括分别具有指数L和L-1的第一和第二候选值，使得预定集合的浮点加权因子的绝对值的平均值在2L与2L-1之间。候选缩放因子可以包括二的从2L-1到2L+4的倍数。候选缩放因子可以包括：与小于浮点加权因子的绝对值的平均值的候选缩放因子相比，更大数量的大于平均值的候选缩放因子。预定集合可以对应于神经网络的节点。附图说明图1描绘了神经网络的单个节点的示例。图2描绘了使用定点分辨率的神经网络的单个节点的示例。图3描绘了示出与不同加权因子转换策略相关联的准确度的曲线图。图4描绘了机器学习系统的可能框图。图5描绘了用于选择缩放因子以将加权因子转换为定点表示的可能流程图。具体实施方式在本文中描述了本公开的实施例。然而，要理解到，所公开的实施例仅仅是示例，并且其他实施例可以采取各种形式和替换形式。这些图不一定按比例绘制；一些特征可能会被放大或最小化以示出特定组件的细节。因此，本文中公开的具体结构和功能细节不要被解释为限制性的，而仅仅是作为教导本领域技术人员以各种方式采用本专利技术的有代表性的基础。如本领域普通技术人员将理解的，参考任何一个图进行图示和描述的各种特征可以与在一个或多个其他图中图示的特征进行组合，以产生未明确图示或描述的实施例。所图示的特征的组合为典型应用提供了有代表性的实施例。然而，对于特定的应用或实现方式，可能期望与本公开的教导相一致的特征的各种组合和修改。机器学习系统被并入各种各样的现代系统中。机器学习系统很有吸引力，因为可以对系统进行训练或使其适应不同的情况。例如，通过将训练数据集应用于机器学习算法，系统可以调整内部加权因子来实现预期结果。训练数据集可以包括机器学习算法的输入集合和对应的机器学习算法的预期输出集合。在训练期间，系统可以监视预期输出与机器学习算法所生成的实际输出之间的误差，以在机器学习算法内调整或校准加权因子。训练可以重复，直到误差降至预定水平以下为止。机器学习系统可以是更大的应用或系统的一部分。例如，机器学习系统可以被并入机器人应用中。在其他示例中，机器学习系统可以是视觉系统的一部分。例如，机器学习系统可以被训练成从视频图像中识别视场中的特定对象。机器学习系统可以被进一步配置成提供用于控制设备（例如，机械臂）的控制信号。神经网络可以被用作机器学习系统的一部分。神经网络可以由输入与输出之间的不同互连阶段组成。神经网络可以包括序列编码器层、原型层和完全连接层。此外，神经网络可以包括一个或多个用于特征提取的卷积层。可以在具有有限存储器和处理资源的嵌入式控制器上实现神经网络。照此，对于每个时间间隔可以实行的计算数量可能存在限制。随着神经网络的大小和数量增加，计算资源可能会紧张。即，可能没有足够的处理时间来在期望的时间间隔内完成计算。照此，用于降低计算负荷的方法可能会有所帮助。对于在资源受约束的环境中进行实际部署的主要限制因素是必须以其维持权重的精度。神经网络权重的精度可能直接影响网络性能，因此通常被维持为浮点值。因此，与这些权重有关的数学运算也以浮点精度实行。浮点变量可能比定点变量需要更多的存储器空间。此外，对浮点变量的操作通常比对定点变量的操作需要更多处理器周期。注意到，以上关于权重的讨论也可以应用于节点/神经元的输入和输出。本文中公开的策略适用于具有系数或因子集合的任本文档来自技高网...
【技术保护点】
1.一种用于将神经网络的浮点加权因子转换为定点加权因子的方法，所述方法包括：/n选择预定数量的候选缩放因子，其是预定基数的倍数；/n在成本函数中评估每一个候选缩放因子；/n作为候选缩放因子中导致成本函数的最小值的一个来选择缩放因子；/n通过使用缩放因子缩放浮点加权因子来生成定点加权因子；以及/n使用定点加权因子来操作神经网络。/n
【技术特征摘要】
20200110 US 16/7394841.一种用于将神经网络的浮点加权因子转换为定点加权因子的方法，所述方法包括：
选择预定数量的候选缩放因子，其是预定基数的倍数；
在成本函数中评估每一个候选缩放因子；
作为候选缩放因子中导致成本函数的最小值的一个来选择缩放因子；
通过使用缩放因子缩放浮点加权因子来生成定点加权因子；以及
使用定点加权因子来操作神经网络。
2.根据权利要求1所述的方法，其中，预定基数是二。
3.根据权利要求1所述的方法，进一步包括：响应于完成神经网络的训练阶段，将定点加权因子提供给推理阶段。
4.根据权利要求1所述的方法，其中，预定数量的候选缩放因子包括更大数量的候选，所述候选具有的值超过浮点加权因子的绝对值的平均值。
5.根据权利要求1所述的方法，其中，预定数量的候选缩放因子包括仅一个小于相关联的浮点加权因子的绝对值的平均值的候选。
6.根据权利要求1所述的方法，其中，成本函数是浮点加权因子与候选缩放因子和对应的定点加权因子的乘积之间的均方误差。
7.根据权利要求1所述的方法，进一步包括：在预定数量的训练间隔之后的神经网络的训练阶段期间更新缩放因子。
8.一种机器学习系统，其包括：
控制器，其被编程为使用缩放因子将神经网络的浮点加权因子转换为定点加权因子，所述缩放因子是预定基数b的倍数，并且使成本函数最小化，所述成本函数是浮点加权因子与候选缩放因子和对应的定点加权因子的乘积之间的均方误差，并且在训练阶段期间的预定数量的迭代之后，改变缩放因子。
9.根据权利要求8所述的机器学习系统，其中，控制器被进一步编程为使用定点操作来实现神经网络。
10.根据权利要求8所述的机器学习系统，其中，候选缩放因子包括：分别具有指数L和L-1的第一和第二候选值，使得浮点加权因子的绝对值的平均值在bL与bL-1之间。
【专利技术属性】
技术研发人员：A·马尔霍特拉，T·罗茨尼克，C·皮特斯，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。