基于树的机器学习模型的量化制造技术

提供了用于量化基于树的机器学习模型的各种机制和过程。一种方法包括确定经训练的基于树的机器学习模型中的一个或更多个参数值。该一个或更多个参数值存在于以第一数据类型编码的第一数值空间内并被量化到第二数值空间中。第二数值空间以相对于第一数据类型具有更小的文件存储大小的第二数据类型进行编码。在基于树的机器学习模型内编码数组。该数组存储用于将第二数值空间中的给定的量化后的参数值变换为第一数值空间中的相对应参数值的参数。基于树的机器学习模型可以被传输到客户端设备的嵌入式系统。一个或更多个参数值对应于基于树的机器学习模型的阈值或叶值。于基于树的机器学习模型的阈值或叶值。于基于树的机器学习模型的阈值或叶值。

【技术实现步骤摘要】
【国外来华专利技术】基于树的机器学习模型的量化
[0001]相关申请的交叉引用
[0002]本申请要求于2020年10月12日提交的标题为“QUANTIZATION OF TREE
‑
BASED MACHINE LEARNING MODELS”的第63/090,516号美国临时专利申请在《美国法典》第35卷第119(e)条下的利益，该美国临时专利申请通过引用以其整体并入本文以用于所有目的。


[0003]本公开总体上涉及机器学习模型，且更具体地涉及基于树的机器学习模型。
[0004]背景
[0005]许多商业应用采用了机器学习模型来提高性能，这些机器学习模型包括神经网络和基于树的机器学习方法。然而，这样的机器学习模型增加了对计算、功率和存储器资源的需求，这可能会降低性能，特别是降低容量有限的硬件(例如嵌入式芯片或不包括通用中央处理器(CPU)芯片的平台)的性能。在这样的环境中，减少的闪存和RAM可能会妨碍存储或加载机器学习模型。
[0006]因此，需要减少机器学习模型的计算和资源需求。
[0007]概述
[0008]以下给出了本公开的简要概述，以便提供对本公开的特定实施例的基本理解。本概述不是本公开的广泛综述，也不识别本公开的重要/关键要素或描述本公开的范围。其唯一的目的是以简化的形式给出本文公开的一些概念，作为后面给出的更详细的描述的序言。
[0009]一般而言，本公开的某些实施例描述了用于基于树的机器学习模型的量化的系统和方法。该方法包括确定经训练的基于树的机器学习模型中的一个或更多个参数值。该一个或更多个参数值存在于以第一数据类型编码的第一数值空间内。
[0010]该方法还包括将一个或更多个参数值量化到第二数值空间中。第二数值空间以第二数据类型进行编码，该第二数据类型具有相对于第一数据类型更小的文件存储大小。在基于树的机器学习模型内编码数组。数组存储用于将第二数值空间中的给定的量化后的参数值变换为第一数值空间中的相对应的参数值的参数。该方法还包括将基于树的机器学习模型传输到客户端设备。
[0011]基于树的机器学习模型可以被传输到客户端设备的嵌入式系统。该方法还可以包括经由嵌入式系统的传感器获得数据点，以及从该数据点提取特征。该方法还可以包括使所提取的特征传递通过基于树的机器学习模型。该方法还可以包括将一个或更多个参数值从第二数值空间去量化(un
‑
quantizing)到第一数值空间，以及基于一个或更多个去量化后的参数值，生成对特征的预测。当在对应于一个或更多个参数值的节点处处理所提取的特征时，可以根据需要对一个或更多个参数值中的每一个进行去量化。
[0012]一个或更多个参数值可对应于基于树的机器学习模型的特征的阈值。一个或更多个参数值可对应于基于树的机器学习模型的叶值。第一数据类型可以是32位浮点类型。第二数据类型可以是8位无符号整数。一个或更多个参数值对应于阈值和叶值，并且阈值和叶
值相彼此独立地被量化。
[0013]基于树的机器学习模型可以被配置成对对应于客户端设备的运动的手势进行分类。
[0014]本公开的其他实现包括对应于所描述的方法的相对应的设备、系统和计算机程序。这些其他实现各自可任选地包括以下特征中的一个或更多个。例如，提供了一种用于树模型参数的量化的系统。该系统包括一个或更多个处理器、存储器、以及存储在存储器中的一个或更多个程序。该一个或多个程序包括用于执行所描述的方法和系统的动作的指令。还提供了一个或更多个非暂时性计算机可读介质，其上存储有用于执行所描述的方法和系统的指令。
[0015]下面参考附图进一步描述这些和其他实施例。
[0016]附图简述
[0017]通过参考下面结合附图进行的描述，可以最好地理解本公开，这些附图示出了本公开的特定实施例。
[0018]图1示出了根据一个或更多个实施例的用于实现本公开的各种系统和方法的示例网络体系结构的图。
[0019]图2示出了根据一个或多个实施例的用于量化基于树的机器学习模型的过程流程图。
[0020]图3示出了根据一个或多个实施例的示例基于树的机器学习模型。
[0021]图4示出了根据一个或更多个实施例的移动设备的体系结构，该移动设备可用于实现结合本教导的专用系统。
[0022]图5示出了可与本公开的各种实施例一起使用的计算机系统的特定示例。
具体实施方式
[0023]现在将详细参考本公开的一些具体示例，这些示例包括专利技术人为实施本公开而设想的最佳模式。这些具体实施例的示例在附图中示出。尽管结合这些具体实施例描述了本公开，但将理解，并不打算将本公开限制到所描述的实施例。相反，旨在覆盖如可以包括在如所附权利要求所限定的本公开的精神和范围内的替代方案、修改及等同物。
[0024]在下面的描述中，阐述了许多具体细节以便提供对本公开的透彻理解。本公开的特定示例实施例可以在没有这些具体细节中的一些或全部的情况下实现。在其他情况下，没有详细描述众所周知的过程操作，以免不必要地使本公开模糊。
[0025]为了清楚起见，有时将以单数形式描述本公开的各种技术和机制。然而，应当注意，除非另有说明，否则一些实施例包括技术的多次迭代或机制的多个实例。此外，本公开的技术和机制有时将描述两个实体之间的连接。应当注意，两个实体之间的连接并不一定意味着直接、不受阻碍的连接，因为两个实体之间可能存在各种其他实体。因此，除非另有说明，否则连接并不一定意味着直接、不受阻碍的连接。
[0026]综述
[0027]接下来将较详细地描述的本公开的一般目的是提供一种用于量化基于树的机器学习模型以减小模型大小和减少计算需求的系统和方法。
[0028]在某些情况下，可能期望的是机器学习模型需要尽可能少的字节或存储器。例如，
对于嵌入式设备或系统来说，闪存和RAM存储器通常是有限的。机器学习模型消耗闪存和RAM存储器，增加计算量，并增加功率需求。这可能导致性能下降，尤其是容量有限的硬件(例如嵌入式芯片)的性能下降。在这样的芯片上，小型闪存和RAM可能会首先排除存储或加载机器学习模型。降低机器学习模型的存储器资源需求对于嵌入式芯片尤为重要，嵌入式芯片比CPU具有少得多的存储器(闪存和RAM)。这可能与根本没有通用CPU芯片的平台特别相关，在这些平台上，嵌入式芯片是可用的最强大的处理器。
[0029]还存在这样的情况，在该情况下，可能期望机器学习模型仅使用整数参数值。例如，一些嵌入式设备没有浮点单元，且在这些设备上执行浮点运算可能在中央处理器(CPU)时间、延迟和功率方面非常昂贵。机器学习模型且特别是树模型的量化可以解决这些问题：量化通常导致更小的模型大小，且量化通常导致整数数据类型被用于参数，而不是浮点值数据类型被用于参数。
[0030]树模型的量化还为设计树模型的结构以减小最终的文件存储大小提供了额外的灵活性。例如，决策节点的阈值参数值和终端节点的叶参数值可以彼此独立地被本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于量化树模型参数的方法，所述方法包括：确定经训练的基于树的机器学习模型中的一个或更多个参数值，其中，所述一个或更多个参数值存在于以第一数据类型编码的第一数值空间内；将所述一个或更多个参数值量化到第二数值空间中，其中，所述第二数值空间以第二数据类型进行编码，所述第二数据类型相对于所述第一数据类型具有更小的文件存储大小；在所述基于树的机器学习模型内编码数组，其中，所述数组存储用于将所述第二数值空间中的给定的量化后的参数值变换为所述第一数值空间中的相对应的参数值的参数；以及将所述基于树的机器学习模型传输到客户端设备。2.根据权利要求1所述的方法，其中，所述基于树的机器学习模型被传输到所述客户端设备的嵌入式系统。3.根据权利要求2所述的方法，还包括：通过所述嵌入式系统的传感器获得数据点；从所述数据点中提取特征；使提取的特征传递通过所述基于树的机器学习模型；将所述一个或更多个参数值从所述第二数值空间去量化到所述第一数值空间；以及基于去量化后的所述一个或更多个参数值生成关于所述特征的预测。4.根据权利要求3所述的方法，其中，当所述提取的特征在对应于所述一个或更多个参数值的节点处被处理时，所述一个或更多个参数值中的每一个根据需要被去量化。5.根据权利要求1所述的方法，其中，所述一个或更多个参数值对应于所述基于树的机器学习模型的特征的阈值。6.根据权利要求1所述的方法，其中，所述一个或更多个参数值对应于所述基于树的机器学习模型的叶值。7.根据权利要求1所述的方法，其中，所述第一数据类型是32位浮点类型。8.根据权利要求1所述的方法，其中，所述第二数据类型是8位无符号整数。9.根据权利要求1所述的方法，其中，所述一个或更多个参数值对应于所述基于树的机器学习模型的特征的阈值和所述基于树的机器学习模型的叶值；以及其中，所述阈值和所述叶值彼此独立地被量化。10.根据权利要求1所述的方法，其中，所述基于树的机器学习模型被配置成对与所述客户端设备的运动相对应的手势进行分类。11.一种用于量化树模型参数的系统，所述系统包括：一个或更多个处理器、存储器和存储在所述存储器中的一个或更多个程序，所述一个或更多个程序包括用于以下操作的指令：确定经训练的基于树的机器学习模型中的一个或更多个参数值，其中，所述一个或更多个参数值存在于以第一数据类型编码的第一数值空间内；将所述一个或更多个参数值量化到第二数值空间中，其中，所述第二数值空间以第二数据类型进行编码，所述第二数据类型相对于所述第一数据类型具有更小的文件大小；
在所述基于树的机器学习模型内编码数组，其...

【专利技术属性】
技术研发人员：莱斯利，
申请(专利权)人：奇手公司，
类型：发明
国别省市：