个性化的机器学习模型制造技术

机器学习可以针对个人计算设备的个体用户进行个性化，并且能够用于增加机器学习预测的精确性和速度，和/或降低存储器占用。对机器学习进行个性化可以包括选择机器学习模型的子集以载入到存储器中。这样的选择是至少部分地基于由个人计算设备本地地收集的信息的。对机器学习进行个性化可以另外地或可替代地包括，至少部分地基于由个人计算设备本地地收集的信息来调整机器学习模型的分类阈值。此外，对机器学习进行个性化可以另外地或可替代地包括至少部分地基于由个人计算设备本地地收集的信息来对可以由应用访问的机器学习模型的特征输出进行标准化。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
机器学习涉及可以从经验中自动地进行学习的各种算法。这些算法的基础是建立在数学和统计学上的，可以采用这些算法来对事件进行预测、对实体进行分类、对问题进行诊断、以及对函数近似进行建模等(仅指出若干示例)。尽管有各种产品可以用于将机器学习并入到计算机化的系统中，但是这些产品当前不能提供好的方法来对通用的机器学习模型进行个性化而不危及用户的个人或私人信息。例如，可以配置机器学习模型以供一般使用但不用于个体用户。这样的模型可以出于训练的目的而使用去标识的数据，但是不考虑个体用户的个人或私人信息。该情况可能会导致相对慢的运行速度和相对大的存储器占用。
技术实现思路
本公开部分地描述了用于个性化对个人计算设备的个体用户的机器学习而不危及个体用户的私人或个人信息的技术和架构。在本文中所描述的技术可以用于增加机器学习预测准确性和速度，并且降低存储器占用，除此之外还有其他益处。对机器学习进行个性化可以在个人计算设备上本地地执行，并且可以包括选择机器学习模型的子集以载入到存储器中。这样的选择可以是至少部分地基于由个人计算设备本地地收集的关于用户的信息的。对机器学习进行个性化可以另外地或可替代地包括，至少部分地基于由个人计算设备本地地收集的信息来调整机器学习模型的分类阈值。此外，对机器学习进行个性化可以另外地或可替代地包括，至少部分地基于由个人计算设备本地地收集的信息来对可以由应用访问的机器学习模型的特征输出进行标准化。提供了本
技术实现思路
以用简化的形式引入在下文的具体实施方式中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用于帮助确定所要求保护的主题的范围。例如，术语“技术”可以指的是系统、方法、计算机可读指令、模块、算法、硬件逻辑(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD))、和/或由以上或本文档中通篇的上下文所允许的其他技术。附图说明参考附图描述了具体实施方式。在附图中，附图标记的最左边的数字标识了该附图标记第一次出现所在的图。不同的图中的相同的附图标记指示相似或相同的项。图1是描绘了可以在其中实现在本文中所描述的技术的示例环境的框图。图2是根据各种示例实施例的机器学习系统的框图。图3是根据各种示例实施例的机器学习模型的框图。图4示出了根据各种示例实施例的机器学习模型的支持向量的树的一部分。图5是根据各种示例实施例的用于选择机器学习模型的子集以载入到存储器中的过程的流程图。图6是根据各种示例实施例的关于分类阈值的特征测量的示意图。图7是根据各种示例实施例的用于至少部分地基于由客户端设备本地地收集的信息来调整机器学习模型的分类阈值的过程的流程图。图8示出了根据各种示例实施例的特征分布和聚合的特征分布。图9示出了根据各种示例实施例的特征的标准化分布。图10示出了根据各种示例实施例的关于标准化的聚合的特征分布的误算错误。图11是根据各种示例实施例的用于至少部分地基于由客户端设备本地地收集的信息来对机器学习模型的特征输出进行标准化的过程的流程图。具体实施方式概述在各种实施例中，技术和架构用于个性化对个人计算设备的个体用户的机器学习。例如，这样的个人计算设备(在下文中被称为客户端设备)可以包括台式计算机、膝上型计算机、平板计算机、移动通信设备、个人数字助理(PDA)、电子书阅读器、可穿戴计算机、车载设备、游戏设备等。能够个性化对客户端设备的个体用户的机器学习的客户端设备可以增加机器学习预测的准确性和速度。与非个性化机器学习的示例相比，个性化的机器学习可以涉及更小的存储器占用和更小的CPU占用，除此之外还有其它益处。在一些实现方式中，客户端设备的用户必须在个性化的机器学习可以发生之前“选择进入”或采取其它肯定性的动作。可以以多种方式实现对机器学习的个性化。例如，在一些实现方式中，对机器学习进行个性化涉及对可以由应用访问的机器学习模型的特征输出进行标准化，其中所述应用是由客户端设备来执行的。对特征输出进行标准化可以是至少部分地基于由客户端设备本地地收集的信息的。对机器学习进行个性化可以另外地或者可替代地涉及至少部分地基于由客户端设备本地地收集的信息来调整机器学习模型的分类阈值。另外地或者可替代地，对机器学习进行个性化可以包括选择机器学习模型的子集以载入到客户端设备的存储器(例如，RAM或易失性存储器)中。这样的选择也可以是至少部分地基于由客户端设备本地地收集的信息的。在涉及对由客户端设备托管的机器学习模型的特征输出进行标准化的各种实施例中，所述标准化过程可以至少部分地基于与由客户端设备的处理器所执行的应用相关联的信息。由客户端设备所收集的信息可以包括：图像、语音或其它音频采样、或者搜索查询等(除了其他示例之外)。所述信息可以包括客户端设备的用户的个人信息，例如，从诸如所捕获的图像或语音采样中搜集的身体特征(例如，嘴的大小、眼睛的大小、语音音量、语调等)。一个用户的特定的身体特征通常与另一个用户的特定的身体特征不同。每个用户的身体特征都被表示为值的分布(例如，随着嘴的大小的随时间的变化的出现次数)。分布的最大值和最小值(例如，峰值和谷值)可以用于指示很多事情，例如，用户的特征的各种状态。例如，用户的嘴的大小的分布中的两个局部最大值之间的局部最小值可以用于定义用户的嘴张开或者用户的嘴闭合之间的分类边界。通常而言，不同用户的这样的值的分布将是不同的。特别地，分布的峰值和谷值的位置和大小针对不同的用户是不同的。因此，并且不期望地，将多个用户的分布进行聚合趋向于使个体用户的分布的峰值和谷值不可分辨。换言之，将很多用户的分布进行组合会导致使个体用户的分布的峰值和谷值模糊不清的聚合的分布。来自对分布进行组合的这样的结果可以针对基于多个用户的去标识的数据的机器学习模型而发生。本文中的一些实施例包括通过基于本地收集的信息对个体用户的分布进行标准化的过程而对很多用户的分布进行聚合的过程。这样的过程可以得出可以分辨的聚合的分布。这样的分辨出的聚合的分布可以有明显可定义的(例如，非模糊的)分类边界。在一个示例实现方式中，客户端设备的处理器对机器学习模型的特征输出进行标准化，这是通过将特征输出的分类边界(例如，分类阈值)与由其它客户端设备托管的机器学习模型的对应的特征输出的分类边界对齐来进行的。在一些实现方式中，通过使用来自网络的去标识的数据可以对机器学习模型特征输出进行更新或者进一步细化。例如，对机器学习模型的特征输出进行标准化生成可以与从客户端设备之外所接收到的去标识的数据聚合的标准化的输出。去标识的数据包括已经被剥离了关于数据和与数据有关的人之间的关联的信息(例如，元数据)的数据。在一些实施例中，上文中所描述的方法可以由服务器或者网络(例如，互联网或云)中的其它计算设备整体地或部分地来执行。服务器执行标准化并且将多个客户端设备的特征分布对齐。服务器可以例如从第一客户端设备中接收由第一客户端设备托管的第一机器学习模型所生成的第一特征分布，并且从第二客户端设备中接收由第二客户端设备托管的第二机器学习模型所生成的第二特征分布。服务器可以随后关于第二特征分布来对第一特征分布进行标准化，以使得第一特征分布和第二本文档来自技高网...

【技术保护点】
一种方法，包括：由客户端设备引起应用的执行；由所述客户端设备本地地收集与所述应用相关联的信息；至少部分地基于由所述客户端设备本地地收集的所述信息，对能够由所述应用访问的机器学习模型的特征输出进行标准化；以及选择所述机器学习模型的子集以载入到存储器中，其中，所述选择是至少部分地基于由所述客户端设备本地地收集的所述信息的，并且其中，所述机器学习模型的子集包括少于全部的所述机器学习模型。

【技术特征摘要】
【国外来华专利技术】2013.12.13 US 14/105,6501.一种方法，包括：由客户端设备引起应用的执行；由所述客户端设备本地地收集与所述应用相关联的信息；至少部分地基于由所述客户端设备本地地收集的所述信息，对能够由所述应用访问的机器学习模型的特征输出进行标准化；以及选择所述机器学习模型的子集以载入到存储器中，其中，所述选择是至少部分地基于由所述客户端设备本地地收集的所述信息的，并且其中，所述机器学习模型的子集包括少于全部的所述机器学习模型。2.根据权利要求1所述的方法，其中，对所述机器学习模型的所述特征输出进行标准化还包括：将所述特征输出的分类边界与另一个客户端设备中的机器学习模型的另一个特征输出的分类边界对齐。3.根据权利要求1所述的方法，其中，对所述机器学习模型的所述特征输出进行标准化生成标准化的输出，并且还包括：从所述客户端设备外部接收去标识的数据；以及将所述标准化的输出与所述去标识的数据聚合在一起。4.根据权利要求1所述的方法，其中，所述机器学习模型的所述特征输出是响应于经过至少预先确定的时间所述客户端设备的用户的行为模式的。5.一种系统，包括：一个或多个处理器；以及存储指令的存储器，其中，当所述指令由所述一个或多个处理器执行时，配置所述一个或多个处理器执行以下操作，包括：执行应用；由所述系统本地地收集与所述应用相关联的信息；至少部分地基于由所述系统本地地收集的所述信息来调整能够由所述应用访问的机器学习模型的分类阈值；以及选择所述机器学习模型的子集以载入到存储器中，其中，所述选择是至少部分地基于...

【专利技术属性】
技术研发人员：缪旭，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US