用于提供机器学习服务的方法和系统技术方案

本公开提供用于提供机器学习模型服务的方法和系统。该方法可以包括：(a)由第一计算系统使用第一机器学习模型生成第一输出数据，其中在第一训练数据集上训练第一机器学习模型；(b)将第一输出数据传输到第二计算系统，其中第一训练数据集和第一机器学习模型对于第二计算系统是不可访问的；(c)通过将第一输出数据与对于第二计算系统可访问的选择的一组输入特征结合来创建输入数据；以及(d)使用第二机器学习模型生成第二输出数据以处理输入数据。据。据。

【技术实现步骤摘要】
【国外来华专利技术】用于提供机器学习服务的方法和系统
相关申请的交叉引用
[0001]本申请要求于2019年6月18日提交的美国临时申请号62/862,986和2019年8月29日提交的美国临时申请号62/893,725的优先权和权益，其全部内容通过引用并入本文。

技术介绍

[0002]随着近来高度可访问且具有成本效益的机器学习平台(例如，TensorFlow、亚马逊的机器学习、微软的Azure机器学习、OpenAI、SciKit
‑
Learn、Matlab等)的增长，用户拥有大量他们可以使用的现成选项对大型数据集进行自动分析。机器学习服务供应商通常会大规模收集用户数据，因为深度学习技术的成功直接与可用于训练的数据量成正比。然而，这种海量数据收集和/或服务机器学习模型遭受隐私问题。

技术实现思路

[0003]虽然存在用于用户与模型训练和预测交互的现有途径和方法，但本文认识到与此类方法和系统相关联的局限性。例如，联合学习使电话能够协作学习共享的预测模型，同时将所有训练数据保存在设备上，将机器学习的能力与将数据存储在云中的需求分离开来。在联合学习中，中央系统和分布式设备共享公共模型，而分布式设备可以使用私有训练数据集在本地更新模型的权重，并将更新后的权重发送到中央系统。中央系统整合来自分布式设备的更新，并更新公共模型的权重，这些权重又可以被发送到分布式设备。然而，在这种联合方法中，中央模型是可见的并暴露给分布式设备，并且来自每个设备的更新模型也暴露给中央系统。再举一个例子，传送学习是通过使用部分(或全部)经过训练的深度神经网络的架构和权重作为第二深度神经网络的起点，将信息从一个深度神经网络传输到另一网络的技术。在传送学习中，基础网络首先在基础数据集和任务上进行训练，然后将学习到的特征重新调整用途，或传送到第二目标网络以在目标数据集和任务上进行训练。然而，在这种传送学习中，通常要求特征是通用的，意味着适用于基础任务和目标任务，而不是特定于基础任务，并且基础模型也对第二网络暴露和可见。
[0004]本文认识到需要在提供机器学习服务时具有改进的隐私保护能力的方法和系统。本公开提供了允许个人/消费者构建、开发和实施机器学习模型的方法和系统，该模型能够使用现场数据和从另一模型(供应商模型)传送的数据两者生成预测，同时具有现场数据，本地模型和供应商模型保持私密和安全。提供了可以使用另一基础/供应商机器学习模型实现对机器学习模型的改进同时保持本地输入数据和模型内容隔离在多个(例如，两个或更多个)单独系统中的方法和系统。
[0005]在一方面，提供了一种用于提供机器学习模型服务的方法。该方法包括：(a)由第一计算系统使用第一机器学习模型生成第一输出数据，其中所述第一机器学习模型在第一训练数据集上训练；(b)将所述第一输出数据传输到第二计算系统，其中所述第一训练数据集和所述第一机器学习模型对于所述第二计算系统是不可访问的；(c)通过将所述第一输出数据与对于所述第二计算系统可访问的选择的一组输入特征结合来创建所述输入数据；
以及(d)使用第二机器学习模型生成第二输出数据以处理所述输入数据，其中所述第二机器学习模型和所述选择的一组输入特征对于所述第一计算系统是不可访问的。
[0006]在一些实施方式中，第一输出数据包括预测值。在一些实施方式中，根据一个或多个共同特征将所述第一输出数据与选择的一组输入特征结合。在一些情况下，所述一个或多个共同特征包括共同特征标识符。在一些实施方式中，使用监督学习来训练所述第二机器学习模型，并且用于训练所述第二机器学习模型的标记数据集包括由所述第一机器学习模型生成的数据。在一些情况下，所述第一机器学习模型为卷积神经网络，所述第一机器学习生成的数据包括所述卷积神经网络的顶层的输出。
[0007]在一些实施方式中，通过评估所述第二机器学习模型的性能来确定选择的一组输入特征。在一些情况下，选择不同的一组输入特征，直到所述第二机器学习模型的性能度量优于阈值。在一些实施方式中，该方法还包括接收所述第一计算系统用于生成所述第一输出数据的请求。在一些情况下，所述请求包括与预测服务相关的一个或多个共同特征。
[0008]在另一方面，提供了一种序列化机器学习系统。该系统包括：(a)第一计算系统，其被配置为使用第一机器学习模型生成第一输出数据，其中所述第一机器学习模型在第一训练数据集上被训练；(b)第二计算系统，其被配置为使用第二机器学习模型来处理输入数据来生成第二输出数据；(c)集成组件，其被配置为通过将所述第一输出数据与对于所述第二计算系统可访问的选择的一组输入特征结合来创建所述输入数据，并且所述第一训练数据集和所述第一机器学习模型对于所述第二计算系统是不可访问的，并且其中所述第二机器学习模型和选择的一组输入特征对于所述第一计算系统是不可访问的。
[0009]在一些实施方式中，第一输出数据包括预测值。在一些实施方式中，根据一个或多个共同特征将所述第一输出数据与选择的一组输入特征结合。在一些情况下，所述一个或多个共同特征包括共同特征标识符。
[0010]在一些实施方式中，使用监督学习来训练所述第二机器学习模型，并且用于训练所述第二机器学习模型的标记数据集包括由所述第一机器学习模型生成的数据。在一些情况下，所述第一机器学习模型为卷积神经网络，所述第一机器学习生成的数据包括所述卷积神经网络的顶层的输出。
[0011]在一些实施方式中，通过评估所述第二机器学习模型的性能来确定选择的一组输入特征。在一些情况下，选择不同的一组输入特征，直到所述第二机器学习模型的性能度量优于阈值。在一些实施方式中，所述第一计算系统被配置为进一步接收用于生成所述第一输出数据的请求。在一些情况下，所述请求包括与预测服务相关的一个或多个共同特征。
[0012]根据以下详细描述，本公开的其他方面和优点对本领域技术人员来说将变得容易理解，其中仅示出和描述了本公开的说明性实施方式。应当理解，本公开可以有其他不同的实施方式，并且在不脱离本公开的情况下，可以在各种明显的方面对其若干细节进行修改。因此，附图和描述本质上被认为是说明性的，而不是限制性的。援引加入
[0013]本说明书中提及的所有出版物、专利和专利申请均以引用方式并入本文，其程度就如同每个单独的出版物、专利或专利申请被具体地和单独地指示为以引用方式并入一样。如果通过引用并入的出版物和专利或专利申请与包含在说明书中的公开内容相矛盾，则该说明书旨在取代和/或优先于任何此类矛盾材料。
附图说明
[0014]本专利技术的新颖特征在所附权利要求中具体阐述。通过参考以下阐述说明性实施方式的详细描述，其中利用了本专利技术的原理，以及附图(也称为“示图”和“图”)，将获得对本专利技术的特征和优点的更好理解，其中：
[0015]图1示出了在两个实体(例如，供应商和消费者)之间利用数据的传统架构。
[0016]图2示意性地示出了根据一些实施方式的在供应商系统和消费者系统之间利用数据的方法。
[0017]图3示意性地示出了根据实施方式的串行化机器学本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于提供机器学习模型服务的方法，所述方法包括：(a)由第一计算系统使用第一机器学习模型生成第一输出数据，其中所述第一机器学习模型在第一训练数据集上训练；(b)将所述第一输出数据传输到第二计算系统，其中所述第一训练数据集和所述第一机器学习模型对于所述第二计算系统是不可访问的；(c)通过将所述第一输出数据与对于所述第二计算系统可访问的选择的一组输入特征相结合来创建所述输入数据；以及(d)使用第二机器学习模型生成第二输出数据以处理所述输入数据，其中所述第二机器学习模型和所述选择的一组输入特征对于所述第一计算系统是不可访问的。2.根据权利要求1所述的方法，其中所述第一输出数据包括预测值。3.根据权利要求1所述的方法，其中根据一个或多个共同特征将所述第一输出数据与所述选择的一组输入特征相结合。4.根据权利要求3所述的方法，其中所述一个或多个共同特征包括共同特征标识符。5.根据权利要求1所述的方法，其中使用监督学习来训练所述第二机器学习模型，并且用于训练所述第二机器学习模型的标记数据集包括由所述第一机器学习模型生成的数据。6.根据权利要求5所述的方法，其中所述第一机器学习模型是卷积神经网络，并且所述第一机器学习生成的数据包括所述卷积神经网络的顶层的输出。7.根据权利要求1所述的方法，其中通过评估所述第二机器学习模型的性能来确定所述选择的一组输入特征。8.根据权利要求7所述的方法，其中选择不同的一组输入特征，直到所述第二机器学习模型的性能度量优于阈值。9.根据权利要求1所述的方法，还包括接收所述第一计算系统用于生成所述第一输出数据的请求。10.根据权利要求9所述的方法，其中所述请求包括与预测服务相关的一个或多个共同特征。11.一种序列化机器学习系统，包括：(a)第一计算系统，所述第一计算系统被配置为使用第一机器学习模型生成第一输出数...

【专利技术属性】
技术研发人员：邓建功，安翊镇，林大燮，崔普庆，吴世灿，威廉，
申请(专利权)人：摩洛科公司，
类型：发明
国别省市：