一种成员推断模型的训练方法技术

本说明书实施例公开了一种成员推断模型的训练方法。所述方法包括：获取探测样本的特征值，并将所述探测样本的特征值送入目标模型，以获取目标模型针对探测样本的响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入特征，将探测样本的类别作为标签，训练成员推断模型。

【技术实现步骤摘要】
一种成员推断模型的训练方法
本说明书涉及信息
，特别涉及一种成员推断模型的训练方法。
技术介绍
成员推断(或称为成员推理、成员探测)是指数据持有者通过API获得模型的响应数据并在此基础上推测输入数据(或称为特征数据)是否属于模型的训练集。成员推断具有一定的威胁。现实中，模型的训练集可能来源于涉及实体隐私的敏感数据库，一旦数据持有者推断出某个ID属于含有敏感信息的训练集，很有可能造成实体隐私的泄露。因此，有必要在模型设计之初来测试其抵御成员推断的能力，以提高模型的安全性，避免潜在的隐私泄露风险。
技术实现思路
本说明书实施例之一提供一种成员推断模型的训练方法。所述方法包括：获取探测样本的特征值，将探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。本说明书实施例之一提供一种成员推断模型的训练系统。所述系统包括第一输入模块、类别确定模块和成员推断模型训练模块；所述第一输入模块用于获取探测样本的特征值，并将探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；所述类别确定模块用于获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；所述成员推断模型训练模块用于将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。本说明书实施例之一提供一种成员推断模型的训练装置。所述装置包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的方法。附图说明本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的成员推断的场景示意图；图2是根据本说明书一些实施例所示的成员推断模型的训练场景示意图；图3是根据本说明书一些实施例所示的成员推断模型的训练系统的示例性模块图。具体实施方式为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。图1是根据本说明书一些实施例所示的成员推断的场景示意图。如图1所示，场景100可以包括服务端110、用户端120和网络130。服务端110可基于训练好的机器学习模型提供数据服务，如预测服务。服务提供商可以对数据持有者(用户)隐藏模型及其训练算法的细节，只向用户提供访问模型的API(ApplicationProgrammingInterface，应用编程接口)，即将模型作为一个黑盒。用户端120通过网络130与服务端110进行数据交互，具体的，用户可以通过模型提供的API向模型传输输入数据并获得模型的响应数据。以神经网络模型为例，该响应数据可以是softmax层输出的预测向量，每个向量位对应一个类别且反映预测对象属于该类别的概率。然而，对于提供预测服务的API，通过有限次的访问(调用)该API，可以基于返回的预测值反推模型的具体参数和/或结构，或者结合输入模型的特征值和模型输出的预测值训练出一个替代模型。成员推断(或称为成员推理、成员探测)是指数据持有者通过访问API获得模型的响应数据并在此基础上推测输入数据(或称为特征数据)是否属于模型的训练集。通常，机器学习模型在训练样本和非训练样本上的表现(可通过指标来量化)存在一定差异，数据持有者可以利用这一点实现成员推断。在一些实施例中，可以训练用于成员推断的机器学习模型(简称成员推断模型)，对于单个对象/ID，成员推断模型的训练样本的特征数据可基于该对象对应的目标模型的特征数据和响应数据获得，成员推断模型的训练样本的标签指示该对象是否属于目标模型的训练集。关于成员推断模型的更多细节，可以参考图2及其相关说明。成员推断具有一定的威胁。现实中，模型的训练集可能来源于涉及实体隐私的敏感数据库，一旦数据持有者推断出某个ID属于含有敏感信息的训练集，很有可能造成实体隐私的泄露。例如，数据持有者了解到某医疗模型的训练集来自存储有患有特定疾病的患者信息的数据库，当推测出某个ID属于该医疗模型的训练集后，数据持有者有足够信心认为该ID患有该疾病，从而造成了患者隐私的泄露。因此，有必要在模型设计之初测试其抵御成员推断的能力，以提高模型的安全性，避免潜在的隐私泄露风险。为此，本说明书一些实施例提供了一种成员推断模型的训练方法，以此得到的成员推断模型可以用于测试其他模型(如提供某数据服务的机器学习模型)对抗成员攻击的能力。在一些实施例中，服务端110可以是独立的服务器或者服务器组，该服务器组可以是集中式的或者分布式的。在一些实施例中，用户端120可以包括各类计算设备，如智能电话、平板电脑、膝上型计算机、服务器等等。在一些实施例中，服务器可以是区域的或者远程的。在一些实施例中，服务器可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。在一些实施例中，网络130可以包括有线网络和/或无线网络。例如，网络130可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。图2是根据本说明书一些实施本文档来自技高网...

【技术保护点】
1.一种成员推断模型的训练方法，其中，包括：/n获取探测样本的特征值，并将所述探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；/n获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；/n将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。/n

【技术特征摘要】
1.一种成员推断模型的训练方法，其中，包括：
获取探测样本的特征值，并将所述探测样本的特征值送入目标模型，以获得所述目标模型针对探测样本的响应数据；
获取响应数据的置信度，并基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，所述类别指示该探测样本是否为目标模型训练集的成员；
将探测样本的特征值以及所述目标模型针对该探测样本的响应数据作为输入，将探测样本的类别作为标签，训练成员推断模型。


2.如权利要求1所述的方法，其中，所述探测样本的类别包括正样本和负样本；其中，正样本指示所述探测样本为目标模型训练集的成员，负样本指示所述探测样本不是目标模型训练集的成员；
所述基于响应数据的置信度与设定阈值的比较结果确定探测样本的类别，包括：
当所述置信度大于所述设定阈值时，将对应的探测样本的类别确定为正样本，否则，将对应的探测样本的类别确定为负样本。


3.如权利要求1所述的方法，其中，所述获取探测样本的特征值，包括：
随机生成第一输入；
将第一输入送入生成器，以获得探测样本的特征值。


4.如权利要求3所述的方法，其中，还包括：
调整生成器的参数和/或结构，以调整所述生成器的正样本生成率；所述正样本生成率为所述生成器生成的构造样本中，被确定为所述目标模型训练集的成员的构造样本...

【专利技术属性】
技术研发人员：张斌，陈岑，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33