一种面向机器学习模型的成员推理隐私攻击方法及系统技术方案

本发明专利技术涉及一种面向机器学习模型的成员推理隐私攻击方法及系统。该方法包括：获取目标模型以及目标数据；根据所述目标数据，采用对抗样本生成算法，生成对抗样本；所述对抗样本生成算法包括：自适应贪婪算法与二分搜索算法结合方法或借助主成分技术在流形界面上的嵌入映射算法；确定所述目标数据与相应的对抗样本的欧式距离；根据所述欧式距离确定判定结果，实现成员推理；所述判定结果包括：目标数据属于训练数据集或目标数据属于测试数据集。本发明专利技术能够解决黑盒成员推理攻击存在访问成本高、可迁移性弱、稳健性差的问题。稳健性差的问题。稳健性差的问题。

【技术实现步骤摘要】
一种面向机器学习模型的成员推理隐私攻击方法及系统


[0001]本专利技术涉及机器学习领域，特别是涉及一种面向机器学习模型的成员推理隐私攻击方法及系统。

技术介绍

[0002]物联网、大数据、云计算等新兴技术使得海量数据的采集、存储和处理成为可能，人工智能特别是机器学习理论与技术的快速发展，在安防、交通、医疗等各领域得到了广泛应用。与此同时，机器学习的安全与隐私问题成为人们关注的焦点，有学者提出了对抗样本攻击、数据投毒攻击、模型推断以及成员推理等各类安全与隐私攻击模型。这些有效的攻击方法引发了人们对机器学习的担忧，同时也成为机器学习发展的内生动力之一，推动科学研究人员和工程技术人员研发安全与隐私性更好的机器学习算法和模型。研究机器学习隐私攻击模型能够推动人们更加深入的理解机器学习模型的深层机理，揭示隐私泄露的本质原因，有利于更好地防范机器学习模型的隐私泄露风险，并有利于推动设计更加高效保护隐私的机器学习模型。
[0003]机器学习成员推理攻击是敌手通过分析机器学习模型来推断目标数据样本是否包含于该机器学习模型训练样本数据集的一种隐私攻击方法，该攻击主要作用于训练样本数据集，威胁机器学习训练样本的成员关系隐私。现有工作大致可分为黑盒成员推理攻击和白盒成员推理攻击2类。
[0004]在黑盒成员推理中，一类方法是基于模型预测置信度来进行成员推理；另一类方法是基于标签决策进行成员推理。这两类攻击方法仅能通过查询目标模型获得输入输出对，而不能获得任何关于模型的额外数据，即借助目标模型的输出结果来完成成员推断。其中，基于模型预测置信度的成员推理作为一种需要借助目标模型的置信向量输出来进行推断的技术，能够实施成功源于机器学习固有的过拟合特性，即成员数据的输出向量的分布更集中，而非成员数据的输出向量的分布相对较为平缓。尽管这些工作在黑盒设置下取得了不错的进展，但由于企业的访问限制，敌手无法从目标模型中获得足够多样本的预测向量。更关键的是，这类攻击模型难以突破MemGuard防御。因此，进一步提出基于标签决策的成员推理，其仅需借助目标模型的输出标签即可进行成员推理，推断者将模型返回的最大预测标签作为推断输入，在预测模型训练集与测试集的过程中引入了扰动难度，提高了成员推理的稳健性，因此被广泛应用于机器学习的安全和隐私领域。预测标签与对抗样本、影子技术相结合，能够提升模型的稳健性及推理精度，但其难以保证推理的可信度和数据访问的低成本与可迁移性。例如，Yeom等定量分析了训练集和测试集的攻击性能与损失之间的关系，提出了基于过拟合特性下的基线攻击。随后，Choo等提出了一种类似边界攻击的方法。通过将机器学习的过拟合特性映射到训练集样本与测试集样本的扰动问题中，借助对抗样本解决传统成员推理固有的过拟合问题。但是，该类攻击访问成本过高，当限定访问次数会导致攻击失效，这在一定程度上削弱了算法的推断精度，给推断者的具体实施带来了巨大挑战。
[0005]在白盒成员推理攻击方面，攻击者可以对目标模型进行白盒访问。在此条件下，攻击者可以获得目标模型所使用的云训练平台的相关信息，或直接获得目标模型的训练算法、内部参数、模型结构、中间结果等信息，从而构建与目标模型预测能力相似的模型。鉴于先前的攻击方法很少用到这些信息，于是，Nasr等将成员推理攻击拓展到基于先验知识的白盒设置，将从目标模型那获得的激活函数和梯度信息作为推断的特征，来进行成员推断，还提出了针对联邦学习中的主动成员推理攻击。接着，Hayes等在关于应对GAN的成员推理攻击的工作中也提到了一种白盒攻击，该攻击仅使用GAN鉴别器部分的输出，而无需鉴别器或生成器的学习权重即可完成推断。除此之外，Long等提出了一种针对泛化性良好的模型的成员推理攻击并称之为GMIA。在此种模型下，不是所有的数据都易遭受成员推理攻击，因此需要找到易受到成员推理攻击的脆弱数据点来进行推理。尽管现有的白盒成员推理能够实现较好的攻击效果，但由于在实际场景中机器模型通常部署为黑盒模型，其所需的模型知识在实际机器学习应用场景中难以得到满足。
[0006]综上，黑盒成员推理攻击在机器学习模型中有更加广泛的应用，但现有的黑盒成员推理攻击存在访问成本高、可迁移性弱、稳健性差等问题。

技术实现思路

[0007]本专利技术的目的是提供一种面向机器学习模型的成员推理隐私攻击方法及系统，能够解决黑盒成员推理攻击存在访问成本高、可迁移性弱、稳健性差的问题。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]一种面向机器学习模型的成员推理隐私攻击方法，包括：
[0010]获取目标模型以及目标数据；
[0011]根据所述目标数据，采用对抗样本生成算法，生成对抗样本；所述对抗样本生成算法包括：自适应贪婪算法与二分搜索算法结合方法或借助主成分技术在流形界面上的嵌入映射算法；
[0012]确定所述目标数据与相应的对抗样本的欧式距离；
[0013]根据所述欧式距离确定判定结果，实现成员推理；所述判定结果包括：目标数据属于训练数据集或目标数据属于测试数据集。
[0014]可选地，所述根据所述目标数据，采用对抗样本生成算法，生成对抗样本，具体包括：
[0015]向目标数据添加高斯扰动生成对抗样本的初始值；
[0016]根据所述对抗样本的初始值，采用自适应贪婪算法与二分搜索算法结合方法，获得局部最优方向；
[0017]沿着所述局部最优方向，进行迭代更新，获取最贴近决策边界的对抗样本点，生成对抗样本。
[0018]可选地，所述所述根据所述目标数据，采用对抗样本生成算法，生成对抗样本，具体包括：
[0019]根据训练数据集和目标数据确定合成数据集；
[0020]对所述合成数据集进行主成分降维处理，获得流形界面；
[0021]对所述流形界面进行投影方向的搜寻，获得流形界面的投影点，生成对抗样本。
[0022]可选地，所述根据所述欧式距离确定判定结果，实现成员推理，具体包括：
[0023]获取判定阈值；
[0024]判断所述欧式距离是否大于判定阈值；
[0025]若大于，则目标数据属于训练数据集；反之，则目标数据属于测试数据集。
[0026]一种面向机器学习模型的成员推理隐私攻击系统，包括：
[0027]数据获取模块，用于获取目标模型以及目标数据；
[0028]对抗样本生成模块，用于根据所述目标数据，采用对抗样本生成算法，生成对抗样本；所述对抗样本生成算法包括：自适应贪婪算法与二分搜索算法结合方法或借助主成分技术在流形界面上的嵌入映射算法；
[0029]欧式距离确定模块，用于确定所述目标数据与相应的对抗样本的欧式距离；
[0030]成员推理实现模块，用于根据所述欧式距离确定判定结果，实现成员推理；所述判定结果包括：目标数据属于训练数据集或目标数据属于测试数据集。
[0031]可选地，所述对抗样本生成模块具体包括：
[0032]初始值生成单元，用于向目标数据添本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向机器学习模型的成员推理隐私攻击方法，其特征在于，包括：获取目标模型以及目标数据；根据所述目标数据，采用对抗样本生成算法，生成对抗样本；所述对抗样本生成算法包括：自适应贪婪算法与二分搜索算法结合方法或借助主成分技术在流形界面上的嵌入映射算法；确定所述目标数据与相应的对抗样本的欧式距离；根据所述欧式距离确定判定结果，实现成员推理；所述判定结果包括：目标数据属于训练数据集或目标数据属于测试数据集。2.根据权利要求1所述的一种面向机器学习模型的成员推理隐私攻击方法，其特征在于，所述根据所述目标数据，采用对抗样本生成算法，生成对抗样本，具体包括：向目标数据添加高斯扰动生成对抗样本的初始值；根据所述对抗样本的初始值，采用自适应贪婪算法与二分搜索算法结合方法，获得局部最优方向；沿着所述局部最优方向，进行迭代更新，获取最贴近决策边界的对抗样本点，生成对抗样本。3.根据权利要求1所述的一种面向机器学习模型的成员推理隐私攻击方法，其特征在于，所述所述根据所述目标数据，采用对抗样本生成算法，生成对抗样本，具体包括：根据训练数据集和目标数据确定合成数据集；对所述合成数据集进行主成分降维处理，获得流形界面；对所述流形界面进行投影方向的搜寻，获得流形界面的投影点，生成对抗样本。4.根据权利要求1所述的一种面向机器学习模型的成员推理隐私攻击方法，其特征在于，所述根据所述欧式距离确定判定结果，实现成员推理，具体包括：获取判定阈值；判断所述欧式距离是否大于判定阈值；若大于，则目标数据属于训练数据集；反之，则目标数据属于测试数据集。5.一种面向机器学习模型的成员推理隐私攻击系统，其特征在于，包括：数据获取模块，用于获取目标模型以及目...

【专利技术属性】
技术研发人员：彭长根，高婷，刘惠篮，丁红发，蒋合领，
申请(专利权)人：贵州大学，
类型：发明
国别省市：