评价方法、评价装置、以及评价程序制造方法及图纸

在对于中毒攻击的机械学习模型的以往的耐性评价方法中有评价需要庞大的时间这样的问题、数据的准备困难的问题。计算机执行基于表示机械学习模型的推理精度的相对于第一训练数据的变化而言的降低的程度的信息，生成使推理精度降低的第二训练数据，使用第二训练数据对机械学习模型进行训练，并进行训练后的机械学习模型的评价的处理。由此，在一个侧面，能够更高效地进行机械学习模型对使机械学习模型的推理精度降低的训练数据的耐性评价。型的推理精度降低的训练数据的耐性评价。型的推理精度降低的训练数据的耐性评价。

【技术实现步骤摘要】
【国外来华专利技术】评价方法、评价装置、以及评价程序


[0001]本专利技术涉及评价方法、评价装置、以及评价程序。

技术介绍

[0002]作为机械学习固有的安全问题之一的中毒攻击，是通过使异常数据混入机械学习模型的训练数据，来有意地改变机械学习模型，使其推理精度显著降低的攻击。
[0003]因此，预先评价机械学习模型由于中毒攻击而污染到何种程度、推理精度降低至何种程度较重要。作为机械学习模型针的对中毒攻击的耐性评价，例如有实际对机械学习模型实施中毒攻击，使推理精度降低，并评价降低程度的方法。另外，作为其它的评价方法，有使用将各个训练数据给予机械学习模型的推理的影响量化的影响函数，评价基于中毒攻击的异常数据的影响程度的方法。
[0004]非专利文献1：“Towards Poisoning of Deep Learning Algorithms with Backgradient Optimization”,L.Munoz
‑
Gonzalez,B.Biggio,A.Demontis,A.Paudice,V.Wongrassamee,E.C.Lupu,and F.Roli
[0005]非专利文献2：“Understanding Black
‑
box Predictions via Influence Functions”,K.W.Pang,L.Percy
[0006]然而，实际实施中毒攻击的评价方法需要使用大量的异常数据重复机械学习模型的训练和推理精度的降低程度的评价，有需要庞大的时间这样的问题。另外，使用影响函数的评价方法中，虽然需要具体地准备用于评价影响程度的训练数据，但在数据的输入空间较大的情况下有特别难以进行数据的准备的问题。

技术实现思路

[0007]在一个侧面，目的在于提供能够更高效地进行机械学习模型针对使机械学习模型的推理精度降低的训练数据的耐性评价的评价方法、评价装置、以及评价程序。
[0008]在第一方案中，计算机执行基于表示相对于第一训练数据的变化而言的机械学习模型的推理精度的降低的程度的信息，生成使推理精度降低的第二训练数据，使用第二训练数据对机械学习模型进行训练，并进行训练后的机械学习模型的评价的处理。
[0009]在一个侧面，能够更高效地进行机械学习模型对使机械学习模型的推理精度降低的训练数据的耐性评价。
附图说明
[0010]图1是表示实施例1所涉及的评价装置10的功能构成的功能框图。
[0011]图2是表示实施例1所涉及的训练数据空间的例子的图。
[0012]图3是表示实施例1所涉及的机械学习模型的耐性评价处理的流程的流程图。
[0013]图4是表示实施例1所涉及的训练数据的更新处理的流程的流程图。
[0014]图5是表示实施例2所涉及的机械学习模型的耐性评价处理的流程的流程图。
[0015]图6是说明评价装置10的硬件构成例的图。
具体实施方式
[0016]以下，基于附图对本申请公开的评价方法、评价装置、以及评价程序的实施例进行详细说明。此外，并不通过该实施例对该专利技术进行限定。另外，各实施例能够在不矛盾的范围内适当地组合。
[0017]实施例1
[0018][评价装置10的功能构成][0019]首先，对成为本申请公开的评价方法的执行主体的评价装置10的功能构成进行说明。图1是表示实施例1所涉及的评价装置10的功能构成的功能框图。如图1所示，评价装置10具有通信部20、存储部30、以及控制部40。
[0020]通信部20是控制与其它的装置之间的通信的处理部，例如是通信接口。
[0021]存储部30是存储各种数据、控制部40执行的程序的存储装置的一个例子，例如是存储器、硬盘等。存储部30例如也能够存储用于构建机械学习模型的模型参数、用于机械学习模型的训练数据。此外，在存储部30中，除了上述具体例以外也能够存储各种数据。
[0022]控制部40是管理评价装置10整体的处理部，例如是处理器等。控制部40具有生成部41、训练部42、评价部43、以及计算部44。此外，各处理部是处理器具有的电子电路的一个例子或者是处理器执行的进程的一个例子。
[0023]生成部41基于表示机械学习模型的推理精度的相对于训练数据的变化而言的降低的程度的信息，生成使推理精度降低的训练数据，以进行机械学习模型的针对中毒数据的耐性评价。通过针对机械学习模型的训练所使用的训练数据，生成使机械学习模型的推理精度降低的中毒数据，并在训练所使用的训练数据中追加中毒数据，来生成使推理精度降低的训练数据。
[0024]对中毒数据生成进行说明。图2是表示实施例1所涉及的训练数据空间的例子的图。在图2的例子中，以在训练数据空间有标签1～3这三个标签为例进行说明。首先，生成部41从机械学习模型的训练所使用的训练数据的全部的标签的集群中随机地选择数据作为初始点。在图2的例子中，分别随机地选择(数据A，标签1)、(数据B，标签2)、(数据C，标签3)来作为来自标签1～3的集群的初始点。此外，初始点，例如是成为用于使用梯度上升法搜索污染度更高的数据的基础的数据和标签的组合。基于初始点搜索出的数据和标签的组合最终成为中毒数据。
[0025]另外，生成部41将对从各集群中选择的各数据赋予一个或者多个与原始标签不同的标签而得到的数据追加为初始点。若使用图2进行说明，则例如由于数据A的原始标签为标签1，所以将对数据A赋予了与原始标签不同的标签亦即标签2、标签3而得到的数据追加为初始点。在图2的例子中，对赋予了原始标签的数据的三点赋予不同的标签而得到的数据有三点
×
不同的标签的两点的共计六点，所以在该时刻，最多生成九点的初始点。
[0026]并且，生成部41将使标签不同的数据彼此配对得到的数据追加为初始点。这里，配对是指数据转换，是使用两个数据生成一个数据的转换。例如，在训练数据中有数据x_1、x_2，各自的标签为y_1、y_2的情况下，能够通过下式计算数据(x_1，y_1)与(x_2，y_2)的配对。此外，通过配对，能够根据标签不同的一组的数据生成两个数据。第一个配对将数据x_1以
及x_2作为数值或者向量值，且各个数值取a～b的范围，使λ为0～1的实数，配对1＝(λ(b－x_1)+(1－λ)(x_2－a)，y_1)，第二个配对能够使用配对2＝(λ(x_1－a)+(1－λ)(b－x_2)，y_2)计算。另外，在图2的例子中，由于标签有三个，所以不同的标签的组合有标签1－标签2、标签2－标签3、标签3－标签1这三个，能够分别对它们生成两点的配对数据。因此，通过配对，进一步追加不同的标签的组合三个
×
配对数据两点共计六点作为初始点。
[0027]如以上那样生成的初始点例如通过计算部44使用梯度上升法更新为污染度更高的数据。而且，重复数据的更新，直至满足规定条件为止，计算使机械学习模型的推理精度进一步降低的中毒数据。此外，针对各初本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种评价方法，其特征在于，计算机执行如下处理：基于表示机械学习模型的推理精度的相对于第一训练数据的变化而言的降低的程度的信息，生成使上述推理精度降低的第二训练数据；使用上述第二训练数据对上述机械学习模型进行训练；以及进行训练后的上述机械学习模型的评价。2.权利要求1所述的评价方法，其特征在于，生成上述第二训练数据的处理包含如下处理：从上述第一训练数据的全部的标签的集群中随机地选择数据作为初始点；将对上述选择的各数据赋予了一个或者多个与原始标签不同的标签而得到的数据追加为上述初始点；将使上述标签不同的数据彼此配对得到的数据追加为上述初始点；基于上述初始点，生成上述第二训练数据。3.权利要求2所述的评价方法，其特征在于，生成上述第二训练数据的处理包含基于多个上述初始点生成多个上述第二训练数据的处理，对上述机械学习模型进行训练的处理包含使用上述多个第二训练数据的每一个对上述机械学习模型进行训练的处理，进行上述训练后的机械学习模型的评价的处理包含进行使用上述多个第二训练数据的每一个进行了训练的多个上述训练得到的机械学习模型各自的评价的处理。4.权利要求2或者3所述的评价方法，其特征在于，基于上述初始点生成上述第二训练数据的处理包含如下处理：通过梯度上升法更新上述初始点；基于上述更新后的初始点，生成上述第二训练数据。5.权利要求4所述的评价方法，其特征在于，基于上述初始点生成上述第二训练数据的处理包含如下处理：通过上述梯度上升法更新赋予到上述初始点的标签；基于上述更新后的初始点和标签，生成上述第二训练数据。6.权利要求...

【专利技术属性】
技术研发人员：清水俊也，樋口裕二，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：