数据处理方法、神经网络模型的后门防御方法及装置制造方法及图纸

本说明书提供一种数据处理方法、神经网络模型的后门防御方法及装置，基于神经元的权重和梯度值计算出各个神经元的重要性指标值，进而筛选出后门神经元，针对后门神经元进行神经网络模型的优化，有效的避免了神经网络模型被后门攻击后，导致数据处理出现错误的问题，提升了数据处理的安全性和准确性，进一步提升了人工智能系统的安全性能。人工智能系统的安全性能。人工智能系统的安全性能。

【技术实现步骤摘要】
数据处理方法、神经网络模型的后门防御方法及装置


[0001]本说明书属于计算机
，尤其涉及一种数据处理方法、神经网络模型的后门防御方法及装置。

技术介绍

[0002]在过去的十年中，神经网络得益于其强大的表示学习能力，在许多领域发挥着不可或缺的作用，尤其是在图像处理方面。然而，神经网络的成就也使它成为许多攻击的焦点，其中最具威胁的是后门攻击。通过将带有精心设计的触发器和标签的图像混合到训练集中，后门攻击可以控制受害者神经网络在输入具有触发器的图像时按照攻击者的意愿行事，同时在输入正常数据时表现正常。后门攻击的高隐蔽性和攻击可行性，从而影响神经网络模型的应用的安全性，给人们的工作和生活带来安全隐患。

技术实现思路

[0003]本说明书实施例的目的在于提供一种数据处理方法、神经网络模型的后门防御方法、装置及设备，提高了数据处理的准确性和安全性，提升了模型性能。
[0004]一方面，本说明书实施例提供了一种数据处理方法，所述方法包括：采集待处理数据；将所述待处理数据输入到神经网络模型中，所述神经网络模型为去除后门后的神经网络模型，所述神经网络模型的去除后门操作包括：根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值，按照重要性指标值从大到小对各个神经元进行排序，将排序在指定名次之后的神经元作为后门神经元，并对后门神经元进行净化，获得去除后门后的神经网络模型；利用所述神经网络模型对所述待处理数据进行数据处理。
[0005]另一方面，本说明书实施例提供了一种神经网络模型的后门防御方法，所述方法包括：将干净样本数据输入到受到了后门攻击的神经网络模型中，获取所述神经网络模型中各个神经元的权重以及梯度值；根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值；按照重要性指标值从大到小对各个神经元进行排序，将排序在指定名次之后的神经元作为后门神经元；对所述后门神经元进行净化，获得去除后门的神经网络模型。
[0006]又一方面，本说明书提供了一种数据处理装置，所述装置包括：数据采集模块，用于采集待处理数据；数据输入模块，用于将所述待处理数据输入到神经网络模型中，所述神经网络模型为去除后门后的神经网络模型，所述神经网络模型的去除后门操作包括：根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值，按照重要性指标值从大到小对
各个神经元进行排序，将排序在指定名次之后的神经元作为后门神经元，并对后门神经元进行净化，获得去除后门后的神经网络模型；数据处理模块，用于利用所述神经网络模型对所述待处理数据进行数据处理。
[0007]又一方面，本说明书提供了一种神经网络模型的后门防御装置，所述装置包括：参数获取模块，用于将干净样本数据输入到受到了后门攻击的神经网络模型中，获取所述神经网络模型中各个神经元的权重以及梯度值；指标计算模块，用于根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值；神经元识别模块，用于按照重要性指标值从大到小对各个神经元进行排序，将排序在指定名次之后的神经元作为后门神经元；模型净化模块，用于对所述后门神经元进行净化，获得去除后门后的神经网络模型。
[0008]再一方面，本说明书实施例提供了一种神经网络模型的后门防御设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述数据处理方法或神经网络模型的后门防御方法。
[0009]本说明书提供的数据处理方法、神经网络模型的后门防御方法及装置，针对神经网络模型，利用干净样本数据获取神经网络模型中各个神经元的梯度值，结合各个神经元的权重，计算出各个神经元的重要性指标，筛选出相对于干净样本数据而言产生显著贡献的好的神经元，进而剩余的神经元可以认为很有可能是被嵌入了后门的后门神经元。进而，可以对识别出的后门神经元进行净化，实现对神经网络模型的优化，避免神经网络模型被后门攻击导致模型处理结果有误，提升了模型的安全性和处理结果的准确性，进而提升了使用神经网络模型进行数据处理的系统的性能，如提升了数据处理的安全性和准确性。
附图说明
[0010]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0011]图1是根据本说明书的一些实施例所示的后门攻击场景示意图；图2是本说明书实施例提供的数据处理方法实施例的流程示意图；图3是本说明书实施例提供的神经网络模型的后门防御方法实施例的流程示意图；图4是本说明书提供的数据处理装置一个实施例的模块结构示意图；图5是本说明书提供的神经网络模型的后门防御装置一个实施例的模块结构示意图；图6是本说明书一个实施例中计算机设备的硬件结构框图。
具体实施方式
[0012]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明
书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0013]图1是根据本说明书的一些实施例所示的后门攻击场景示意图。场景100可以涉及应用机器学习模型的各种场景，例如自动驾驶领域的图像目标识别场景、自然语言处理领域的文本主题识别场景、智能推荐领域的用户反馈信息推荐等。
[0014]在各种机器学习模型的应用场景中，模型可能会遭到后门攻击（也可以称为投毒攻击或木马攻击）。在后门攻击中，攻击者可以通过各种手段在模型中植入后门（例如通过在模型的训练数据集中添加包括触发器的训练数据以对模型进行污染，从而将后门植入模型；又例如对模型的某个特定神经元进行操作以对模型进行污染，从而将后门植入模型）。被植入后门的模型又可称为后门模型。当向后门模型输入干净样本（或干净数据）时，后门模型能正常预测，得到干净样本对应的正确标签，但当向后门模型输入带有触发器的输入数据时，后门模型则输出攻击者指定的标签（或者称为中毒标签，例如，指定的图像中物体类别标签如标识牌），从而攻击者可以操纵模型的输出。
[0015]其中，后门可以是指将带有该后门对应的触发器的数据输入模型，模型输出攻击者指定的某个标签的模式，也可以是指模型中被污染的模型部分例如被污染的神经元。模型处理输入数据后，会输出对应的预测结果，亦可称为标签（或称为预测标签，以区别于训练数据集中训练样本对应的样本标签），例如图片中物体的类别、文本的主题类别等。模型可以（例如后门模型、目标模型等）具有标签空间，标签空间中可以包括模型可能输出的所有标签，其一般与训练数据集的样本标签集合对应。攻击者指定的标签可以称为目标标签或者中毒标签。
[0016]触发器是指用于触发模型后门从而令后门模型输出目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，所述方法包括：采集待处理数据；将所述待处理数据输入到神经网络模型中，所述神经网络模型为去除后门后的神经网络模型，所述神经网络模型的去除后门操作包括：根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值，按照重要性指标值从大到小对各个神经元进行排序，将排序在指定名次之后的神经元作为后门神经元，并对后门神经元进行净化，获得去除后门后的神经网络模型；利用所述神经网络模型对所述待处理数据进行数据处理。2.一种神经网络模型的后门防御方法，所述方法包括：将干净样本数据输入到受到了后门攻击的神经网络模型中，获取所述神经网络模型中各个神经元的权重以及梯度值；根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值；按照重要性指标值从大到小对各个神经元进行排序，将排序在指定名次之后的神经元作为后门神经元；对所述后门神经元进行净化，获得去除后门后的神经网络模型。3.如权利要求2所述的方法，所述根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值包括：将各个神经元的权重与梯度值的乘积的负值作为对应神经元的重要性指标值。4.如权利要求2所述的方法，所述根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值包括：将所述干净样本数据分为指定数量的干净子样本数据；依次将各个干净子样本数据输入到所述神经网络模型中，依次获得各个干净子样本数据对应的各个神经元的权重以及梯度值；基于各个干净子样本数据对应的各个神经元的权重以及梯度值，分别计算出各个干净子样本数据对应的各个神经元的候选重要性指标值；按照干净子样本数据的顺序对各个神经元的候选重要性指标值分别进行排序；将排序在第二位的候选重要指标值与排序第一位的候选重要指标值进行加权平均计算后，获得排序在第二位的加权重要性指标值，将排序在第三位的候选重要指标值与排序在第二位的加权重要性指标值进行加权平均计算后，获得排序在第三位的加权重要性指标值，直至计算出各个神经元对应的排序在最后一位的加权重要性指标值，并分别将排序在最后一位的加权重要性指标值作为各个神经元的重要性指标值。5.如权利要求2所述的方法，所述根据各个神经元的权重以及梯度值，计算出各个神经元的重要性指标值包括：采用BS（ω）=
‑▽
ω
L
Dtest
(ω)
·
ω计算出各个神经元的重要性指标值；其中，BS（ω）表示神经元的重要性指标值，
▽
ω
L
Dtest
(ω)表示神经元的梯度值，D test 表示所述干净样本数据，ω表示神经元的权重。6.如权利要求2所述的方法，所述对所述后门神经元进...

【专利技术属性】
技术研发人员：范洺源，陈岑，王力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：