视频分析神经网络模型的后门攻击方法技术

本发明专利技术属于神经网络安全技术领域，具体为视频分析神经网络模型的后门攻击方法。本发明专利技术针对视频的高样本维度、高帧分辨率、稀疏数据集等更加严苛的后门攻击实施环境，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；视频后门污染样本构建框架包括三个部分：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；本发明专利技术从后门模式与原始样本两个方面引入梯度信息来建立攻击目标值与后门模式之间的关联。本发明专利技术方法具有攻击成功率高、隐秘性高、鲁棒性好、扩展性佳等优点，在视频分析神经网络模型中具有非常好的泛化性。

Backdoor attack method of video analysis neural network model

【技术实现步骤摘要】
视频分析神经网络模型的后门攻击方法
本专利技术属于神经网络安全
，具体涉及视频分析神经网络模型的后门攻击方法。
技术介绍
深度神经网络当前被广泛应用于图片识别、自然语言处理、视频分析等领域。尽管取得了很大的成功，近年来，研究发现神经网络由于其透明度低、可解释性差等特性，极易受到神经网络后门攻击，这会对人脸识别、自动驾驶、医疗诊断等方面带来很大的安全隐患。后门攻击是一种数据集污染攻击，攻击者将后门模式采用特定方法插入受害者的训练集样本中，受害者训练的时候后门模式和攻击目标值之间便会建立一个联系，模型将记住这种后门模式，然后在测试的时候无论输入什么，每当出现这种后门模式时模型将会预测攻击目标值，其他情况下模型将会进行正常的预测。当前的神经网络后门攻击主要经历了如下两个阶段的发展。文献[1]首次定义了神经网络领域的后门攻击概念。其中提出了BadNet攻击方法，即通过随机采样后将样本错误标注为攻击目标值来实施后门攻击。该方法由于标注与样本的不一致性，隐秘性低，容易被人为监测以及简单的数据过滤方法所检测到。文献[2]提出了干净标注的神经网络后门攻击方法。其在标注与样本保持一致的条件下污染数据集实施后门攻击，这解决了BadNet中的隐秘性问题，但仅仅只在局部范围中插入后门会大大降低攻击成功率。文中则采用了对局部样本进行隐空间插值与对抗扰动两种方法，有效的提高了攻击的成功率。本专利技术的系统主要针对于视频分析神经网络模型的后门攻击任务。现有的神经网络后门攻击研究都主要集中于图像领域，但区别于图像的后门攻击，视频具有样本维度高（视频比图片多了时间维度）、帧分辨率高（视频帧分辨率通常为224x224）、数据集稀疏（样本间差异大、样本总体分布稀疏）等特点。当前的后门攻击方法在这些苛刻的条件下，视频的原始特征会对模型产生极大的干扰，导致模型很难再去捕捉后门模式的信息，这很大程度上降低了后门神经网络攻击在视频上的成功率。针对上述瓶颈，本专利技术设计了视频分析神经网络模型的后门污染样本构建的全新框架。其可以使模型减少对视频原始特征的关注程度，更多的捕捉到后门模式及其特征，从而建立后门模式与攻击目标值之间的联系，达到攻击目的。本专利技术提出的方法具有很强的实际操作性，可以大幅度提高后门攻击的成功率。
技术实现思路
本专利技术的目的在于提供一种攻击成功率高、实际操作性强的视频分析神经网络模型的后门攻击方法。本专利技术提供的视频分析神经网络模型的后门攻击方法，针对视频的高样本维度、高帧分辨率、稀疏数据集等更加严苛的后门攻击实施环境，提出了任务导向的模型高敏感度视频后门模式生成算法与特征模糊的模型低敏感度对抗噪声视频样本生成算法，减少了视频原始特征对后门模式的干扰程度，使得模型预测攻击目标值更加依赖于后门模式是否出现；本专利技术提出了完整的污染样本生成与攻击机制，可以很大程度上提高后门攻击的成功率，使得视频的后门攻击具有较强的实际操作性。本专利技术提供的视频分析神经网络模型的后门攻击方法，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；所述的视频后门污染样本构建框架，主要包括三个方面：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；其中：所述任务导向的模型高敏感度视频后门模式生成算法，是将后门模式安插进原始数据集的视频样本中，并将其标注为攻击目标值输入网络，利用梯度信息迭代更新后门模式中的像素值，最终生成模型高敏感度视频后门模式。见图1所示。所述特征模糊的模型低敏感度对抗噪声视频样本生成算法，是按一定污染比例选取数据集中部分视频样本，并将其标注为攻击目标值，然后采用PGD算法给样本加入对抗噪声，最终获得模型低敏感度对抗噪声视频样本。见图2所示。所述的污染样本生成与攻击算法，是将生成的后门模式安插入加了对抗噪声的视频样本中，然后连同原始数据集中其余所有的干净样本，构建成污染数据集，提供给用户进行训练，至此完成一次完整的视频分析神经网络模型的后门攻击。见图3所示。本专利技术中，所述的任务导向的模型高敏感度视频后门模式生成算法，具体步骤如下：步骤1：给定受攻击者使用的数据集D、神经网络模型结构NN，预先在该D上通过常规训练该NN，得到一个好的模型M；步骤2：确定后门的大小、形状以及视频帧中注入后门的位置，初始化该后门模式内的像素值；步骤3：将D中的视频样本插入当前的后门模式，并标注为攻击目标值target，构成子数据集D1；步骤4：将D1中的视频样本按批次输入模型M，利用输出层的梯度信息更新后门模式内的各像素值；步骤5：循环步骤3、步骤4，经过一定迭代次数后，迭代终止，最终得到模型高敏感度视频后门模式trigger。步骤1中，所述的待攻击的数据集以及神经网络模型为针对视频分析领域的数据集与神经网络模型，正常训练得到的模型能够在干净的数据集上产生常规的正确的结果。步骤2中，所述的后门的大小、形状可以任意设定；注入的位置可以是视频帧中的任意位置；后门内的像素值可以为任意的合法初始值。步骤3中，所述的在视频样本中插入后门模式的方法为，将原始视频中属于设定的后门位置的那部分像素值设置为后门内对应的像素值，视频的其他部分则保持不变；对于攻击目标值target，应设置为攻击者所期望的结果分布（比如针对分类任务应设置为攻击者的攻击目标类别的标签，又如回归任务则应设置为攻击者所期望得到的回归值）。步骤4中，所述的输入层的梯度信息由模型M的输出结果和标注的攻击目标值target二者的构成的损失函数产生；更新后门模式时只改变输入视频中的后门部分的像素值，视频其他部分保持不变，更新的规则为原始像素值减去其梯度方向函数的一定步长。步骤5中，所述的迭代终止的条件为：损失函数小于设定阈值，或者迭代超过设定次数，最终得到任务导向的模型高敏感度视频后门模式trigger。本专利技术中，所述的特征模糊的模型低敏感度对抗噪声视频样本生成算法，具体步骤如下：步骤1：按一定污染比例，从原始数据集D中根据一定规则采样得到子数据集D2（D中剩下的视频构成子数据集为D3），并将D2中所有视频标注为攻击目标值target，输入到M；步骤2：对D2中每个视频样本迭代一定次数以加入对抗噪声，构成子数据集。步骤1中，所述采样规则应根据不同环境下攻击者具有的攻击条件来设定：全局污染条件下，可以在D中进行全局采样；局部污染条件下，只能对D中部分特定样本进行采样。步骤2中，加入对抗噪声的方法为PGD方法。本专利技术中，所述的污染样本生成与攻击算法，具体步骤如下：步骤1：将中的视频样本插入后门模式trigger，连同D3，构成被污染的数据集Dpoison；步骤2：将Dpoison提供给用户进行训练。步骤1中，所述在视频样本中插入后门模式的方法为，将插入前的视频中属于后门位置的那部分像素值设置为后门内对应的像素值，视频的其他部分则保持不变。本文档来自技高网...

【技术保护点】
1.一种视频分析神经网络模型的后门攻击方法，其特征在于，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；所述的视频后门污染样本构建框架，包括三个部分：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；其中：/n所述任务导向的模型高敏感度视频后门模式生成算法，是将后门模式安插进原始数据集的视频样本中，并将其标注为攻击目标值输入网络，利用梯度信息迭代更新后门模式中的像素值，最终生成模型高敏感度视频后门模式；/n所述特征模糊的模型低敏感度对抗噪声视频样本生成算法，是按一定污染比例选取数据集中部分视频样本，并将其标注为攻击目标值，然后采用PGD算法给样本加入对抗噪声，最终获得模型低敏感度对抗噪声视频样本；/n所述的污染样本生成与攻击算法，是将生成的后门模式安插入加了对抗噪声的视频样本中，然后连同原始数据集中其余所有的干净样本，构建成污染数据集，提供给用户进行训练，至此完成一次完整的视频分析神经网络模型的后门攻击。/n

【技术特征摘要】
1.一种视频分析神经网络模型的后门攻击方法，其特征在于，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；所述的视频后门污染样本构建框架，包括三个部分：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；其中：
所述任务导向的模型高敏感度视频后门模式生成算法，是将后门模式安插进原始数据集的视频样本中，并将其标注为攻击目标值输入网络，利用梯度信息迭代更新后门模式中的像素值，最终生成模型高敏感度视频后门模式；
所述特征模糊的模型低敏感度对抗噪声视频样本生成算法，是按一定污染比例选取数据集中部分视频样本，并将其标注为攻击目标值，然后采用PGD算法给样本加入对抗噪声，最终获得模型低敏感度对抗噪声视频样本；
所述的污染样本生成与攻击算法，是将生成的后门模式安插入加了对抗噪声的视频样本中，然后连同原始数据集中其余所有的干净样本，构建成污染数据集，提供给用户进行训练，至此完成一次完整的视频分析神经网络模型的后门攻击。


2.根据权利要求1所述的视频分析神经网络模型的后门攻击方法，其特征在于，所述的任务导向的模型高敏感度视频后门模式生成算法，具体步骤如下：
步骤1：给定受攻击者使用的数据集D、神经网络模型结构NN，预先在该D上通过常规训练该NN，得到一个好的模型M；
步骤2：确定后门的大小、形状以及视频帧中注入后门的位置，初始化该后门模式内的像素值；
步骤3：将D中的视频样本插入当前的后门模式，并标注为攻击目标值target，构成子数据集D1；
步骤4：将D1中的视频样本按批次输入模型M，利用输出层的梯度信息更新后门模式内的各像素值；
步骤5：循环步骤3、步骤4，经过一定迭代次数后，迭代终止，最终得到模型高敏感度视频后门模式trigger。


3.根据权利要求2所述的视频分析神经网络模型的后门攻击方法，其特征在于，步骤1中，所述的待攻击的数据集以及神经网络模型为针对视频分析领域的数据集与神经网络模型，正常训练得到的模型能够在干净的数据集上产生常规的正确的结果；
步骤2中，所述的后门的大小、形状任意设定；注入的位置是视频帧中的任意位置；后门内的像素值为任意的...

【专利技术属性】
技术研发人员：姜育刚，赵世豪，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31