【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于比特平面的辅助性单目标跟踪对抗防御重构方法。
技术介绍
1、视频单目标跟踪是计算机视觉中的重要任务之一，指利用单目标跟踪器是在连续的视频帧序列中，依据初始帧中指定的一个目标区域，提取目标视觉特征，并在后续视频帧序列中对该目标存在的位置进行预测。现有的单目标跟踪器主要分为三类：基于cnn的跟踪器、cnn与transformer相结合的跟踪器、transformer跟踪器。
2、对抗攻击主要通过在干净样本中添加人们难以察觉的细微扰动，使得正常训练的深度学习模型输出置信度很高的错误预测。目标跟踪任务中的对抗攻击技术就是通过精心设计的目标函数指导网络模型或迭代方法生成不易察觉的对抗扰动加入视频帧中，使先进的跟踪器在正常跟踪过程中丢失跟踪目标。如csa攻击、iou攻击、dfa攻击等。对抗防御旨在消除对抗样本带来的威胁。目前有以下方法：
3、sravanti等人在图像分类领域采用基于比特平面的量化技术实现对抗防御，通过量化技术获得高位平面图像，连同正常干净图像一起送进神经网络进行训练，通过设计loss函数加强神经网络在高位平面图像和正常干净图像上的决策一致性（即正则化因子bit plane feature consistency，bpfc），从而使得神经网络更多地利用高比特平面信息形成粗略的预测，仅使用低比特平面信息细化预测。该方法无需对抗样本进行训练，计算代价相比对抗训练更小，能提升网络的鲁棒性。但该方法损失细节信息，其防御效果和对抗训练等方法仍存在差距。且目前这种基于比特
4、achyut等人针对mnist数据集，构建十个类别的具有代表性的支持数据集。防御对抗攻击时，保留对抗样本的高平面，用同类别支持数据集中的低平面，替换对抗样本的低平面，以达到防御的目的。该方法迁移性和实用性差，在不同数据集上应用的效果存疑。
5、liu等人利用不同的位平面组合输入位平面分类器进行卷积，再将它们与目标dnn模型集成预测，以防御对抗性攻击。但该方法计算和训练代价较大。
技术实现思路
1、本专利技术的目的就在于提供一种解决上述问题，降低干净样本精度的同时，提升防御对抗攻击的能力且训练代价较小的，一种基于比特平面的辅助性单目标跟踪对抗防御重构方法。
2、为了实现上述目的，本专利技术采用的技术方案是这样的：一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，包括以下步骤；
3、s1，获取由干净样本构成的视频帧序列，其中第i帧干净样本为ii，其标注，、分别为ii的分类标签和回归标签，n为干净样本总数；
4、s2，在ii中添加扰动得到ii对应的对抗样本，构成对抗样本序列；
5、s3，通过比特平面分层方法对进行量化，得到ii对应的量化样本，构成量化样本序列；
6、s4，构造一防御网络mrec，用于输入，输出防御样本序列；
7、所以防御网络mrec基于unet网络，当i=1时，经unet网络输出防御样本，当i≥2时，输入unet网络并融合前一帧量化样本后输出防御样本；
8、s5，获取一基于孪生网络的跟踪器mf，所述mf的特征提取网络共j层，每层输出一特征图；
9、所述mf用于输入和，且对，mf输出对应的第j层特征提取网络的特征图、分类标签和回归标签，对，mf输出对应的第j层特征提取网络的特征图、预测分类标签和预测回归标签，1≤j≤j；
10、s6，将mrec和mf组成总网络，构造总损失函数ltri，包括特征损失lfea、防御样本分类损失lcls和防御样本回归损失lreg；
11、s7，预设迭代轮次、用和训练总网络，且训练时冻结mf的网络参数、以最小化ltri更新mrec的网络参数，直至达到迭代轮次，将训练好的mrec作为防御重构模型；
12、s8，获取待识别视频帧序列，按步骤s2、s3生成对应的量化样本序列，再经防御重构模型生成防御样本序列，用于跟踪器跟踪。
13、作为优选：s3中对进行量化，得到量化样本具体为；
14、通过比特平面分层方法将分为第一比特平面b1到第八比特平面b8；预设量化因子k，根据公式生成量化样本，式中，1≤k＜8，j为第j比特平面的索引。
15、作为优选：k=5。
16、作为优选：步骤s4包括步骤s41~s42；
17、s41，获取一unet网络，包括收缩路径和扩展路径，对量化样本，收缩路径依次生成第一下采样特征~第三下采样特征~，扩展路径依次生成第三上采样特征~第一上采样特征~，且与、与、与、跳跃连接；
18、s42，对，当i=1时，经unet网络直接输出防御样本；
19、当i=2~n时，改进unet网络的跳跃连接方式，令与、与、与跳跃连接，生成防御样本，其中，、、分别为第i-1帧干净样本ii-1对应量化样本的第一下采样特征、第二下采样特征、第三下采样特征。
20、作为优选：s6中，特征损失lfea、总损失函数ltri根据下式得到；
21、，
22、，
23、式中，α、β、γ分别为lfea、lcls和lreg的超参数平衡因子。
24、作为优选：α=0.4、β=0.3、γ=0.3。
25、作为优选：所述跟踪器mf包括siamrpn、siamrpn ++、transt、和stark。
26、作为优选：s6中，防御样本分类损失lcls采用交叉熵损失函数，所述防御样本回归损失lreg采用smooth l1损失。
27、作为优选：s7中一次迭代的训练方法包括；
28、s71，将输入mrec生成；
29、s72，将、输入mf计算总损失函数ltri；
30、s73，用adam优化器通过ltri更新mrec的网络参数。
31、关于比特平面分层：英文为bit plane slicing，对一张图像来说，每个点的像素值都可以转换为其二进制表示，由于图像像素的最小值和最大值在0到255之间，总共需要8位来表示像素值的二进制表示，因此图像能被分割成8个比特平面，且比特平面是元素值为0或1的矩阵，其中第1个比特平面b1包含图像中所有像素的最低阶比特，而第8个比特平面b8包含图像中所有像素的最高阶比特。在目标跟踪的对抗攻击中，添加的不可察觉的扰动通常位于低比特平面，因此本专利技术去除前k个低比特平面，保留高比特平面，形成量化样本。从该公式可知，比特平面越高，权重越大，在量化样本中保留得越多，通过该公式，即可更多保留高比特平面的主要视觉信息、去除大部分的扰动。
32、关于本专利技术所述跟踪器，包括siamrpn本文档来自技高网...
【技术保护点】
1.一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：S3中对进行量化，得到量化样本具体为；
3.根据权利要求2所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：k=5。
4.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：步骤S4包括步骤S41~S42；
5.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：S6中，特征损失Lfea、总损失函数LTri根据下式得到；
6.根据权利要求5所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：α=0.4、β=0.3、γ=0.3。
7.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：所述跟踪器MF包括SiamRPN、SiamRPN ++、TransT、和STARK。
8.根据权利要求1所述的一种基
9.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：S7中一次迭代的训练方法包括；
...【技术特征摘要】
1.一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：s3中对进行量化，得到量化样本具体为；
3.根据权利要求2所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：k=5。
4.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：步骤s4包括步骤s41~s42；
5.根据权利要求1所述的一种基于比特平面的辅助性单目标跟踪对抗防御重构方法，其特征在于：s6中，特征损失lfea、总损失函数ltri根据下式得到；
6.根...
【专利技术属性】
技术研发人员：邓建华，
申请(专利权)人：上海成电福智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。