【技术实现步骤摘要】
本专利技术属于后融合，具体涉及一种基于交叉对比学习的后融合伪装方法和装置。
技术介绍
1、随着深度学习和神经网络技术的飞速发展，研究人员开始在后融合领域尝试探索深度学习模型的应用潜力。后融合方法是指在模型训练或推理完成后，通过一定的方式将多个独立模型的输出或预测结果结合在一起，从而提升整体性能、鲁棒性和泛化能力。后融合方法通常在模型生成输出后进行，而不是在训练过程中，包括使用神经网络来学习模型融合的权重或设计更复杂的融合方法，使得各个模型能够充分发挥各自的优势，并通过融合策略实现性能的优化。
2、在后融合过程中，由于需要将多个模态数据的检测结果结合在一起，研究人员常常面临多模态数据处理的问题。多模态数据通常包含多种不同的信息来源和形式，如图像、文本、语音等，在图像识别中的多模态包括红外检测和可见光检测等。为了有效地整合这些多模态的数据，后融合方法需要设计复杂的融合机制，以充分利用各种模态之间的互补性，然而，这也带来了额外的挑战，特别是对数据标注和标签的依赖。由于多模态数据集通常需要详细地注释和标签来支持监督学习，这些标注工作不仅需要专业的人力投入，而且对于复杂的多模态任务来说，标注的难度和成本更是显著增加，标注过程涉及对图像的目标框标注、文本的语义标注等，要求标注者具备丰富的领域知识和经验。在实际应用中，往往会因缺乏足够的标注数据和标签而限制了后融合方法的应用范围和效果。
3、为克服这一挑战，交叉对比学习作为一种新兴的技术应运而生，旨在通过学习将相似的样本在嵌入空间中靠近，而将不相似的样本分散开，使得模型
4、在这种背景下，由于后融合方法通常会涉及多个模型的输出信息的整合，不同模型的不一致性或者模型的不稳定性可能为伪装技术提供了利用的机会，如果融合过程中的某个模型对输入的微小扰动非常敏感，则可以通过构造对抗样本来引导整个系统产生错误的融合结果。因此，面向图像识别和目标隐身应用场景，需要设计一种后融合伪装方法，通过基于交叉对比学习构造隐身效果更强的对抗样本实现伪装，使目标检测模型得到错误的检测结果，从而使后融合模型产生错误输出，基于伪装技术的成功实现来揭示后融合模型在安全性和鲁棒性方面的弱点，从而可以据此采取进一步措施提升后融合模型的安全性和鲁棒性。
技术实现思路
1、鉴于上述，本专利技术的目的是提供一种基于交叉对比学习的后融合伪装方法和装置，基于交叉对比学习生成目标检测模型骨干网络用于更好地提取图像特征，同时结合差分进化算法生成对抗性补丁并嵌入到图像中生成对抗样本，利用对抗样本干扰目标检测模型对目标的检测结果，使后融合模型在融合了目标检测模型的检测结果后得到错误的最终检测结果，在提高对抗样本隐身效果的同时也能够揭示后融合模型在安全性和鲁棒性方面的弱点，适用于自动驾驶、机器人技术、安防、隐私保护领域等多种应用场景。
2、为实现上述专利技术目的，本专利技术提供的技术方案如下：
3、本专利技术实施例提供的一种基于交叉对比学习的后融合伪装方法，包括以下步骤：
4、预训练用于学习图像特征的对比学习模型，构建对比损失度量正样本对的相似性和负样本对的差异，基于对比损失优化对比学习模型，提取优化后对比学习模型的骨干网络构建用于图像识别的目标检测模型；
5、基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装，将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型得到目标的置信度分数，构建包括对比损失、基于置信度分数的目标检测损失和基于对抗性补丁的感知损失及正则项的总对抗性损失，基于总对抗性损失优化对抗性补丁；
6、将优化后的对抗性补丁添加到多模态的图像上生成对抗样本，将对抗样本输入多模态的目标检测模型得到多模态的检测结果，再将多模态的检测结果输入后融合模型中进行融合得到最终检测结果，根据多模态的检测结果和最终检测结果对对抗样本中目标的隐身效果进行评估。
7、优选地，所述预训练用于学习图像特征的对比学习模型，构建对比损失度量正样本对的相似性和负样本对的差异，包括：
8、构建基于对比学习框架的对比学习模型，并给定n个未标记的图像，对比学习模型首先通过数据增强为每个图像生成两个增广视图，从而得到2n个样本，若第i个样本xi和第j个样本xj都是同一图像的增广视图，则(xi,xj)为正样本对，否则为负样本对；
9、对于给定的样本xi，首先从对比学习模型的基编码器得到样本xi的特征表示hi＝f(xi)，然后使用对比学习模型的投影头将特征表示hi投影到更小的空间中得到基于多层感知机的特征表示zi＝g(hi)；
10、对于每个正样本对(xi,xj)构建正样本对比损失l(i,j)，公式如下：
11、
12、其中，sim(·,·)为两个向量之间的余弦相似度，τ为温度参数；
13、将l(i,j)代入基于2n个样本构建的对比损失lcontrastive中，公式如下：
14、
15、其中，k为正样本对源自同一图像的序号；
16、利用构建的对比损失lcontrastive优化对比学习模型的参数。
17、优选地，所述基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装，包括：
18、利用基于差分进化算法的形状优化方法生成对抗性补丁时，选定图像中目标的至少一个初始化形状并随机生成父类种群，从父类种群开始利用交叉和突变产生多代子类种群，在子类种群迭代进化过程中找到合适的解对对抗性补丁的形状进行优化，子类种群求解过程表示为：
19、设定每个种群的总体锚点为{pv|v＝1,…,n}，pv为种群中的第v个锚点，n为锚点总数，给定种群大小q，第l代子类种群的解s(l)表示为：
20、
21、其中，su(l)为第l代子类种群中的第u个形状，suv(l)为su(l)的第v个锚点，和共同构成可行区域bv用于限制形状中第v个锚点的移动范围，通过对锚点的边界限制对对抗性补丁的位置进行优化，以su(l)为基础，通过交叉、突变和选择得到第l+1代解s(l+1)；
22、对于每一代求解得到的子类种群，通过将子类种群中的每个形状添加到图像中并输入多模态的目标检测模型中进行跨模态评估，其中多模态的目标检测模型为提取优化后对比学习模型的骨干网络所构建，基于目标检测模型输出的图像中目标识别的置信度分数构建适应度函数评价每个形状su(l)的隐身效果，根据适应度函数使适者生存，最终选择隐身效果最好的一组形状作为最优的子类种群形成对抗性补本文档来自技高网...
【技术保护点】
1.一种基于交叉对比学习的后融合伪装方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述预训练用于学习图像特征的对比学习模型，构建对比损失度量正样本对的相似性和负样本对的差异，包括：
3.根据权利要求1所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装，包括：
4.根据权利要求1所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型得到目标的置信度分数，包括：
5.根据权利要求4所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述添加对抗性补丁的可见光图像和添加对抗性补丁的红外图像的生成公式表示为：
6.根据权利要求5所述的基于交叉对比学习的后融合伪装方法，其特征在于，对于所述覆盖图像，在实际应用时这两幅覆盖图像的值是由可见光传感器和红外传感器对比物理世界中统一的绝缘材料拍摄得到的；在实际应用场景当物理世界的目标需要隐身时，通过采用
7.根据权利要求2所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述构建包括对比损失、基于置信度分数的目标检测损失和基于对抗性补丁的感知损失及正则项的总对抗性损失，基于总对抗性损失优化对抗性补丁，包括：
8.根据权利要求1所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述根据多模态的检测结果和最终检测结果对对抗样本中目标的隐身效果进行评估，包括：
9.一种基于交叉对比学习的后融合伪装装置，其特征在于，包括：对比学习模型预训练模块、对抗性补丁生成优化模块和后融合及效果评估模块；
10.一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时，实现权利要求1-8任一项所述的基于交叉对比学习的后融合伪装方法。
...【技术特征摘要】
1.一种基于交叉对比学习的后融合伪装方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述预训练用于学习图像特征的对比学习模型，构建对比损失度量正样本对的相似性和负样本对的差异，包括：
3.根据权利要求1所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装，包括：
4.根据权利要求1所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型得到目标的置信度分数，包括：
5.根据权利要求4所述的基于交叉对比学习的后融合伪装方法，其特征在于，所述添加对抗性补丁的可见光图像和添加对抗性补丁的红外图像的生成公式表示为：
6.根据权利要求5所述的基于交叉对比学习的后融合伪装方法，其特征在于，对于所述覆盖图像，在实际应用时这两幅覆盖图像的值是由可见光传感器和红外传感器对比物理世界中统一的绝缘材料拍摄得到的；在实际应用场景当物理世界的...
【专利技术属性】
技术研发人员：陈晋音，韩烨，郑海斌，项圣，梁盛辉，宣琦，王巍，苗春雨，杨星，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。