【技术实现步骤摘要】
本专利技术涉及一种零样本图像分类算法，更具体一点说，涉及一种基于多判据校准模型的零样本图像分类算法，属于计算机视觉领域。
技术介绍
1、随着人工智能、深度学习等技术的快速发展，计算机视觉领域中的图像分类技术已经取得了长足的进展。然而，现有的图像分类算法大多需要海量的有标注训练样本作为支持，其中样本标注过程通常需要人工手动标注、或通过半自动化程序完成，整个过程需要耗费极大的人力与时间成本。因此，如何在没有大规模有标注样本可用的情况下完成准确地图像分类成为了极端情况下的最优选择。
2、在上述问题下，目前，最常用的解决办法是通过零样本学习方法进行图像分类。零样本学习于2009年由lampert首次引入到计算机视觉领域。其核心思想是利用部分有标注训练样本以及语义知识(属性词、句子描述等)辅助信息实现知识迁移，从而识别出训练阶段从未见过的图像样本。零样本学习因其简单、高效、低成本的特点受到了广泛的关注，涌现出了基于嵌入式模型的、基于生成式模型等一批算法解决方案。其中，嵌入式模型往往通过学习一个视觉特征与语言特征之间的映射函数实现知识迁移；生成模型则利用gan、vae等模型的样本合成能力，通过生成一部分伪样本从而弥补样本缺失。但是这两种解决方案均存在一定局限性，其中，基于嵌入式的模型由于只有部分有标注训练从而经常导致预测偏差，模型倾向于将所有样本预测为训练类别(已知类)，而基于生成式的模型由于生成样本质量难以保证，仍然存在预测偏移。
3、因此综上所述，现有技术方案均无法有效解决已知类与未知类的预测偏移问题，存在技术缺
技术实现思路
1、为了解决上述现有技术问题，本专利技术提供具有能够减少模型对于已知类和未知类之间的预测混淆等技术特点的一种基于多判据校准模型的零样本图像分类算法。
2、为了实现上述目的，本专利技术是通过以下技术方案实现的：
3、本专利技术一种基于多判据校准模型的零样本图像分类算法，其特征在于该算法包括：基于对比学习的特征映射、基于类别的判据建立和基于实例的判据建立、零样本图像分类与校准。
4、优选的，具体包括如下步骤：
5、a)将测试图像样本及其语义的信息输入到映射层，通过训练好的映射网络将其映射到对比学习空间；
6、b)通过建立的类别判据模块的领域检测器，判断测试样本属于已知类或未知类，其具体包括：
7、b1)若类别判据判断为已知类，则通过实例判据模块的领域检测器判断是否属于已知类，若实例判据判断为非已知类则不做校准，若实例判据判断为是已知类，则需要校准；
8、b2)若类别判据判断为未知类，则通过建立的实例判据模块的领域检测器判断是否属于未知类，若实例判据判断为不是未知类则做校准，若实例判据判断为未知类，则需要校准；
9、c)将校准信息输入到零样本图像分类模块型中进行校准、类别预测，输出预测类型。
10、优选的，基于对比学习的特征映射的训练步骤：
11、s1：数据准备，其具体为：
12、首先将有标注训练样本进行清洗，通过旋转、随机剪裁、打乱顺序得到备用训练集，并通过resnet101骨干网络对这批训练样本进行特征提取得到作为算法的输入；
13、为数据集收集语义描述，语义描述包括属性特征，其通过人工标注的形式对样本特征进行抽象，样本特征进行抽象包括颜色是否是黑白蓝、体型大小，得到n×d维属性特征，其中，n为样本类别数量，d为属性维度；
14、s2：基于对比学习的特征映射，其过程具体为：
15、利用一个配备了relu激活函数的全连接层神经网络；编码器1将上述resnet101骨干网络提取之后的特征映射到隐层，图像特征输入维度与输出维度保持不变，均为2048维；所述编码器1为后续进行特征映射的核心映射层；
16、将编码器1的输出重新作为编码器2的输入，再进行一次非线性映射，编码器2除输出维度为512，其作用是构建有监督对比学习损失约束；
17、对编码器2的输入进行批次采样，随机选取一个正样本类别以及r个负样本构建有监督的视觉对比学习损失约束
18、
19、其中，β为温度系数，sim(，)为相似度量，通过最小化不同样本之间的距离会被扩大，而正样本之间的距离会被缩小，以实现使得特征表征判别度更高的同时能够在隐空间保持更符合分类任务的特征分布。
20、优选的，为了适配零样本图像分类任务重的多模态信息(图像与语义信息)设有跨模态的对比学习损失约束(弥补单一视觉约束的不足)：
21、将编码器1输出的2048维视觉特征与语义特征进行匹配，构建类似视觉分支的跨模态对比学习损失
22、
23、其中，是原始图像特征经过编码器1之后的输出，是对应的语义特征，λ是此约束的温度系数，通过最小化视觉信息与语义信息之间的对齐关系能够被显著提升，为多判据校准模型的建立提供了良好的特征表征。
24、优选的，基于类别的判据建立和基于实例的判据建立的步骤包括：
25、通过领域检测器及置信度估计训练流程：通过过训练一个多头输出的全连接层k实现概率信息统计及置信度估计，其中，输出维度分别是n和1，n代表类别输出维度，1代表一个可学习参数，即0到1之间的置信度数值，整个训练流程通过如下损失函数约束：
26、
27、其中，p′i＝·pi+(1-c)yi，即p′i是由原始预测输出概率值及真实的独热标签插值组成，置信度c越大则代表k对于此样本的预测置信度越高，log(c)是惩罚项，避免在参数优化过程中模型倾向于使得置信度c总是为0而陷入局部最优，当模型收敛时得到的k即可视作领域检测器，置信度c可视作为置信度估计值；
28、基于类别的领域检测判据建立：利用k的输出得到检测器对于输入样本的判断集中程度，通过计算所有类别的信息熵得到熵值：
29、
30、其中，en越大代表检测器的预测更加平均，倾向于随机猜测，反之则更为准确，由此能够通过阈值t建立起类别判据：
31、
32、基于实例的领域检测判据建立：利用置信度c及阈值t对测试样本进行实例级别判断：
33、
34、优选的，零样本图像分类模块的训练为样本合成阶段及基础零样本图像分类，所述样本合成阶段及基础零样本图像分类，其具体包括：
35、对于基础零样本分类部分，首先利用条件生成对抗网络合成l类未知类样本，将其纳入到总体训练样本中，通过训练一个生成器g和一个判别器d进行对抗训练，并优化其wasserstein距离，整体对抗损失函数为：
36、
37、其中，d代表判别器，是由生成的伪特征，g代表生成器，是原始特征与生成特征之间的插值，ρ是控制惩罚项的超参数；
38、针对基础零样本分类，利用上述训练好的生成器g生成部分样本，然后将其与原有训练样本一起通过编码器1映射到隐空间本文档来自技高网...
【技术保护点】
1.一种基于多判据校准模型的零样本图像分类算法，其特征在于该算法包括：基于对比学习的特征映射、基于类别的判据建立和基于实例的判据建立、零样本图像分类与校准。
2.根据权利要求1所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：具体包括如下步骤：
3.根据权利要求1或2所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：基于对比学习的特征映射的训练步骤：
4.根据权利要求3所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：为了适配零样本图像分类任务重的多模态信息设有跨模态的对比学习损失约束：
5.根据权利要求3所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：基于类别的判据建立和基于实例的判据建立的步骤包括：
6.根据权利要求3所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：零样本分类模块的训练为样本合成阶段及基础零样本图像分类，所述样本合成阶段及基础零样本图像分类，其具体包括：
7.根据权利要求6所述的一种基于多判据校准模型的零样本图像分类算法，其特
...【技术特征摘要】
1.一种基于多判据校准模型的零样本图像分类算法，其特征在于该算法包括：基于对比学习的特征映射、基于类别的判据建立和基于实例的判据建立、零样本图像分类与校准。
2.根据权利要求1所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：具体包括如下步骤：
3.根据权利要求1或2所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：基于对比学习的特征映射的训练步骤：
4.根据权利要求3所述的一种基于多判据校准模型的零样本图像分类算法，其特征在于：为了适配零样本图像分类任务重的...
【专利技术属性】
技术研发人员：卢子谦，陆哲明，何泽威，王哲，罗浩，郑阳明，
申请(专利权)人：浣江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。