【技术实现步骤摘要】
本专利技术涉及图像分类，具体涉及一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法。
技术介绍
1、广义零样本学习(generalized zero-shot learning，gzsl)需要一个在可见类上训练的类分类器，能够同时识别可见类和不可见类，不可见类训练样本的缺失往往会导致分类器对可见类的过拟合，从而导致分类结果偏向于这些类，一些方法使用生成模型为看不见的类合成视觉样本，在一定程度上缓解了过拟合，然而，在可见类上训练的生成模型在生成不可见类样本时不可避免地会发生分布偏移，而且，这些方法往往只关注合成样本与真实样本之间的整体分布关系，忽略了合成样本之间的类间关系，导致合成样本的可分性较差；
2、鉴于以上，本申请提供一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法用于解决上述问题。
技术实现思路
1、针对上述情况，为克服现有技术之缺陷，本专利技术提供一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，包括语义增强(se)模块、语义-视觉对比生成(vscg)模块和特征融合分类(ffc)模块，se模块增强视觉样本特征并缓解域偏移，vscg模块促进视觉特征空间中的类内紧凑性，ffc模块在测试过程中稀释视觉特征中的跨数据集偏差并增强特征判别性，实验结果表明，本申请提出的方法可以有效地提高gzsl的性能。
2、一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，该方法包括语义-视觉对比生成模块、语义增强模块和特征融合分类
3、具体包括以下步骤：
4、s1：在语义-视觉对比生成模块中采用信息增强方法对条件变分自编码器图区的特征进行扰动，使用单隐层估计语义信息的边际概率，并将其与潜变量的条件概率相乘；
5、s2：在条件变分自编码器生成器中引入实例级视觉-语义对比损失，用于生成具有紧凑类内分布特征；
6、s3：语义增强模块使用来自可见类的真实特征及它们相应的语义属性训练一个回归器，用于约束生成的视觉特征和语义属性特征的对齐；
7、s4：特征融合分类模块使用训练好的回归器将imagenet训练好的主干提取的有偏视觉特征v解码为语义属性特征ā，同时从回归器的中间层获取潜在特征h；
8、s5：将s4中三个分量进行融合，对有偏的视觉特征v进行稀释，得到更具判别性的特征vāh；
9、s6：将s5中得到的vāh输入到gzsl分类器中，增强了分类器的识别性能。
10、上述技术方案有益效果在于：
11、(1)本方案引入一种新颖的信息增强(ie)方法，在降低潜变量失效可能性的同时，增强潜变量的判别能力；
12、(2)本申请提出了一个se模块，将可见类语义属性集成到生成器和回归器中，这样能够生成以前未见过的类，缓解了对可见类过拟合引起的域偏移，同时也生成了更全面的视觉特征样本；
13、(3)本方案引入了vscg模块，该模块强调了实例关系，以鼓励模型合成紧凑的类内分布；
14、(4)本申请提出ffc模块，在测试过程中，融合视觉特征v、回归器解码v得到的中间层特征h和输出结果ā，这种融合产生了更具判别性的特征，记为vāh。
本文档来自技高网...【技术保护点】
1.一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，该方法包括语义-视觉对比生成模块、语义增强模块和特征融合分类模块，所述语义-视觉对比生成模块包括条件变分自编码器、信息增强方法、实例级视觉语义对比损失和判别器，所述语义增强模块包括回归器、语义融合模块；
2.根据权利要求1所述的一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，其特征在于，所述条件变分自编码器包括推理网络生成潜变量z，生成网络利用z和语义特征a重构视觉特征所述条件变分自编码器损失函数为：
3.根据权利要求2所述的一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，其特征在于，所述条件变分自编码器在训练过程中使用条件生成器G来合成训练特征引入带有梯度惩罚的生成式对抗网络损失函数Lwgan来优化生成器G和判别器D的性能，Lwgan表示为：
4.根据权利要求1所述的一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，其特征在于，所述信息增强方法表示为：
5.根据权利要求1所述的一种基于语义知识融合和视觉-语义对比合成的广义零样
6.根据权利要求5所述的一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，其特征在于，语义融合模块用于生成增强的视觉特征和新类的视觉特征其损失函数定义为：
...【技术特征摘要】
1.一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，该方法包括语义-视觉对比生成模块、语义增强模块和特征融合分类模块，所述语义-视觉对比生成模块包括条件变分自编码器、信息增强方法、实例级视觉语义对比损失和判别器，所述语义增强模块包括回归器、语义融合模块；
2.根据权利要求1所述的一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，其特征在于，所述条件变分自编码器包括推理网络生成潜变量z，生成网络利用z和语义特征a重构视觉特征所述条件变分自编码器损失函数为：
3.根据权利要求2所述的一种基于语义知识融合和视觉-语义对比合成的广义零样本学习方法，其特征在于，所述条件变分自编码器在训练过程中使用条件生成器g来合成训练特征引...
【专利技术属性】
技术研发人员：刘小明，黄子悦，杨关，王晨，许进忠，杨华，
申请(专利权)人：中原工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。