【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其是一种基于难例样本的样本分类方法，尤其涉及一种可应用于小样本情况下的图像分类方法。
技术介绍
1、随着计算机视觉问题的发掘与深度学习技术的发展，图像分类问题在被越来越深入的研究。图像分类问题是大部分计算机视觉问题的基础，图像的分割、检测等最终都将归结于基础的分类问题。因此，在图像分类问题上的突破，也将对上述的各类计算机视觉问题带来极大的进展。在图像分类问题中，小样本分类问题作为一个新兴的研究方向，比传统的图像分类问题更贴合实际情况、更具实用价值，被研究者者们投入了极大的关注度。
2、对于小样本分类问题，其目的是利用很少的有标签样本来识别不可见类集合中的无标签样本，所述有标签样本是指带有语义类别标签的图像样本。在小样本分类问题中有三个基本概念：可见类集合(base集)，支持集(support集)以及查询集(query集)。可见类集合中的每个类都有很多样本，每个样本都是有标签样本。支持集中包含n个类别，每个类别只有k(k很小)个样本并且每个样本都有标签，而查询集只包含这n个类别，但是其中的样本都是无标签样本，所述无标签样本是指不带有语义类别标签的图像样本。通常将小样本任务定义为n-wayk-shot任务。
3、对于小样本学习，我们需要利用可见类集合以及支持集训练一个分类器，然后使用它对查询集中的样本进行分类。
4、目前主流的小样本分类方法主要包含两个关键技术，即情景训练模式与基于度量的分类方法。情景训练模式(episode training)是当前小样本学习中常用
5、1)在可见类集合中采样训练支持集和训练查询集。
6、2)以训练支持集的类别特征均值作为类别锚点，计算查询集样本的分类损失，优化模型。
7、3)训练完成后，以支持集的类别均值为类别锚点，计算查询集中的样本到各个类别锚点的距离，按最近邻法则对查询集样本进行分类。
8、情景训练模式目前技术已经较为成熟，在小样本学习(few-shot learning)、零样本学习(zero-shot learning)与强化学习(reinforcement learning)中均有广泛的应用。在针对小样本学习的情景训练中，首先从可见类集合中对任务进行采样，这些采样获得的样本集被称为插段，然后再使用这些采样获得的插段集来训练模型。在现有技术文献《小样本学习的匹配网络》(《matching networks for one shot learning》)中，首次采用情景训练模式。其训练时一个周期中有多个插段集，而一个插段集内包含有一个支持集与一个查询集。在训练流程上，遵循了一个很简单的规则，即测试和训练条件必须匹配。在训练时仅用每个类别(属于可见类集合)中很少的样本进行训练，因此在训练过程中模拟了测试场景，使模型在测试过程中表现更好。后续的关于小样本分类的技术文献，大多都沿用了相同的情景训练模式，并未对其作任何原理上的修改。情景训练模式可以保持样本任务在可见类与不可见类上的一致性，有助于在可见类集合上训练的模型很好地泛化到不可见类集合。
9、在现有技术文献《小样本学习的匹配网络》(《matching networks for one shotlearning》)中，采用最基础的卷积神经网络(convolutional neural networks,cnn)作为特征提取器，以余弦距离作为特征向量的度量函数。在现有技术文献《小样本分类的交叉注意力网络》(《cross attention network for few-shot classification》)中，采用了性能更好的12层残差网络(resnet-12)作为特征提取器，在以余弦距离为度量函数的基础上，设计了支持样本和查询样本之间的注意力模块，突出二者相似的区域，使模型的性能有了更大的提升。在现有技术文献《小样本学习的可微土堆距离》(《deepemd:differentiableearth mover’s distance for few-shot learning》)中，采用了土堆距离(earth mover距离)作为其度量函数，建模局部特征的关系。
10、在传统的分类模型中，模型往往只会关注物体中最具判别性的区域，从而提高特征的鉴别性。通过观察特征映射响应图可以发现，诸多现有的技术方案与传统的分类模型一样，也倾向于响应样本中最容易判别的区域。因为传统分类模型中，各个类别的锚点通过大量不同形态的样本(具有不同的姿态，颜色等)学习得到，只响应局部特征不会损害锚点对各种形态的表达能力。然而，在小样本分类中，一个类的锚点向量只能通过支持集中少量样本获取，这将忽略全局信息，该锚点向量将难以代表各种形态各异的查询样本。例如，一例只响应狗头部的支持样本，就很难与一例只响应狗腿部的查询样本相匹配。
11、如前所述，小样本分类本身的特殊性，以及现有的小样本分类方法存在的难以响应完整的目标区域的问题，使由少量支持集样本得到的类别锚点无法代表各种不同形态的样本，从而导致现有方法鲁棒性差、准确度低。为了解决现有小样本分类方法存在的前述问题，本专利技术针对小样本分类问题，公开了一种基于难例样本构建的跨集合的的训练方法，使模型能更加完整的响应目标区域。
技术实现思路
1、本专利技术所述方法通过挖掘合适的难例样本，并结合情景训练的特点，构建全新的插段集合用于训练网络，达到迫使模型响应完整目标物体的目的。
2、具体地，第一，本专利技术提出基于难例样本构建的训练方法，以数据增强的方式，弱化训练支持集中样本的关键部位，生成难例样本(hard sample)。第二，利用生成的难例样本，对传统情景训练模型进行了改良，即采用跨集数据增强方法(cross-se本文档来自技高网...
【技术保护点】
1.一种基于跨集合的样本分类的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，步骤(1)中所述弱化处理为对步骤(1)中所述训练支持集中样本进行混合切片处理，使训练支持集中样本的像素连续性特征被打乱以生成难例样本。
3.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，步骤(1)中所述弱化处理为对步骤(1)中所述训练支持集中样本的关键区域进行擦除处理以生成难例样本。
4.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，步骤(1)中所述弱化处理为：对步骤(1)中所述训练支持集中样本的关键区域进行擦除处理后，再对步骤(1)中所述训练支持集中样本进行混合切片处理，使训练支持集中样本的像素连续性特征被打乱以生成难例样本。
5.根据权利要求2所述的基于跨集合的样本分类的方法，其特征在于，所述混合切片处理是对训练支持集中样本进行裁剪切片处理和重排拼接处理。
6.根据权利要求3所述的基于跨集合的样本分类的方法，其特征在于，还包括以下步骤：对步骤(1)中所述难例样本进
7.根据权利要求6所述的基于跨集合的样本分类的方法，其特征在于，所述合适的背景是指与擦除区域附近内容一致的背景。
8.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，所述的关键区域是指，传统分类网络对该区域的某类激活映射较大，即网络依照该区域，最有可能将该图像识别为某类。
9.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，确定所述关键区域的方法为：在可见类集合上训练一个传统分类网络，然后利用该分类网络获得样本上各点对于分类的贡献分数，并通过类别激活图法找到该类别在图像中最具判别性的区域。
10.根据权利要求2所述的基于跨集合的样本分类的方法，其特征在于，所述混合切片处理是指对每一个样本进行裁剪切片处理生成多个补丁块，然后进行重排拼接处理生成新的混合图像样本。
11.根据权利要求10所述的基于跨集合的样本分类的方法，其特征在于，所述重排拼接处理为对经进行裁剪切片处理生成的多个补丁块在一个样本内进行重排拼接处理。
12.根据权利要求10所述的基于跨集合的样本分类的方法，其特征在于，所述重排拼接处理对经进行裁剪切片处理生成的多个补丁块在不同样本间进行重排拼接处理。
...【技术特征摘要】
1.一种基于跨集合的样本分类的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，步骤(1)中所述弱化处理为对步骤(1)中所述训练支持集中样本进行混合切片处理，使训练支持集中样本的像素连续性特征被打乱以生成难例样本。
3.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，步骤(1)中所述弱化处理为对步骤(1)中所述训练支持集中样本的关键区域进行擦除处理以生成难例样本。
4.根据权利要求1所述的基于跨集合的样本分类的方法，其特征在于，步骤(1)中所述弱化处理为：对步骤(1)中所述训练支持集中样本的关键区域进行擦除处理后，再对步骤(1)中所述训练支持集中样本进行混合切片处理，使训练支持集中样本的像素连续性特征被打乱以生成难例样本。
5.根据权利要求2所述的基于跨集合的样本分类的方法，其特征在于，所述混合切片处理是对训练支持集中样本进行裁剪切片处理和重排拼接处理。
6.根据权利要求3所述的基于跨集合的样本分类的方法，其特征在于，还包括以下步骤：对步骤(1)中所述难例样本进行背景重建处理，所述背景重建处理是指使用图像修复模型在该区域中填充合适的背景，使训练图像尽可能真实自...
【专利技术属性】
技术研发人员：王子磊，李俊杰，刘海峰，
申请(专利权)人：合肥中科类脑智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。