基于半监督学习和细粒度特征学习的分类优化方法技术

本发明专利技术涉及计算机视觉的技术领域，更具体地，涉及基于半监督学习和细粒度特征学习的分类优化方法。本发明专利技术是一种利用半监督学习来筛选伪标签数据，并且指定一种细粒度图片特征提取、利用方法来提升神经网络的泛化能力，以提升分类网络其在细粒度分类任务上的表现。包括：通过伪标签数据来扩充数据集；通过SSD对输入图片进行目标检测，对检测结果通过多个尺度进行裁剪，将检测结果和裁剪得到的图像块一起送入分类网络中学习，通过加权输出抑制背景块的影响。本发明专利技术还涉及到迁移学习，具体涉及到利用ImageNet数据集上的预训练模型的，冻结卷积层，微调全连接层，极大的节省了训练内存，节省了训练时间。

Classification optimization method based on semi-supervised learning and fine-grained feature learning

The invention relates to the technical field of computer vision, and more specifically to a classification optimization method based on semi-supervised learning and fine-grained feature learning. The invention uses semi-supervised learning to screen pseudo-label data, specifies a fine-grained image feature extraction method, and improves the generalization ability of the neural network to enhance the performance of the classification network on the fine-grained classification task. Including: expanding the data set by pseudo-label data; detecting the target of the input picture by SSD, clipping the detection result by multiple scales, sending the detection result and the clipped image block into the classification network to learn together, and suppressing the influence of the background block by weighted output. The invention also relates to migration learning, in particular to the use of pre-training model on ImageNet data set, freezing convolution layer, fine-tuning full connection layer, which greatly saves training memory and training time.

【技术实现步骤摘要】
基于半监督学习和细粒度特征学习的分类优化方法
本专利技术涉及计算机视觉的
，更具体地，涉及基于半监督学习和细粒度特征学习的分类优化方法。
技术介绍
细粒度图像识别是图像分类领域中一个子任务，它的目标是在一个大类中的数百数千个子类中正确识别目标。相同的子类中物体的差异可能大不相同，不同的子类中物体可能又有着较高的相似度，再加上可用于训练的细分类数据集小，这是识别他们的三大难点。如何有效地对输入对象进行检测，并从中找到重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题，现有的方法解决细粒度分类问题按照其使用的监督信息的多少可以分为两类：基于强监督信息的分类模型和弱监督信息的分类模型两大类。基于强监督信息的细粒度图像分类模型是指，在模型训练时，除了图像的类别标签外，还使用了物体标注框和部位标注点等额外的人工标注信息，以此来获得更好的分类精度。基于弱监督信息的细粒度图像分类模型则希望在不借助partannotation的情况下，依赖于本身的算法来完成物体和局部区域的检测，也可以捕捉到所需要的局部信息，以达到结合全局信息和局部信息来做细粒度级别的分类。对于训练集不足的问题，一般可以通过迁移学习和半监督学习来解决，迁移学习通过大型数据集上训练好模型来在新的任务上做微调，半监督学习通过使用无标记数据来扩充可训练数据集样本。训练一个卷积神经网络往往需要较高的GPU内存和长时间的迭代训练，而如何把无标记样本正确利用起来是半监督学习一个难题。目前尚未发现在具备高精确度、能解决训练样本不足并且能极大缩短运行时间，节省内存，提高时效的专利或者文献。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供基于半监督学习和细粒度特征学习的分类优化方法，兼顾精准和内存、时间平衡的方法，通过半监督学习来扩充数据集，利用多尺度的细粒度特征来提高分类精确性，降低错误率。本专利技术的技术方案是：基于半监督学习和细粒度特征学习的分类优化方法，其中，包括以下步骤：S1.对无标记数据做投票操作，挑选具有一致的结果且不属于混淆类的数据当做伪标签；S2.用挑选好的伪标签扩充训练集；S3.选定一张有标记图片，得到检测结果图A；S4.将上一步得到的图A进行随机裁剪得到图片；S5.将裁剪得到的图像块和图A一起送进网络去学习；S6.选定待测试图片，得到检测结果图B；S7.将图B划分大小，裁剪图像块；S8.将裁剪得到图像块以及图B一起做预测；S9.对上一步得到的每张图像块的预测结果，用最大预测概率减去次大预测概率作为他们的权重，累加加权后的概率，取最大概率所在类别当做测试图片的最终结果。本专利技术中，结合半监督学习来挑选伪标签，用伪标签扩充数据集，用裁剪的图像块帮助模型学习细粒度特征，对要预测的图片做加权的结果输出。进一步的，所述的步骤S3和S6中，用SSD检测，得到检测结果。SSD（SingleShotMultiBoxDetector）是一种目标检测算法，该算法于2016年提出，是目前最主要的检测算法之一，相比FasterRCNN有明显的速度优势，相比YOLO又有明显的mAP优势。SSD具有如下主要特点：1、从YOLO中继承了将detection转化为regression的思路，同时一次即可完成网络训练；2、基于FasterRCNN中的anchor，提出了相似的priorbox；3、加入基于特征金字塔（PyramidalFeatureHierarchy）的检测方式，相当于半个FPN思路。进一步的，所述的步骤S4中，图A以两种尺度，即图A的1/2和1/4，进行随机裁剪各得到8张图。所述的步骤S5中，将16张裁剪得到的图像块和图A一起送进网络去学习，训练网络时，在输出的时候，对每个输出概率向量，用最大预测概率减去次大预测概率作为他们的权重，累加加权后的概率，取最大概率所在类别当做测试图片的最终结果。所述的步骤S7中，将图B划分成2×2大小，裁剪五个图像块。所述的步骤S8中，将裁剪得到的4张图像块以及图B一起做预测。本专利技术利用了迁移学习，冻结卷积层，只训练全连接层大大缩短训练时间，节省内存。半监督学习、细粒度特征学习、迁移学习都运用到以上步骤中。与现有技术相比，有益效果是：在本专利技术中，使用了半监督学习解决了可训练数据集不足的问题，通过裁剪，捕捉细粒度图像特征，加权输出类别概率，都极大提高了准确度。通过冻结卷积层，只训练全连接层，极大地节省内存，缩短了训练时间，因此本专利技术在精确性和时效性方面做到了很好的平衡，这在目前来看并没有别的文献和专利做到过。附图说明图1表示整套算法的流程图。图2表示三个分类网络(VGG19、ResNet18、GoogleNet)在cifar10数据集上的分类准确率柱状图。图3表示半监督学习方法扩充数据集后给各个单模型带来的提升前后对比。图4表示训练时随机裁剪方式得到得到的一些结果图。图5表示测试时对检测后图片的裁剪方式。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。本实施例中，使用SSD来对分类目标进行检测，以放大目标在图像中所占比例。步骤一中，我们三个经典的卷积神经网络VGG19、ResNet18和GoogleNet来做投票操作。首先在目标数据集上训练三个网络，然后让训练好的网络各自对验证集做出分类判断，然后对三个网络得到各个类别的准确率做平均，可得到各类别判断准确率如图2所示，将柱状图中远低于平均值的类别视为混淆类(如图2中红色和橘色和红色柱子所示类别)，即难分类类别。将无标记样本中，三个模型分类结果一致且不属于混淆类类别的样本挑选出来，视为伪标签，即把三个模型的共同分类结果视为该无标记样本的类别。步骤二中，将步骤一中挑选出来的伪标签加入到训练集，以此来扩充数据集，扩充前后的模型分类效果对比表格如图3所示。步骤三中，将训练数据先用SSD进行检测，得到要分类目标的位置，对此位置进行裁剪，裁剪时进行短边延伸，即使得到的图片块长和宽大小一致，记为图A，裁剪出的部分快如图4所示。步骤四中，从图A的中心点出发，以图A大小的1/4和1/9两种尺度随机裁剪各得到8张图片，共16张。裁剪得到部分图像块可视化结果如图2所示。步骤五中，将上一步得到的十六张图片块都标记上和图A一样的类别，然后和图A一起送入网络中去学习，训练网络，在网络输出的时候，对每个输出概率向量，用最大预测概率减去次大预测概率作为他们的权重，累加加权后的概率，取最大概率所在类别当做测试图片的最终结果。步骤六中，测试的时候，对于待测试图片，用SSD检测，得到检测结果记为图B。步骤七中，将上一步得到的图B以2×2的大小进行划分，然后裁剪，得到四个图像块，再从图片的中心点出发，裁剪一个为图B的1/4大小的图像块，总的裁剪过程如图5所示。步骤八中，将划分的四个部分裁剪下来得到四个图像块，将这四个图像块和图A一起送入网络去做预测，得到五个预测概率向量。步骤九中，对上一步得到的五个预测概率向量，我们分别用每个概率向量的最大值减去次大值作为它们各自的权重w本文档来自技高网...

【技术保护点】
1.基于半监督学习和细粒度特征学习的分类优化方法，其特征在于，包括以下步骤：S1. 对无标记数据做投票操作，挑选具有一致的结果且不属于混淆类的数据当做伪标签；S2. 用挑选好的伪标签扩充训练集；S3. 选定一张有标记图片，得到检测结果图A；S4. 将上一步得到的图A进行随机裁剪得到图片；S5. 将裁剪得到的图像块和图A一起送进网络去学习；S6. 选定待测试图片，得到检测结果图B；S7. 将图B划分大小，裁剪图像块；S8. 将裁剪得到图像块以及图B一起做预测；S9. 对上一步得到的每张图像块的预测结果，用最大预测概率减去次大预测概率作为他们的权重，累加加权后的概率，取最大概率所在类别当做测试图片的最终结果。

【技术特征摘要】
1.基于半监督学习和细粒度特征学习的分类优化方法，其特征在于，包括以下步骤：S1.对无标记数据做投票操作，挑选具有一致的结果且不属于混淆类的数据当做伪标签；S2.用挑选好的伪标签扩充训练集；S3.选定一张有标记图片，得到检测结果图A；S4.将上一步得到的图A进行随机裁剪得到图片；S5.将裁剪得到的图像块和图A一起送进网络去学习；S6.选定待测试图片，得到检测结果图B；S7.将图B划分大小，裁剪图像块；S8.将裁剪得到图像块以及图B一起做预测；S9.对上一步得到的每张图像块的预测结果，用最大预测概率减去次大预测概率作为他们的权重，累加加权后的概率，取最大概率所在类别当做测试图片的最终结果。2.根据权利要求1所述的基于半监督学习和细粒度特征学习的分类优化方法，其特征在于：所述的步骤S3和S6中，用SSD检测，得到检测结果。3.根据权...

【专利技术属性】
技术研发人员：赖丹宇，陈龙，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44