一种基于细粒度图像分类的快速识别方法技术

本发明专利技术公开了一种基于细粒度图像分类的快速识别方法，属于深度学习及图像分类技术领域，包括从网络爬取目标图片，制作数据集，用于网络训练和测试，一张图片中实际只有二分之一的区域甚至是四分之一的区域是用于细粒度图像分类，其余部分都是背景区域和干扰噪音，并且图片中不同区域对分类结果的贡献度是不同的，运用Grad

【技术实现步骤摘要】
一种基于细粒度图像分类的快速识别方法


[0001]本专利技术涉及深度学习及图像分类
，尤其是一种基于细粒度图像分类的快速识别方法。

技术介绍

[0002]近年来，人工智能技术飞速发展，神经网络和计算机视觉研究更是取得了重大突破，各种新型网络及其改进型相继提出，细粒度图像分类的精确度因此不断提高。随着精确度的提高，细粒度图像分类技术被广泛投入实际应用，极大的方便了人们的生活和工作。细粒度图像分类应用领域十分广泛，在动物保护方面，细粒度图像分类可以在相机拍摄到动物照片之后，自动识别出属于哪个种类，不需要人为辨认，节省了人力资源和降低了人眼识别的错误率；在产品质量检测方面，可以自动识别出产品的裂纹等瑕疵，提高了生产效率。
[0003]但是细粒度图像分类技术在医疗器械领域的应用十分匮乏，主要原因有以下几点：一、细粒度图像分类技术正处于快速发展阶段，研究成果少且精确度低，技术状态不稳定；二、医疗是关乎生命的大事，因此对精确度的要求相当高，在此之前细粒度图像分类的精度达不到标准。

技术实现思路

[0004]本专利技术需要解决的技术问题是提供一种基于细粒度图像分类的快速识别方法，将细粒度图像分类技术应用在快速识别领域，可以填补蛇类咬伤快速识别领域的空白，为医生精准判断病情提供有力的支持，能够缩短伤者的救治时间，提高伤者的生存率。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：
[0006]一种基于细粒度图像分类的快速识别方法，包括以下步骤：
[0007]步骤1，从网络爬取目标图片，制作数据集，并按比例划分为训练集、验证集和测试集；
[0008]步骤2，在原双线性神经网络中加入Grad
‑
CAM注意力模块和贡献度模块，得到改进后的双线性神经网络；
[0009]步骤3，打乱训练集，并每次从中随机抽取相同数量的图片，然后输入改进后的双线性神经网络；
[0010]步骤4，开始训练参数，框定高贡献区域并裁剪，进行特征融合，通过贡献度模块计算分类结果；
[0011]步骤5，在验证集上验证分类精度，保存训练参数；
[0012]步骤6，训练结束，选择在训练中分类精度最高的模型载入改进后的双线性神经网络，使用测试集测试分类精度。
[0013]本专利技术技术方案的进一步改进在于：在步骤2中，特征提取器采用VGG
‑
16神经网络，输出一个14
×
14
×
512的特征图，该特征图的激活值和反向传播梯度信息中包含了特征图每一个位置对于分类结果的贡献度，由此可得出贡献度权重其公式如下：
[0014][0015]式中，g
c
是该特征图关于标签类别c的反向传播梯度值，是位置(i，j)处特征图的激活值，m是特征图像素点的个数，Z是权重累加次数，是偏导数；
[0016]得到贡献度权重之后，与特征图进行加权相乘，使其线性表示，然后通过ReLU层，得到关于标签类别c贡献度图L
c
，其公式如下：
[0017][0018]式中，M
m
是具有所有像素点的特征图激活值；
[0019]得到贡献度图之后，需要通过阈值框定贡献度高的区域，然后依照阈值框裁剪特征图，分离高贡献度区域和低贡献度区域，其公式为：
[0020][0021]式中，f(L)是经过阈值处理后的特征图，IOU是临界阈值。
[0022]本专利技术技术方案的进一步改进在于：在步骤3中，为了防止训练过程中出现过拟合现象，在每一轮训练时都要将图片的训练顺序打乱，并从训练集中抽取相同数量的图片，送进改进后的双线性神经网络进行训练。
[0023]本专利技术技术方案的进一步改进在于：在步骤4中，开始训练参数，框定高贡献区域并裁剪，高贡献度区域和低贡献度区域分别进行双线性特征融合，然后将高贡献度特征融合结果和低贡献度特征融合结果分别送入全连接层分类网络，最后将两个数据同时送入贡献度模块，计算最终分类结果；
[0024]特征融合公式为：
[0025]F＝f(L
A
)
T
f(L
B
)
[0026]式中，f(L
A
)是卷积神经网络stream A提取特征并经过阈值处理所得到的特征图，f(L
B
)是卷积神经网络stream B提取特征并经过阈值处理所得到的特征图,F是f(L
A
)和f(L
B
)特征融合后得到的特征图；
[0027]贡献度公式为：
[0028]F
final
＝δ
×
F
高
+μ
×
F
低
[0029]式中，F
高
是高贡献率区域经过特征融合后得到的特征图，F
低
是低贡献度区域经过特征融合后得到的特征图，F
final
是经过贡献度机制计算后得到的最终分类结果。
[0030]本专利技术技术方案的进一步改进在于：在步骤5中，每一轮训练结束之后，都要在验证集上验证训练参数，之后保存训练参数。
[0031]本专利技术技术方案的进一步改进在于：在步骤6中，已训练完的模型中包含了目标图片的数据特征，从测试集中随机抽取一组图片，送入网络模型中，首先提取图像特征，区分高贡献度区域和低贡献度区域，然后分别进行特征融合，融合后送入全连接神经网络，全连接神经网络通过softmax函数计算出该图像分别属于目标图片的概率，选择最大概率的目标，输出目标的种类。
[0032]由于采用了上述技术方案，本专利技术取得的技术进步是：
[0033]1、本专利技术从实际用途角度分析，蛇类咬伤，尤其是毒蛇有毒性发作快，毒性强，毒素多样性等特点，使用本快速识别方法可以填补蛇类咬伤快速识别领域的空白，为医生精准判断病情提供有力的支持，能够缩短伤者的救治时间，提高伤者的生存率。
[0034]2、本专利技术从技术角度分析，使用Grad
‑
CAM注意力模块可以识别高贡献度的区域，减少了低贡献度区域对分类结果的干扰，提高分类精确度。但是低贡献度区域对于提高分类精度还是有一定帮助，不能将这部分舍弃，因此引入贡献度模块，可有效降低低贡献度区域对分类精度的影响。
附图说明
[0035]图1是本专利技术对双线性卷积神经网络改进的总体方案图；
[0036]图2是本专利技术双线性卷积神经网络原结构图；
[0037]图3是本专利技术所用的Grad
‑
CAM模块图；
[0038]图4是本专利技术所用的贡献度模块图。
具体实施方式
[0039]下面结合附图及实施例对本专利技术做进一步详细说明：
[0040]本专利技术对比几个常用分类网络之后，选择使用双线性卷积神经网络算法用于细粒度图像分类，该算法分类精度高，在该算法基础上改进可以得到更好的分类效果。对该网络的改进思路本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于细粒度图像分类的快速识别方法，其特征在于：包括以下步骤：步骤1，从网络爬取目标图片，制作数据集，并按比例划分为训练集、验证集和测试集；步骤2，在原双线性神经网络中加入Grad
‑
CAM注意力模块和贡献度模块，得到改进后的双线性神经网络；步骤3，打乱训练集，并每次从中随机抽取相同数量的图片，然后输入改进后的双线性神经网络；步骤4，开始训练参数，框定高贡献区域并裁剪，进行特征融合，通过贡献度模块计算分类结果；步骤5，在验证集上验证分类精度，保存训练参数；步骤6，训练结束，选择在训练中分类精度最高的模型载入改进后的双线性神经网络，使用测试集测试分类精度。2.根据权利要求1所述的一种基于细粒度图像分类的快速识别方法，其特征在于：在步骤2中，特征提取器采用VGG
‑
16神经网络，输出一个14
×
14
×
512的特征图，该特征图的激活值和反向传播梯度信息中包含了特征图每一个位置对于分类结果的贡献度，由此可得出贡献度权重其公式如下：式中，g
c
是该特征图关于标签类别c的反向传播梯度值，是位置(i，j)处特征图的激活值，m是特征图像素点的个数，Z是权重累加次数，是偏导数；得到贡献度权重之后，与特征图进行加权相乘，使其线性表示，然后通过ReLU层，得到关于标签类别c贡献度图L
c
，其公式如下：式中，M
m
是具有所有像素点的特征图激活值；得到贡献度图之后，需要通过阈值框定贡献度高的区域，然后依照阈值框裁剪特征图，分离高贡献度区域和低贡献度区域，其公式为：式中，f(L)是经过阈值处理后的特征图，IOU是临界阈值。3.根据权利要求1所述的一种基于细粒度图像分类的快速识别方法，其特征在于：在步骤3中，为了防止训练过程中出现过拟合现象，在每一轮训练时都要将图片的训练顺序打乱，并从训练集中抽取相同数量的图片，送进改进后的双线性神经网络进行训...

【专利技术属性】
技术研发人员：李国强，邱新雷，
申请(专利权)人：燕山大学，
类型：发明
国别省市：