一种基于细粒度特征的叶片分类方法和系统技术方案

一种基于细粒度特征的叶片分类方法和系统，其方法包含：叶片图像随机混乱模块对同一类的两张叶片图像分区块之后，再把所有区块进行随机重组，得到两张相同数量和尺寸的重组叶片图像，以混乱叶片的全局特征；使用深度学习网络提取叶片的原图特征和重组图特征：训练时，在特征层后面加全连接层，并计算分类损失和对抗损失向前传播；测试时，使用模型便可以提取原图的局部细粒度特征和全局特征，从而实现对叶片的分类

【技术实现步骤摘要】
一种基于细粒度特征的叶片分类方法和系统


[0001]本专利技术涉及机器学习
，具体涉及一种基于细粒度特征的叶片分类方法和系统
。

技术介绍

[0002]在叶片分类技术当中，使用深度学习的方法对叶片进行分类得到了广泛的研究和应用，目前叶片分类的方法一般是使用深度学习提取原始叶片的纹理
、
形状等特征，以此对叶片进行分类
。
然而这种方法很有可能忽视叶片图像的一些局部细粒度特征，导致不同类别的叶片图像在全局相似时会变得难以区分
。
[0003]文献1（
Munisami T , Ramsurn M , Kishnah S ,et al.Plant Leaf Recognition Using Shape Features and Colour Histogram with K
‑
nearest Neighbour Classifiers[J].Procedia Computer Science, 2015.
）通过提取叶片形状（如叶子的长度和宽度
、
叶子的面积
、
叶子的周长等）和颜色直方图等特征，使用
K
近邻分类器对这些特征进行分类，从而实现叶片分类
。
此方法基于叶片的一些基本特征来实现分类，鲁棒性与泛化性都较差，在一些复杂的任务中精度会大大降低
。
[0004]文献2（
Alamoudi S , Hong X , Wei H .Plant Leaf Recognition Using Texture Features and Semi
‑
Supervised Spherical K
‑
means Clustering[C]//2020 International Joint Conference on Neural Networks (IJCNN).
）通过将灰度共生矩阵分析应用于由高斯滤波器的拉普拉斯算子变化处理后的叶子图像来生成叶子图像特征，然后再使用
k
‑
means
技术来训练基本分类器
。
此方法基于人工设计的特征提取方法进行分类，使得分类场景比较单一，局限性较大，在复杂任务中得到的精度有限
。
[0005]文献3（
Sue,Han,Lee,et al.How deep learning extracts and learns leaf features for plant classification[J].Pattern Recognition, 2017.
）分析了深度学习方法如何提取和学习叶片特征以进行叶片分类，在此基础上提出一种改进的深度学习网络模型来提取叶片的混合特征，实现叶片的精细分类
。
然而此方法集中于叶片某个局部的细粒度特征和全局特征，并没有去提取叶片全局的细粒度特征，且网络深度较小，从而导致在实际应用场景中精度较低
。
[0006]以上提到的几种研究方法都有其局限性，精度不足导致其在实际应用当中都难以展开
。

技术实现思路

[0007]本专利技术针对现有技术的不足，提出一种基于细粒度特征的叶片分类方法和系统
。
[0008]与现有的叶片分类方法不同的是，本专利技术公开了一种基于细粒度特征的叶片分类方法，通过随机重组同类别的两张叶片图片，然后使用深度学习网络提取出叶片的全局特征和细粒度特征，从而对叶片进行分类
。
[0009]本专利技术的目的是通过以下技术方案来实现的：
[0010]一种基于细粒度特征的叶片分类方法，包括以下步骤：
[0011]步骤一：随机选取训练集两张相同类别的叶片，对两张叶片以分区块的方式随机重组出两张新的图像；
[0012]步骤二：使用深度学习网络提取原始叶片图像和重组图像的特征，在特征层之后使用全连接层输出图像分类特征，并计算分类损失和对抗损失，从而迭代更新网络
。
[0013]进一步，步骤一包括：首先将两张图像放缩至同一尺寸，然后将两张叶片图像划分成等比例的若干小块叶片局部图像，再将叶片局部图像分成二等分，以所述的若干小块相同数目的叶片局部图像进行随机重组，拼接即得到两个包含所述的若干小块相同数目的叶片局部图像的图像集，并给重组图打上重组标签，原图打上原图标签
。
重复此步骤，直至训练集所有图像都得到重组图像
。
[0014]再进一步，步骤一所述的将两张图像放缩至同一尺寸，系
512*512。
[0015]再进一步，步骤一中将两张叶片图像划分成等比例的
8*8
小块，即得到
2*8*8
小块的叶片局部图像，再将这
128
小块图像分成二等分，以
8*8
的方式进行随机重组，拼接即得到两张
8*8
小块重组的图像
。
[0016]进一步，所述步骤二具体包括：
[0017]（
2.1
）模型网络构建，并初始化模型参数
。
使用主流的卷积神经网络作为网络的主干模型，主干网络既用于提取原始叶片图像的特征，也用于提取重组图像的特征，将计算分类损失的分类损失网络和计算对抗损失的对抗损失网络作为网络的头部网络
。
完成整个网络模型的构建之后，对网络当中所有的参数进行初始化，包括神经网络的模型参数初始化和控制迭代的超参数初始化
。
在具体训练时，在头部网络前加一个全连接层，用来连接主干网络提取出的特征和分类预测
。
设置迭代的次数
epoch
使分类损失和对抗损失的总损失达到收敛
。
[0018]（
2.2
）使用神经网络提取叶片图像的细粒度特征和全局特征
。
首先使用主干网络分别提取原始图像和重组图像的特征，经过全连接层之后，再输入分类网络当中时，当分类网络发现难以提取重组图像的全局特征时，分类网络将专注于重组图像当中的局部细粒度特征学习；在输入到对抗网络中时，对抗网络将集中于原始图像的特征学习以区分出原始图像与重组图像
。
[0019]（
2.3
）根据输入数据的真实类别与预测类别得到训练的分类损失，根据输入数据的原图标签与重组标签得到训练的对抗损失
。
通过交叉熵函数得到输入数据的分类预测值，然后根据真实的标签值，经过分类损失网络进行分类损失计算，得到此次迭代的分类损失值；通过交叉熵函数得到输入数据的标签预测，根据真实的标签值，经过对抗损失网络进行对抗损失计算，得到此次迭代的对抗损失值
。
将分类损失值与对抗损失值相加作为此次迭代的总损失值，若达到收敛条件则停止迭代，若还未达到，则把损失经过预先设置的处理之后，向之前的网络进行传递本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于细粒度特征的叶片分类方法，包括以下步骤：步骤一：随机选取训练集两张相同类别的叶片，对两张叶片以分区块的方式随机重组出两张新的图像；步骤二：使用深度学习网络提取原始叶片图像和重组图像的特征，在特征层之后使用全连接层输出图像分类特征，并计算分类损失和对抗损失，从而迭代更新网络
。2.
如权利要求1所述的一种基于细粒度特征的叶片分类方法，其特征在于，步骤一包括：首先将两张图像放缩至同一尺寸，然后将两张叶片图像划分成等比例的若干小块叶片局部图像，再将叶片局部图像分成二等分，以所述的若干小块相同数目的叶片局部图像进行随机重组，拼接即得到两个包含所述的若干小块相同数目的叶片局部图像的图像集，并给重组图打上重组标签，原图打上原图标签；重复此步骤，直至训练集所有图像都得到重组图像
。3.
如权利要求2所述的一种基于细粒度特征的叶片分类方法，其特征在于，步骤一所述的将两张图像放缩至同一尺寸，系
512*512。4.
如权利要求2所述的一种基于细粒度特征的叶片分类方法，其特征在于，步骤一中将两张叶片图像划分成等比例的
8*8
小块，即得到
2*8*8
小块的叶片局部图像，再将这
128
小块图像分成二等分，以
8*8
的方式进行随机重组，拼接即得到两张
8*8
小块重组的图像
。5.
如权利要求1所述的一种基于细粒度特征的叶片分类方法，其特征在于，所述步骤二具体包括：（
2.1
）模型网络构建，并初始化模型参数；使用主流的卷积神经网络作为网络的主干模型，主干网络既用于提取原始叶片图像的特征，也用于提取重组图像的特征，将计算分类损失的分类损失网络和计算对抗损失的对抗损失网络作为网络的头部网络；完成整个网络模型的构建之后，对网络当中所有的参数进行初始化，包括神经网络的模型参数初始化和控制迭代的超参数初始化；在具体训练时，在头部网络前加一个全连接层，用来连接主干网络提取出的特征和分类预测；设置迭代的次数
epoch
使分类损失和对抗损失的总损失达到收敛；（
2.2
）使用神经网络提取叶片图像的细粒度特征和全局特征；首先使用主干网络分别提取原始图像和重组图像的特征，经过全连接层之后，再输入分类网络当中时，当分类网络发现难以提取重组图像的全局特征时，分类网络将专注于重组图像当中的局部细粒度特征学习；在输入到对抗网络中时，对抗网络将集中于原始图像的特征学习以区分出原始图像与重组图...

【专利技术属性】
技术研发人员：应志文，章依依，王军，徐晓刚，于慧，程志远，曹卫强，韩强，
申请(专利权)人：中国科学院东北地理与农业生态研究所，
类型：发明
国别省市：