一种基于深度学习的水稻叶片病斑检测方法技术

本发明专利技术公开了一种基于深度学习的水稻叶片病斑检测方法，通过EFFTAN检测模型完成对水稻病斑的检测，EFFTAN检测模型包括：特征提取模块、特征融合模块以及分类和目标框回归模块。本发明专利技术基于深度学习单阶段检测原理，提出增强特征融合方法和目标自适应方法，经过多种方法的优化整合，使模型的收敛速度及检测准确率得到明显提高，同时增强了模型的泛化能力。同时增强了模型的泛化能力。同时增强了模型的泛化能力。

【技术实现步骤摘要】
一种基于深度学习的水稻叶片病斑检测方法


[0001]本专利技术涉及深度学习，尤其涉及一种基于深度学习的水稻叶片病斑检测方法。

技术介绍

[0002]20世纪90年代中期以来，机器学习得到迅速发展并逐步取代传统专家，成为人工智能的主流核心技术，使得人工智能逐步进入机器学习时代。伴随着近年来智能农业的发展，更多的学者和专家开始从事将计算机视觉与病虫害识别结合起来的研究。机器学习发展中一个重要的分支就是深度学习。深度学习是当前人工智能领域机器学习中最热门的方法。近几年深度学习的发展可谓是日新月异，各种卷积神经网络呈现百花齐放，在不同领域发挥着重要引领作用。水稻病虫害的预测与防治一直是农业领域研究的热点。
[0003]水稻病斑检测的目的是检测给定图像中是否存在病斑以及确定这些目标对象所属类型。传统上依赖于人类专家进行病虫害诊断的方法价格昂贵、费时且不适合某些实际应用场景。后期随着目标检测方法的发展，目标检测大致可以分为基于传统检测和深度学习方法两类：传统检测方法。该方法主要分为三个步骤，首先是寻找候选区域，其次提取候选区域相关的视觉特征(如HOG、SIFT)，最后利用分类器进行分类。
[0004]深度学习检测方法。深度学习检测方法又可以分为以下两种类型：双阶段检测方法，该方法包含一个预处理阶段，负责生成候选区域并提取对应的网络特征，然后进行第二阶段的目标分类和位置修正。经典的双阶段检测方法有RCNN、Fast RCNN、Faster RCNN等；单阶段检测方法，该方法在双阶段方法上做进一步简化，不需要事先提取候选区域，而是直接输入图片特征，进行目标分类和位置回归，因此被称为Region Proposal Free方法。经典的单阶段检测方法有YOLO系列算法、SSD以及RetinaNet等。
[0005]近年来，伴随人工智能化的水稻病害识别方法得到了快速发展，从国内外研究现状来看，Burhan等人在2020年，利用五种不同的深度学习模型在从Kaggle中获取的人工数据集和巴基斯坦Gujranwala稻田图像上的表现进行了比较，最终在人工数据集上ResNet50表现最好，准确率为75%，在真实数据集上，Resnet101V2模型表现最好，准确率为86.799%；Sethy等人在2020年，使用从印度奥里萨邦地区获得的5932张水稻叶片图像，利用11种CNN模型在迁移学习和深度特征加支持向量机(SVM)下进行了4种水稻叶片病斑的分类研究，最终在ResNet50+SVM下得到98.38%的分类准确率；Rahman等人在2020年，提出了两级小型CNN体系结构，并与最先进的内存效率CNN体系结构如MobileNet、NasNetMobile和SqueezeNet进行比较，结果表明，在模型尺寸显著减小的情况下，可达到93.3%的精度；Yibin Wang等人在2021年，针对水稻病害问题，在6种已有的深度学习模型上进行分类比较，并提出基于MobileNet结构和增强注意机制的ADSNN
‑
OB模型，经实验论证其在各种场景下都优于其他深度学习模型，测试准确率达到94.65%；Saleem等人在2022年，提出一种基于突变粒子群优化算法(MUT
‑
PSO)来寻找最优CNN结构，通过对Kaggle中公开的水稻叶病数据集和水稻叶片图像数据集进行分类研究，实验结果显示MUTPSO
‑
CNN为水稻叶片分类找到了最佳的CNN架
构，最终在两种数据集上的分类准确率分别为97.35%和93.35%。
[0006]目前，深度学习方法在水稻病害检测领域主要存在以下问题：一方面，在现有的水稻病害公开数据集中，研究内容主要集中在病害分类方向，缺少病害的检测识别；另一方面，为了提高检测精度，深度学习模型普遍存在普适性差，模型计算量大、计算速度慢等问题，在保证检测速度的同时，针对实际应用场景的水稻病害检测精度还可以进一步提高。

技术实现思路

[0007]本专利技术的目的在于，解决现有水稻病害研究中只针对目标分类进行研究，缺少水稻病害目标检测的研究内容，以及模型算法计算量大、计算速度慢等问题，在保证检测速度的基础上提高目标检测的精度以及增强模型的普适性，提出一种基于深度学习的水稻叶片病斑检测方法。
[0008]为解决上述问题，本专利技术的技术解决方案如下：一种基于深度学习的水稻叶片病斑检测方法，其特征在于主要包括以下步骤：（1）收集水稻叶片病斑图像样本数据集并进行图像预处理，得到水稻叶片病斑分类图像样本数据集；（2）实际利用多种不同的卷积神经网络对水稻叶片病斑分类图像样本数据集不同的水稻叶片病斑进行分类识别，不同的病斑为不同病害的图像表现；（3）针对卷积神经网络的准确率、精确率、特异性、召回率、综合评价指标性能参数进行比较解析，挑选出最合适的卷积神经网络作为水稻叶片病斑图像样本检测模型中的特征提取网络；（4）筛选水稻叶片病斑分类图像样本，得到用于病害检测的水稻叶片病斑检测图像初始样本数据集；（5）利用图像标注软件对水稻叶片病斑检测初始样本图像中的水稻病斑进行矩形框标注，得到.xml标注文件；（6）对水稻叶片病斑检测图像样本数据集进行数据样本增强，增强措施包括：添加随机像素、水平翻转、垂直翻转以及添加随机亮度；（7）对水稻叶片病斑检测图像样本数据集进行图像自身的深层次处理，转换HSV色彩空间后进行V通道的直方图均衡化处理，最后转换到RGB色彩空间进行显示；（8）针对增强处理后的水稻叶片病斑检测图像样本进行目标检测，选用初始单阶段目标检测RetinaNet框架模型，增加空间及通道注意力机制、增强特征金字塔结构、过采样处理以及目标自适应方法，得到最终的EFFTAN检测模型；（9）利用步骤（8）得到的最终的EFFTAN检测模型检测待检测的水稻叶片图像，获得水稻叶片的检测结果。
[0009]进一步的，所述水稻病害分类识别中，将水稻叶片病斑分类图像样本数据集分为训练、验证及测试数据集，利用VGG16网络、VGG19网络、ResNet18网络、ResNet50网络、InceptionNetV1网络以及InceptionNetV2网络模型进行训练，根据网络模型的不同设置其最佳的学习率，选择合适的损失函数及优化器；不同网络采用相同量级的学习率初始值，作为优选，初始值设置为e
‑
3量级,并采用StepLR策略进行学习率的调整；网络训练的损失函
数采用交叉熵损失函数，损失函数表示为：，其中y代表真实数据标签，代表网络预测标签，总的交叉熵损失函数为每一类的交叉熵损失函数之和；优化器采用Adam优化器，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应学习率；数据处理归一化过程中采用来自ImageNet的模型预训练参数加入到网络的训练中去；分类网络使用Softmax分类器进行目标类别的输出，输出层节点设置为预定检测的水稻病害类别数量。
[0010]进一步的，所述对卷积神经网络模型的性能参数比较分析中，将VGG16网络、VGG19网络、ResNet18网络、ResN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的水稻叶片病斑检测方法，其特征在于，包括如下步骤：（1）收集水稻叶片病斑图像样本数据集并进行图像预处理，得到水稻叶片病斑分类图像样本数据集；（2）实际利用多种不同的卷积神经网络对水稻叶片病斑分类图像样本数据集不同的水稻叶片病斑进行分类识别，不同的病斑为不同病害的图像表现；（3）针对卷积神经网络的准确率、精确率、特异性、召回率、综合评价指标性能参数进行比较解析，挑选出最合适的卷积神经网络作为水稻叶片病斑图像样本检测模型中的特征提取网络；（4）筛选水稻叶片病斑分类图像样本，得到用于病害检测的水稻叶片病斑检测图像初始样本数据集；（5）利用图像标注软件对水稻叶片病斑检测初始样本图像中的水稻病斑进行矩形框标注，得到.xml标注文件；（6）对水稻叶片病斑检测图像样本数据集进行数据样本增强，增强措施包括：添加随机像素、水平翻转、垂直翻转以及添加随机亮度；（7）对水稻叶片病斑检测图像样本数据集进行图像自身的深层次处理，转换HSV色彩空间后进行V通道的直方图均衡化处理，最后转换到RGB色彩空间进行显示；（8）针对增强处理后的水稻叶片病斑检测图像样本进行目标检测，选用初始单阶段目标检测RetinaNet框架模型，增加空间及通道注意力机制、增强特征金字塔结构、过采样处理以及目标自适应方法，得到最终的EFFTAN检测模型；（9）利用步骤（8）得到的最终的EFFTAN检测模型检测待检测的水稻叶片图像，获得水稻叶片的检测结果。2.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（2）水稻病害分类识别中：将水稻叶片病斑分类图像样本数据集分为训练、验证及测试数据集，利用VGG16网络、VGG19网络、ResNet18网络、ResNet50网络、InceptionNetV1网络以及InceptionNetV2网络模型进行训练，根据网络模型的不同设置其最佳的学习率，选择合适的损失函数及优化器；不同网络采用相同量级的学习率初始值，并采用StepLR策略进行学习率的调整；网络训练的损失函数采用交叉熵损失函数，损失函数表示为：，其中y代表真实数据标签，代表网络预测标签，总的交叉熵损失函数为每一类的交叉熵损失函数之和；优化器采用Adam优化器，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应学习率；数据处理归一化过程中采用来自ImageNet的模型预训练参数加入到网络的训练中去；分类网络使用Softmax分类器进行目标类别的输出，输出层节点设置为预定检测的水稻病害类别数量。3.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（3）中，对卷积神经网络模型的性能参数比较分析中：将VGG16网络、VGG19网络、ResNet18网络、ResNet50网络、InceptionNetV1网络以及InceptionNetV2网络对水稻叶片病斑检测图像样本的可视化分析结果通过混淆矩阵进行
展示，并利用混淆矩阵反映的信息计算得出准确率、精确率、特异性、召回率以及综合评价指标，根据网络模型、性能参数和水稻病害类别画出有关三者的折线统计图，根据折线统计图所反映出的综合评价信息来挑选最优的特征提取网络。4.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（4）的水稻叶片病斑分类样本中：水稻叶片分类样本总共分为稻瘟病、白叶枯病、胡麻斑病以及东格鲁病，对所有水稻叶片分类样本进行基于相似性的筛选，挑选出相同、像素质量极低以及图像背景极其复杂的样本并进行摘除，保留下来的样本作为待标注的水稻检测数据样本图像，之后利用Labelimg软件对水稻病斑进行基于矩形框的标注。5.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（6）水稻叶片病斑检测图像样本数据集增强的具体方法中：所述添加随机像素，即在原有的图像像素点之间添加新的像素点，使图像的像素点变多，得到亚像素图像，新的像素点并非是从外界获取，而是通过原有图像内部像素点拟合得到；所述水平翻转和垂直翻转，即将图像按照指定方向增加1...

【专利技术属性】
技术研发人员：叶炜，李兆星，徐正国，谢德锦，许壮伟，泮恒拓，
申请(专利权)人：浙江大学湖州研究院，
类型：发明
国别省市：