基于注意力机制和双分支网络的柑橘细粒度病害识别方法技术

本发明专利技术公开了一种基于注意力机制的双分支网络的柑橘细粒度病害智能识别方法，具体采用CBAM注意力机制用于增强提取柑橘病害专业化特征的能力，并通过构建双分支网络，设计浅层分支以更好的提取柑橘病害的细节纹理、轮廓等信息，运用SE注意力模块将双分支网络融合后的特征进行通道权重的重分配，以实现针对柑橘病虫害微小病斑的精准分割，最后针对不同病害的呈现形式，分别采用计算病斑与叶片面积占比和计算病斑个数的方式判断病害的病情严重程度。本发明专利技术的方法具有较高的分割精度，能够精准的分割叶片病斑，同时针对病害的病情程度可以做到相对自主客观的判别。以做到相对自主客观的判别。以做到相对自主客观的判别。

【技术实现步骤摘要】
基于注意力机制和双分支网络的柑橘细粒度病害识别方法


[0001]本专利技术属于图像处理
，具体涉及一种基于注意力机制和双分支网络的柑橘细粒度病害识别方法。

技术介绍

[0002]我国是一个农业强国，农业是我国国民经济的重要基础产业。而在农业实际生产活动中面临的主要挑战之一就是农作物病虫害的频发。柑橘是全球最重要的经济作物之一，但在其种植过程中，容易受到其生长的地理、气象环境、病原微生物、病毒和细菌的影响而导致病虫害的爆发。在我国已知的柑橘病害就有150余种，其中危害较重的病害主要有疮痂病、炭疽病、黄龙病、溃疡病、褐斑病等。这些病症多发生在植株叶片部位，若不采取及时的防治措施，病情大面积爆发后会严重影响柑橘产量及品质，同时给果农带来巨大的经济损失。因此，及时准确的发现并识别出柑橘病害种类及其病害程度极其重要，实现对病害准确的监测不仅有利于病害的防控，也对柑橘产业健康稳定发展起着至关重要的作用。
[0003]截至目前，针对柑橘病害的智能检测识别主要集中在对柑橘黄龙病、溃疡病的单病种快速检测和柑橘病害果实的识别，针对多病种的柑橘智能识别研究鲜少可见，且目前柑橘病害识别大都是针对病害种类的粗粒度识别，针对其病情程度的细粒度病虫害识别鲜少研究。近几年针对农作物细粒度病害的研究主要包含基于分类的方法和基于分割的方法，而采用分类对数据集的数量要求较高，并且严重依赖于先验数据标注的准确率，其判定结果只会与数据集的标注划分相同，无法根据诊断标准变化来自主的调节细粒度病害的诊断结果。而采用分割的方法可以通过计算病斑占叶片面积的比例等方式实现细粒度病虫害的精准判定，相对于分类可以根据病情标准的变化实现对病情程度的动态调整，目前常用分割算法有U
‑
Net、PSP Net和DeepLab系列等，但在柑橘细粒度病害上的分割精度还有待提高。

技术实现思路

[0004]为解决现有技术存在的上述问题，本专利技术提出了一种基于注意力机制和双分支网络的柑橘细粒度病害识别方法。
[0005]本专利技术的技术方案是：一种基于注意力机制和双分支网络的柑橘细粒度病害识别方法，具体包括如下步骤：
[0006]S1.构建柑橘细粒度病虫害数据集；
[0007]S2.对ResNet
‑
50的池化层进行改进，以改进的金字塔池化替换网络原最大池化层，在第五个卷积块后加入CBAM注意力机制，作为双分支网络的深层分支，用于提取柑橘病虫害相关的特征；
[0008]S3.构建双分支网络中的另一浅层分支，提取柑橘病虫害的细节纹理信息；
[0009]S4.将步骤S2和S3构建的双分支网络提取到的特征进行特征融合，加入SE注意力机制进行通道权重的重分配；
[0010]S5.采用步骤S1得到的数据集对注意力机制
‑
双分支网络模型进行训练；
[0011]S6.设计细粒度病害判别标准；
[0012]S7.将待识别的柑橘病害图像输入经过步骤S5操作的模型中，得到柑橘所患病害种类及其细粒度病害程度。
[0013]进一步的，步骤S1具体包括如下分步骤：
[0014]S11.采集柑橘叶部病虫害图像；
[0015]S12.使用图像标注软件Labelme对S11步骤获得的样本进行标注，标注要求包含叶片轮廓以及病斑轮廓；
[0016]S13.按照VOC2012数据集的格式构建数据集，包括三个文件夹：ImageSets、JPEGImages和SegmentationClassAug，并按照6：2：2的比例将数据集划分为训练集、验证集和测试集，其中，ImageSets用来存放标记有训练集、验证集和测试集图片信息的txt文件，JPEGImages用来存放原始图片，SegmentationClassAug用来存放具有标签信息的图片；
[0017]S14.对数据集采用在线增广技术进行扩充，包含翻转、旋转变换以及高斯噪声操作，避免小数据集训练模型容易引起过拟合的风险。
[0018]进一步的，步骤S2具体实现如下：
[0019]对ResNet
‑
50的最大池化层进行改进，采用2
×
2、4
×
4和16
×
16三种不同尺度的最大池化，来获得不同大小的特征图，除2
×
2池化得到的特征图，对另两个尺度的特征图进行上采样得到与2
×
2池化操作一样大小的特征图，然后元素相加后输入到第二个卷积块；在第五个卷积块之后加入CBAM注意力机制，所述CBAM注意力机制包括两个模块：通道注意力模块CAM和空间注意力模块SAM；CAM包含一个并行的最大池化和均值池化，以及两层1
×
1的卷积；SAM包含一个并行的最大池化和均值池化，以及一层7
×
7的卷积；最终深层分支的输出特征图尺寸为128
×
128
×
128。
[0020]进一步的，步骤S3具体实现如下：
[0021]构建的浅层分支包含三个卷积层和一个池化层；第一层卷积为3
×
3、步长为2，填充为1的卷积；二、三层卷积为3
×
3、步长为1，填充为1的卷积，卷积层后都采用批归一化和Relu激活函数，输出特征图尺寸为256
×
256；通过一层最大池化将特征图进行降维，使浅层分支输出特征图尺寸与骨干网络分支的输出保持一致性。
[0022]进一步的，步骤S4所述的SE注意力机制包含一个全局均值池化和两个全连接层。
[0023]进一步的，步骤S5训练时采用早停法，设定初始学习率0.01，学习率调整策略为Poly策略，采用了SGD优化器，动量设定为0.9，权重衰减为0.0001，采用交叉熵损失函数。
[0024]进一步的，步骤S6所述的设计细粒度病害判别标准具体如下：
[0025]针对病害呈现形式为大面积病斑的病害，通过计算病斑面积占叶片面积的比例来估算病情程度，当比例<5％时将病情程度判定为轻微；当比例在6％
‑
25％区间时判定为中等；当比例>25％时判定为严重；
[0026]针对病害呈现形式为斑点状的病害，采用计算病斑个数的方式来估算病情程度。当叶片上的病斑个数在1
‑
5内时判定为轻微；当病斑个数在6
‑
15内时判断为中等；当病斑个数在>15时将其判定为严重。
[0027]本专利技术的有益效果：本专利技术的柑橘细粒度病害识别方法采用CBAM注意力机制用于增强提取柑橘病害专业化特征的能力，并通过构建双分支网络，设计浅层分支以更好的提
取柑橘病害的细节纹理、轮廓等信息，运用SE注意力模块将双分支网络融合后的特征进行通道权重的重分配，以实现针对柑橘病虫害微小病斑的精准分割，最后针对不同病害的呈现形式，分别采用计算病斑与叶片面积占比和计算病斑个数的方式判断病害的病情严本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，具体包括如下步骤：S1.构建柑橘细粒度病虫害数据集；S2.对ResNet
‑
50的池化层进行改进，以改进的金字塔池化替换网络原最大池化层，在第五个卷积块后加入CBAM注意力机制，作为双分支网络的深层分支，用于提取柑橘病虫害相关的特征；S3.构建双分支网络中的另一浅层分支，提取柑橘病虫害的细节纹理信息；S4.将步骤S2和S3构建的双分支网络提取到的特征进行特征融合，加入SE注意力机制进行通道权重的重分配；S5.采用步骤S1得到的数据集对注意力机制
‑
双分支网络模型进行训练；S6.设计细粒度病害判别标准；S7.将待识别的柑橘病害图像输入经过步骤S5操作的模型中，得到柑橘所患病害种类及其细粒度病害程度。2.根据权利要求1所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，其特征在于，步骤S1具体包括如下分步骤：S11.采集柑橘叶部病虫害图像；S12.使用图像标注软件Labelme对S11步骤获得的样本进行标注，标注要求包含叶片轮廓以及病斑轮廓；S13.按照VOC2012数据集的格式构建数据集，包括三个文件夹：ImageSets、JPEGImages和SegmentationClassAug，并按照6：2：2的比例将数据集划分为训练集、验证集和测试集，其中，ImageSets用来存放标记有训练集、验证集和测试集图片信息的txt文件，JPEGImages用来存放原始图片，SegmentationClassAug用来存放具有标签信息的图片；S14.对数据集采用在线增广技术进行扩充，包含翻转、旋转变换以及高斯噪声操作，避免小数据集训练模型容易引起过拟合的风险。3.根据权利要求1或2所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，其特征在于，步骤S2具体实现如下：对ResNet
‑
50的最大池化层进行改进，采用2
×
2、4
×
4和16
×
16三种不同尺度的最大池化，来获得不同大小的特征图，除2
×
2池化得到的特征图，对另两个尺度的特征图进行上采样得到与2
×
2池化操作一样大小的特征图，然后元素相...

【专利技术属性】
技术研发人员：孙雅琦，刘海隆，时雨农，牟振汉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：