【技术实现步骤摘要】
本专利技术涉及病虫害图像识别，具体来说是基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法。
技术介绍
1、近些年来，尽管已经存在部分基于图像识别的病虫为害作物症状区域检测手段，然而依旧存有一些弊端。传统的图像识别方式通常依赖人工设计的特征，这类特征针对复杂的病虫害症状或许不够强健和精确。另外，现有的检测方法在应对不同角度的作物图像时表现不好，难以确切地检测出症状所在区域。迅速、精准地识别病虫为害作物的症状区域，有益于及时施行防治举措，降低病虫害给农业生产带来的损失。田间病虫为害作物症状区域并不是规则的发生，比如稻纵卷叶螟的为害状表现相交，密集，细长等特性，如图2所示，纹枯病可能会表现出细长、排列等特性，如图3所示。
2、所以，研发一种基于能够适应复杂的自然环境状况、准确检测病虫为害作物症状区域的方法具有重大的实际价值。
技术实现思路
1、本专利技术的目的是为了解决现有技术中难以实现非规则病虫害作物图像症状区域检测的缺陷，提供一种基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法来解决上述问题。
2、为了实现上述目的，本专利技术的技术方案如下：
3、一种基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法，包括以下步骤：
4、获取病虫为害作物的症状区域图像：获取田间病虫为害作物的症状区域图像，形成病虫为害作物的症状区域图像数据集；
5、
6、病虫为害作物的症状区域检测模型的训练：利用病虫为害的症状区域图像数据集对病虫为害作物的症状区域检测模型进行训练；
7、获取待检测病虫为害作物症状区域图像：获取待检测的田间病虫为害的症状区域图像；
8、获得病虫为害作物症状区域检测结果：将待检测的田间病虫为害的症状区域图像输入训练后的病虫为害作物的症状区域检测模型，得到田间病虫为害的症状区域的分类和定位结果。
9、所述构建病虫为害作物的症状区域检测模型包括以下步骤：
10、设定病虫为害作物的症状区域检测模型的第一部分为局部特征建模网络、第二部分为全局特征建模网络、第三部分为高质量查询筛选网络、第四部分为细节特征建模网络、第五部分为分类回归网络；
11、设定局部特征建模网络，局部特征建模网络用于对整张图像中病虫为害作物症状区域的特征进行局部建模，其输入为田间病虫为害的症状区域图像，输出为该田间病虫为害的症状区域图像的多层局部特征图，多层局部特征图中每个特征空间位置对应的局部特征向量仅能可见原图的部分区域范围；
12、设定局部特征建模网络基于残差网络构建，在首个卷积核大小为7*7、stride为2的卷积之后，使用池化范围3*3、stride＝2的池化操作，由卷积神经网络层、批量归一化层和激活函数层重复构成；
13、设定全局特征建模网络：全局特征建模网络根据多层局部特征图获取病虫为害作物症状区域图像的全局建模信息，全局特征建模网络的输入为多层局部特征图，全局特征建模网络的输出为多层全局特征图；
14、全局特征建模网络采用transformer的编码器结构，全局特征建模网络包含6个结构一致的编码模块依次堆叠形成，
15、每个编码模块由一个多头可变形注意力结构和一个前向前馈网络构成，多头可变形注意力结构有残差连接，多头可变形注意力结构和前向前馈网络后都接有layer norm操作；
16、全局特征建模网络首先将局部特征建模网络获得的多层特征进行全局建模操作，利用正弦余弦函数结合特征向量所在的具体空间位置为该特征向量生成空间位置编码，同时根据所在层的位置设置可学习的层位置编码，空间位置编码和层位置编码相加组成位置编码，将局部特征向量和位置编码两者相结合得到带有位置编码的局部特征向量，将带有位置编码的多层局部特征图中的所有局部特征向量输入到编码模块，最终融合映射为全局特征向量，构成全局特征图；
17、设定高质量查询筛选网络：高质量查询筛选网络的输入为多层全局特征图，高质量查询筛选网络首先针对多层全局特征图基于旋转交并比值为0.8的最大值抑制方法去掉一部分重叠较大的框对应的查询向量，然后再通过角度相似性去掉虽然重叠较小但是角度范围差距较小的框对应的查询向量，最终得到k1个独特的查询向量，在训练过程中选取得分最高的k2＝1.5*k1个查询向量以及根据自身数据集标注生成的k3个正负样本标注查询向量，利用这些查询向量组成的全局特征向量初始化细节特征建模网络的查询向量，辅助细节特征建模网络的训练，在测试的过程中辅助训练的分支不再使用；
18、设定细节特征建模网络，用于将全局特征向量进行细节特征建模，细节特征建模网络包含6个解码模块，每个解码模块的结构相同，每个解码模块由一个多头自注意力、一个多头可变形注意力和一个前向前馈网络构成，多头自注意力和多头可变形注意力均有残差连接，3个部分后都接有layer norm操作；
19、细节特征建模网络的输入为k1个独特的查询向量、k2＝1.5*k1个高分查询以及一组根据标注实例标签创建的k3个正负样本标注查询向量，细节特征建模网络的输出查询数量是为k1+k2+k3，其中k2个高分查询以及k3个标注查询仅辅助网络的训练，在测试的过程中这2个均不再使用；
20、设定分类回归网络用于将细节特征建模网络的输出查询映射为病虫为害作物症状区域的类型和具体位置坐标，分类回归网络包含主要网络头和次要网络头，次要网络头仅存在于训练过程，主要网络头和次要网络头都包括分类和回归2个子网络，分类子网络、回归子网络的输入均为细节特征建模网络的输出查询，对于每个细节查询，经过一个前向前馈网络，输出预测待检测目标框的类别和具体位置坐标。
21、所述病虫为害作物的症状区域检测模型的训练包括以下步骤：
22、将病虫为害的症状区域图像数据集输入局部特征建模网络，局部特征建模网络使用残差网络获得病虫为害的症状区域图像的局部特征图，通过不同的层数获取感受野大小不同的特征图，包括：512维、stride＝8的c3特征图，1024维、stride＝16的c4征图，2048维、stride＝32的c5特征图；
23、c3、c4、c5特征图再分别通过卷积核大小为1*1、通道数为256的卷积和组归一化操作达到通道数一致的目的，分别得到w1*h1*256、w2*h2*256、w3*h3*256的局部特征图m1、m2、m3，另外c5特征图通过卷积核大小为3*3、stride＝2、通道数为256的卷积和组归一化操作得到w4*h4*256的局部特征图m4，也保持和m1、m2、m3通道数一致，得到通道数一致、尺寸大小不一致的m1、m2、m3、m4，共计4层局部特征图本文档来自技高网...
【技术保护点】
1.一种基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法，其特征在于，所述构建病虫为害作物的症状区域检测模型包括以下步骤：
3.根据权利要求1所述的基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法，其特征在于，所述病虫为害作物的症状区域检测模型的训练包括以下步骤：
4.根据权利要求1所述的基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法，其特征在于，所述获得病虫为害作物症状区域图像检测结果包括以下步骤：
【技术特征摘要】
1.一种基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于旋转transformer机制利用角度相似性的病虫害作物图像症状区域检测方法，其特征在于，所述构建病虫为害作物的症状区域检测模型包括以下步骤：
3.根据权利要求1所述...
【专利技术属性】
技术研发人员：陈天娇，许桃胜，张蒙，陈红波，汪六三，胡宜敏，王雪，王儒敬，
申请(专利权)人：中科合肥智慧农业协同创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。