【技术实现步骤摘要】
本专利技术涉及农业病害诊断与评估，具体涉及一种融合多模态信息的玉米病害智能分级评估与整治推荐方法。
技术介绍
1、在传统的农业病害诊断与评估实践中，农户与农业专家主要依赖病害症状的直观观察以及积累的经验知识进行判断，这一方式的主观性和不确定性较为明显，特别是在应对玉米复杂多样的病害现象及其严重程度评估时，由于病害症状的多样性和易混淆性，往往会导致诊断结果不够精确。此外，现行的某些病害识别技术，多是建立在对单一病害特征(例如病斑的颜色、形状等)进行量化分析的基础之上，以此作为病害判断的主要依据。尽管这种方法在某种程度上简化了病害识别流程，但在面对包含多重病害特征交织、病害发展阶段各异的复杂情况时，其综合评估和精准施策能力便显得捉襟见肘。
2、现有技术中还有研究探索将深度学习与模态数据分析方法相结合，以提升对玉米病害特征的识别和分级。现有方法是：一些玉米病害识别与评估模型将多元病害特征融合，通过构建多任务学习模型或者集成学习框架，对玉米的病害进行综合评估和分级别识别。具体步骤：首先，采集田间作物病害图片，利用卷积神经网络等模型提取病害图像的特征，如病斑分布、颜色变化、纹理特征等，进而对病害种类进行初步识别。其次，采用智能化算法将这些多层次、多维度的病害特征与预设的病害分级标准进行比对匹配，力求精准定位病害等级。最后，基于此种精细化的病害分级评估结果，系统推荐相应的防治措施和整治方案。然而，这些方法大多仅停留在单病害种类的识别层面，对于同一病害不同严重程度的分级评估以及针对各级别病害提出具有针对性的整治措施尚不完善。>
3、综上，现有针对玉米病害的农业病害诊断与评估技术存在的技术问题是：
4、(1)玉米病害的多级识别与评估方面，传统基于人工的方法受制于主观性强，导致效率低下；在病害表征微妙且形态相似时多种病害的识别准确率较低；对于不规则病灶，切割的病斑边缘比较粗糙。
5、(2)病害实体及关系提取方面，在处理富含复杂玉米相关知识的多特征文本时，由于实体类型复杂多样且现有方法对实体类别划分不够细致，导致难以准确识别不同实体及其属性，进而难以揭示文本中隐含的关系，特别是在捕捉病害、环境因素及生长周期等多维度信息间的相互作用和潜在联系时。
6、(3)玉米病害整治推荐方面，传统表示学习方法在简化建模过程中可能丧失对复杂逻辑关系的捕捉能力，而基于图谱的方法面临模型复杂关系建模不足和忽略实体关系隐蔽特征的问题。
7、(4)现有方法大多仅停留在单病害种类的识别层面，对于同一病害不同严重程度的分级评估以及针对各级别病害提出具有针对性的整治措施尚不完善。
技术实现思路
1、本专利技术要解决现有技术中的技术问题，提供一种融合多模态信息的玉米病害智能分级评估与整治推荐方法。
2、为了解决上述技术问题，本专利技术的技术方案具体如下：
3、一种融合多模态信息的玉米病害智能分级评估与整治推荐方法，包括以下步骤：
4、步骤1，基于位置注意力机制的病害识别与多级评估模型，结合位置注意力机制，通过卷积神经网络强化图像特征提取与空间解析，区分相似病害，计算病斑面积及占比实现病害等级评估；
5、步骤2，基于玉米病害实体识别和关系提取模型，自动标注数据，深入挖掘病害文本中的关键实体及其复杂关系，构建病害知识三元组库，深化对玉米病害与相关因素理解；
6、步骤3，基于隐式依赖增强的图注意网络的病害整治推荐模型，在复数空间学习病害知识三元组库中实体关系生成链接预测，运用图注意网络强化节点特征捕捉隐性关系，结合加权邻接信息和多头注意力机制动态优化实体与关系深度表征，实现病害治理推荐。
7、在上述技术方案中，步骤1包括以下步骤：
8、步骤1.1，通过改进emo-transformer模型将集成位置编码的倒移动残差模块作为元移动块进行多层堆叠，增强在复杂图像特征提取和空间信息解析方面的能力，对形态上高度相似的病害类型实现区分；
9、步骤1.2，将步骤1.1识别出的特征传递给改进unet-se，映射病害在植株上的分布情况，并结合条件随机场(crf)对分割结果优化，提升病斑边缘的识别精度；
10、步骤1.3，计算标注区域病斑的面积及占比，并依据预设标准将病害程度分级，实现对病害严重程度的评估。
11、在上述技术方案中，步骤1.1中，元移动块进行多层堆叠的步骤为：
12、①输入升维，通过一个升维多层感知机增加输入特征图的深度，提供更丰富的特征维度，该步骤表示为：
13、x′icm＝mlpup(xicm)
14、其中，mlpup为一个具有升维功能的多层感知机，将输入特征图xicm的通道数增加，x′icm代表升维后的新的特征图；
15、②中间算子增强，应用一个灵活选择的中间算子operator来进一步增强特征表示；
16、yefm＝operator(x′icm)
17、其中，yefm表示经过增强后的特征图，operator表示identity映射；
18、③降维与残差连接，通过另一个mlpdown进行降维操作，减少特征图的深度，以控制模型复杂度，同时引入残差连接以促进梯度流动和训练稳定性，该步骤公式化为：
19、zmbo＝mlpdown(yefm)+xisr
20、其中，zmbo是当前元移动块的输出，+xisr表示倒移动残差。
21、在上述技术方案中，步骤1.1中，倒移动残差模块是采用极致分离卷积块(xsep-conv)通过空间分离卷积，深度卷积与逐点操作高效提取局部特征减少参数量，并保证特征捕获的精确度；同时使用扩展窗口多头自注意力(ew-mhsa)由分块计算将复杂的自注意力计算分解为多个小规模运算，有效控制计算复杂度。
22、在上述技术方案中，步骤1.1中，对形态上高度相似的病害类型实现区分是通过全局平均池化压缩特征图，再经全连接层映射至病害类别，输出病害概率分布，选取最高概率类别作为针对叶片病害的精确分类预测结果。
23、在上述技术方案中，步骤2包括以下步骤：
24、步骤2.1，使用roberta模型对大规模预训练数据进行深层次语境编码，捕捉农业文本中的细微差别和隐含信息；
25、步骤2.2，通过pcnn模型多层次结构实现病害实体识别与关系抽取，对作物病害实体间复杂关联的分类，揭示作物名与病害名背后的症状、发病期及其他关键因素的影响关系；
26、步骤2.3，形成包含实体和关系的玉米病害三元组库。
27、在上述技术方案中，步骤3包括以下步骤：
28、步骤3.1，在全局层面通过complex模型学习与玉米病害相关的所有实体及其相互关系的三元组表示，将其嵌入到复数空间中，通过内积捕捉实体和关系的相互作用；
29、步骤3.2，聚焦于局部结构，通过gat模型运用学习的实体嵌入初始化节点特征，通过本文档来自技高网...
【技术保护点】
1.一种融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤1包括以下步骤：
3.根据权利要求2所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤1.1中，元移动块进行多层堆叠的步骤为：
4.根据权利要求2所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤1.1中，倒移动残差模块是采用极致分离卷积块(XSep-Conv)通过空间分离卷积，深度卷积与逐点操作高效提取局部特征减少参数量，并保证特征捕获的精确度；同时使用扩展窗口多头自注意力(EW-MHSA)由分块计算将复杂的自注意力计算分解为多个小规模运算，有效控制计算复杂度。
5.根据权利要求2所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤1.1中，对形态上高度相似的病害类型实现区分是通过全局平均池化压缩特征图，再经全连接层映射至病害类别，输出病害概率分布，选取最高概率类别作为针对叶片病害的精
6.根据权利要求1所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤2包括以下步骤：
7.根据权利要求1所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤3包括以下步骤：
8.根据权利要求1-7任意一项所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，在步骤1前还包括数据集构建及预处理步骤。
...【技术特征摘要】
1.一种融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤1包括以下步骤：
3.根据权利要求2所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤1.1中，元移动块进行多层堆叠的步骤为：
4.根据权利要求2所述的融合多模态信息的玉米病害智能分级评估与整治推荐方法，其特征在于，步骤1.1中，倒移动残差模块是采用极致分离卷积块(xsep-conv)通过空间分离卷积，深度卷积与逐点操作高效提取局部特征减少参数量，并保证特征捕获的精确度；同时使用扩展窗口多头自注意力(ew-mhsa)由分块计算将复杂的自注意力计算分解为多个小规...
【专利技术属性】
技术研发人员：娄建楼，叶奥迪，娄建勋，应志磊，梁丰，
申请(专利权)人：东北电力大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。