基于多视图多任务集成学习的作物叶片种类识别方法技术

本发明专利技术涉及一种基于多视图多任务集成学习的作物叶片种类识别方法，该方法选取叶片图像作为原始数据集，并进行特征提取，得到若干视图下的数据集；利用CNN模型作为基学习器，对若干视图下的数据集与原始数据集分别进行单独的集成学习；然后固定所有基学习器的参数，并去除掉基学习器中全连接分类器的最后一层，然后将所有模型的输出拼接起来，并添加新的分类器，对若干视图进行联合特征选择，使得其验证集准确率达到期望，得到多个视图下的模型；再利用多任务学习，对叶片种类进行识别。本发明专利技术强化了模型的准确度和泛化能力，整体上解决了传统深度学习模型训练数据不足，模型简单地堆叠深度导致的泛化能力弱的问题。

【技术实现步骤摘要】
基于多视图多任务集成学习的作物叶片种类识别方法
本专利技术属于人工智能领域，在传统深度学习模型的基础上提出一种提高识别作物叶片及其存在病害效果的改进方法。
技术介绍
当下粮食安全问题日益严峻。有许多因素正威胁着粮食安全，其中植物病害对全球范围的粮食安全构成严重威胁。以往对农作物病害的识别大多采用人工方式，但人工识别存在诸多不足。随着精准农业的兴起，运用信息技术辅助农业生产为农作物病害的识别提供了新思路，图像处理技术就是其中之一，其对农作物病害识别具有传统方法所不具备的各种优点，即实时性强、速度快、误判率低，甚至还可以及时提供防治病害传播的必要方法。目前通过图像识别农作物病害的难点主要在于图像分割、特征提取与分类识别。解决这些难点的主要方法有阈值分割法、边缘检测法、数学形态学法、支持向量机法与模糊聚类法等。尽管这些方法已经取得了很好的分类效果，但这些方法采用了传统的机器学习方法，通过使低级视觉特征与多种算法的结合来识别病害。这就导致它们也有一些局限性。其中阈值分割法的特点是简单，执行效率高，但阈值的选取，作物病虫害区域的颜色、纹理等特征往往与非病害区域有着较大的差别。而边缘检测法的分割效率依赖于边缘检测算子，鲁棒性较差。数学形态学法的缺点则在于由各种几何基元的并集、交集和差集构成的目标与人类对形状的感觉有一定的差异。糊聚类法收敛速度慢、必须先确定分类数等局限件，支持向量机法的性能又过于依赖核函数和对样本的训练速度。此外以上方法提取特征时间点过于单一，大多数的特征提取都是在农作物病虫害症状十分明显时才进行，严重影响了实时性，不能做到早识别、早防治。而且对噪声和初始化数据的敏感这又导致分割精度产生的影响在具有复杂生长环境的农作物病害图像分割中尤为突出，例如当图像背景复杂或叶片呈粉状时，识别工作将很困难。同时，它们大多依赖手工制作的特征，无法解决语义问题间隙。与它们相比CNN作为一个深度学习模型可以从数据中自动发现越来越高层次的特征，并且在许多不同领域都取得了显著的成功。尤其是在在图像识别领域，CNN在学习数据充足时有稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分类器(hierarchicalclassifier)，也可以在精细分类识别(fine-grainedrecognition)中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过无监督学习自行提取。这些资料均表明CNN在图像识别领域取得了巨大的成功，因此，近年来，有许多研究者利用CNN方法进行植物病害诊断。目前，虽然基于深度学习的图像识别方法在准确率上已经强于很多传统算法，但大量的作物识别的模型依旧面对模型泛化能力一般的问题，其主要原因有二：一是数据集规模的限制。作物病害图片的人工获取和人工标注标签耗时耗力，导致可供模型训练的数据较少，传统解决方法是使用数据增强扩充数据集，但提高模型泛化能力的程度十分有限。二是大量的作物识别的模型只是简单的使用卷积神经网络与全连接层的简单堆叠，且都只是在单视图的思路下实现，然而，物体的不同视图描述了物体的不同特性，这一缺陷导致模型本身泛化能力不强。
技术实现思路
本专利技术为了解决现有技术中存在的问题，提供一种模型精度高且泛化能力强的基于多视图多任务集成学习的作物叶片种类识别方法。为了达到上述目的，本专利技术提出的技术方案为：一种基于多视图多任务集成学习的作物叶片种类识别方法，首先，选取叶片图像作为原始数据集，并对原始数据集进行特征提取，得到若干单一视图下的数据集；然后，利用CNN模型作为基学习器，对若干单一视图下的数据集与原始数据集分别进行单独的集成学习；单独集成学习完成后固定所有基学习器的参数，并去除掉所有基学习器中全连接分类器的最后一层，然后将所有CNN模型的输出拼接起来，并添加新的全连接分类器，对若干视图进行联合特征选择，使得其验证集准确率达到期望值，得到多个视图下的模型，完成多视图集成学习；再利用多任务学习，共享不同任务已学到的特征表示，对叶片种类进行识别。对上述技术方案的进一步设计为：所述基学习器的选取方法为：选取深度学习图像识别模型组成模型族，然后给模型族中的每个模型编号，再在这些模型中随机选择一定数量的模型来作为一个单一视图下数据集的所有基学习器；对于原始数据集，使用模型族中所有模型作为基学习器。所述深度学习图像识别模型包括GoogleNet，VGG，Resnet等。所述多视图集成学习中的损失函数为：本专利技术的技术方案与现有技术相比，具有的有益效果为：本专利技术采用了CNN集成学习，将多种成熟的CNN模型作为基学习器。基于此，利用多视图学习，针对作物叶片的边缘，灰度，纹理，质地和原始图片五个视图进行训练模型。最后又利用多任务学习，共享不同任务已学到的特征表示。强化了模型的准确度和泛化能力，整体上解决了传统深度学习模型训练数据不足，模型简单地堆叠深度导致的泛化能力弱的问题。本专利采用了多任务学习，通过在所有任务之间共享隐藏层，同时保留特定任务的输出层来实现隐层参数的硬共享，使多个任务在并行训练中共享不同任务已学到的特征表示，降低了过拟合的风险。附图说明图1为本专利技术的模型设计图；图2为本专利技术的模型训练流程图；图3为VGG模型结构图；图4为按灰度提取后的图片的集成学习模型；图5为按纹理提取的图片；图6为多视图学习结构图；图7为多任务学习分类器。具体实施方式下面结合附图以及具体实施例对本专利技术进行详细说明。本实施例的基于多视图多任务集成学习的作物叶片种类识别方法的模型设计如图1所示，步骤一、取叶片图像作为原始数据集，并对原始数据集进行特征提取，得到若干视图下的数据集；利用CNN模型作为基学习器，对若干视图下的数据集与原始数据集分别进行单独的集成学习；原始数据集图片通过特定的卷积核可以得到不同视图下的图片，例如灰度，质地，边缘，纹理等(图5为展示了按纹理提取的新图片)。这些卷积核需要进行设计，如果我们想要得到图片纹理，我们可以设置卷积核的参数为(-1，0，1；-2，0，2；-1，0，1)。卷积核的参数可以根据具体任务的要求来设计。对原始数据集经过提取后，便可以得到若干不同视图下的数据集。这些不同视图的图片连同原始图片在不同的视图中进行单独的训练。视图定义如公式(1)所示；其中，视图的总数目为1+|view|，v0表示没有通过特征提取的视图，即原始图片，而vi(1≤i≤|view|)表示通过第i(1≤i≤|view|)种特征提取方式提取后的视图。本实施例中模型训练过程如图2所示，集成学习的过程如下：首先，我们定义一个模型族，模型族定义如公式(2)所示，其中模型的总数为||。这里我们会用一些成熟的深度学习图像识别模型，如GoogleNet，VGG，Resne本文档来自技高网...

【技术保护点】
1.一种基于多视图多任务集成学习的作物叶片种类识别方法，其特征在于：/n选取叶片图像作为原始数据集，并对原始数据集进行特征提取，得到若干单一视图下的数据集；/n利用CNN模型作为基学习器，对若干单一视图下的数据集与原始数据集分别进行单独的集成学习；/n单独集成学习完成后固定所有基学习器的参数，并去除掉所有基学习器中全连接分类器的最后一层，然后将所有CNN模型的输出拼接起来，并添加新的全连接分类器，对若干视图进行联合特征选择，使得其验证集准确率达到期望值，得到多个视图下的模型，完成多视图集成学习；/n利用多任务学习，共享不同任务已学到的特征表示，对叶片种类进行识别。/n

【技术特征摘要】
1.一种基于多视图多任务集成学习的作物叶片种类识别方法，其特征在于：
选取叶片图像作为原始数据集，并对原始数据集进行特征提取，得到若干单一视图下的数据集；
利用CNN模型作为基学习器，对若干单一视图下的数据集与原始数据集分别进行单独的集成学习；
单独集成学习完成后固定所有基学习器的参数，并去除掉所有基学习器中全连接分类器的最后一层，然后将所有CNN模型的输出拼接起来，并添加新的全连接分类器，对若干视图进行联合特征选择，使得其验证集准确率达到期望值，得到多个视图下的模型，完成多视图集成学习；
利用多任务学习，共享不同任务已学到的特征表示，对叶片种类进行识别。


2....

【专利技术属性】
技术研发人员：田青，梅承，孙灏铖，张恒，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32