一种基于深度学习和图像处理的蔬菜苗田杂草检测方法技术

本发明专利技术涉及一种基于深度学习和图像处理的蔬菜苗田杂草检测方法。采集不同生长阶段的蔬菜苗田内蔬菜与主要杂草的图片，经过预处理建立图像数据集，划分为训练集、测试集和验证集；在采集的甜菜与杂草图片数据集上训练杂草目标检测卷积神经网络模型，利用测试集进行精度测试；输入待检测图像，生成杂草目标检测框、杂草类别和杂草目标置信度得分；利用非极大值抑制算法从检测框中筛选出对应种类局部置信度极大值检测框，作为当前杂草目标检测真值框；在杂草目标检测框采用超绿图像特征结合OTSU自适应阈值分割算法分割当前区域图像，得到更加精准的目标图像质心坐标位置和外接矩形框。本方法能够快速对蔬菜苗田中的作物和杂草目标进行准确识别和定位。草目标进行准确识别和定位。草目标进行准确识别和定位。

【技术实现步骤摘要】
一种基于深度学习和图像处理的蔬菜苗田杂草检测方法


[0001]本专利技术涉及杂草检测领域，具体涉及一种基于深度学习和图像处理的蔬菜苗田杂草检测方法。

技术介绍

[0002]田间杂草与农作物争夺营养和水分，侵占农田生长空间，影响作物光合作用，干扰作物生长，降低农作物产量和质量，还间接助长了病虫害的滋生和蔓延。蔬菜大棚内种植的有机蔬菜具有较高的经济价值，然而我国大部分蔬菜大棚内还是采用传统人工除草方式和化学除草方式。人工除草方式劳动强度大、耗时费力、效率低，化学除草易造成环境污染。随着精准农业技术发展，自动化除草机械逐渐成为了杂草防治研究重点，自动化除草机械执行除草任务的前提是对田间杂草目标的精准定位。目前，蔬菜苗田杂草识别方法主要有采用机器视觉图像识别和多光谱分析方法。机器视觉图像识别方法主要是用图像采集设备采集田间RGB图像，分析并提取杂草和作物各自的形状、颜色、轮廓等形态学特征，训练图像特征分类器实现对二者的区分，对图像采集环境、采集设备和图像处理要求较高，图像特征提取和图像特征分类器的训练十分复杂，并且依赖人为经验，对实际除草作业的适应性较差。多光谱技术利用采集设备采集田间作物和杂草的各自光谱图像信息，利用作物和杂草在不同光照条件下表现出的不同光谱信息来区分二者，该方法的分析采集设备要求较高，并且对工作环境现场光照和天气条件较为敏感，难以进行大规模推广，不利于实际农业生产作业。

技术实现思路

[0003]本专利技术的目的在于提供一种基于深度学习和图像处理的蔬菜苗田杂草检测方法，该方法能够快速准确的检测蔬菜苗田杂草目标，对采集设备和图像数据质量要求较低，能够适用于非结构复杂环境下的杂草检测任务。
[0004]为实现上述目的，本专利技术的技术方案是：一种基于深度学习和图像处理的蔬菜苗田杂草检测方法，包括如下步骤：S1、在蔬菜大棚内采集大量不同生长阶段的蔬菜苗田内蔬菜与主要杂草的RGB三通道图片；S2、经过数据标注、图像预处理和数据增强建立图像数据集，将图像数据集中的样本按照8:1:1的比例划分为训练集、测试集和验证集；S3、在采集的甜菜与杂草图片数据集上训练卷积神经网络得到网络预权重，然后通过迁移学习和网络冻结的方式在训练集上训练杂草目标检测卷积神经网络模型，利用测试集对训练好的杂草目标检测卷积神经网络模型进行精度测试得到检测结果并进行网络微调；S4、将待检测图像输入网络模型中进行推理，在待检图像中生成杂草目标检测框、杂草类别和杂草目标置信度得分；
S5、利用非极大值抑制算法从所有检测框中筛选出对应种类局部置信度极大值检测框，作为当前杂草目标检测真值框；S6、在所有杂草目标检测框采用超绿图像特征结合OTSU自适应阈值分割算法分割当前区域图像，输出更加精准的杂草目标图像质心坐标和外接矩形框。
[0005]在本专利技术一实施例中，步骤S1的蔬菜大棚为国家示范种植基地的蔬菜大棚。
[0006]在本专利技术一实施例中，步骤S3中，采集的甜菜与杂草图片数据集为德国波恩大学采集的甜菜与杂草图片数据集。
[0007]在本专利技术一实施例中，所有图像均为采集自蔬菜大棚内的蔬菜苗田间的RGB三通道图像。
[0008]在本专利技术一实施例中，在步骤S2中，图像预处理方法为高斯滤波和Gamma矫正。
[0009]在本专利技术一实施例中，在步骤S2中，数据增强方法为：将样本图像按照70%～120%之间进行随机比例缩放；将图像进行随机裁剪；将图像相对于中心线进行水平翻转；在图像上添加满足高斯分布的随机噪声；在杂草目标位置添加随机黑色掩膜遮挡；在图像上复制杂草目标然后粘贴到图像随机位置；对图像在RGB、HSV、LUV颜色通道上施加颜色变化。
[0010]在本专利技术一实施例中，在步骤S3中，卷积神经网络模型预权重是在甜菜与杂草图片数据集上训练得到的CSPDarknet
‑
53主干特征提取网络模型，包含16个卷积层，卷积核形式为1
×
1和3
×
3。
[0011]在本专利技术一实施例中，在步骤S6中，图像分割采用超绿图像特征结合OTSU自适应阈值分割算法，然后在前景图像上计算连通域和目标质心坐标，最后输出包含杂草类别、杂草目标检测框和杂草质心坐标的检测结果。
[0012]相较于现有技术，本专利技术具有以下有益效果：对于田间杂草检测任务，传统的机器视觉方法需要对图像进行复杂的图像预处理，然后人工提取其图像特征(颜色、形状、纹理、轮廓和人工设计特征等)并用提取到的图像特征训练分类器进行图像识别。机器视觉方法对图像质量和图像预处理要求较高，需要为每一类作物和杂草进行相应的特征分析并且依赖人为经验，处理过程复杂，对于复杂环境适应性较差。多光谱图像识别方法对光谱图像采集时的环境光照和天气要求较高，当涉及到多种作物和杂草时无法确保较高准确率，并且由于对采集分析设备要求较高无法大范围推广。本方法采用深度学习和图像处理结合的方式，充分发挥深度学习算法准确率高、鲁棒性强和传统图像处理算法的强通用性，只需要廉洁的RGB相机采集蔬菜田间作物与杂草图像制成数据集，通过深度学习训练得到基于深度卷积神经网络的杂草检测器，使用图像处理方法增强检测器对杂草目标的定位精度，实现在蔬菜苗田杂草的快速准确检测。在验证集样本上实验显示，本方法在数据集样本数量较少时通过数据增强和迁移学习方式也能达到极高的检测精度。在本方法中，对于作物和杂草的检测准确率高，速度更快，鲁棒性更强，对采集设备成本和图像数据质量要求低，对于蔬菜苗田杂草检测任务具有较强的适用性，可进行良好推广。
附图说明
[0013]图1是本专利技术中构建深度卷积神经网络杂草检测器的流程图；图2是本专利技术中检测蔬菜苗田杂草的流程图；
图3是本专利技术中深度卷积神经网络模型结构图。
具体实施方式
[0014]下面结合附图，对本专利技术的技术方案进行具体说明。
[0015]本专利技术一种基于深度学习和图像处理的蔬菜苗田杂草检测方法，包括如下步骤：S1、在蔬菜大棚内采集大量不同生长阶段的蔬菜苗田内蔬菜与主要杂草的RGB三通道图片；S2、经过数据标注、图像预处理和数据增强建立图像数据集，将图像数据集中的样本按照8:1:1的比例划分为训练集、测试集和验证集；S3、在采集的甜菜与杂草图片数据集上训练卷积神经网络得到网络预权重，然后通过迁移学习和网络冻结的方式在训练集上训练杂草目标检测卷积神经网络模型，利用测试集对训练好的杂草目标检测卷积神经网络模型进行精度测试得到检测结果并进行网络微调；S4、将待检测图像输入网络模型中进行推理，在待检图像中生成杂草目标检测框、杂草类别和杂草目标置信度得分；S5、利用非极大值抑制算法从所有检测框中筛选出对应种类局部置信度极大值检测框，作为当前杂草目标检测真值框；S6、在所有杂草目标检测框采用超绿图像特征结合OTSU自适应阈值分割算法分割当前区域图像，输出更加精准的杂草目标图像质心坐标和外接矩形框。
[0016]以下为本专利技术具体实现过程。
[0017]如图1所示，构建深度卷积神经网络杂草检测器，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和图像处理的蔬菜苗田杂草检测方法，其特征在于，包括如下步骤：S1、在蔬菜大棚内采集大量不同生长阶段的蔬菜苗田内蔬菜与主要杂草的RGB三通道图片；S2、经过数据标注、图像预处理和数据增强建立图像数据集，将图像数据集中的样本按照8:1:1的比例划分为训练集、测试集和验证集；S3、在采集的甜菜与杂草图片数据集上训练卷积神经网络得到网络预权重，然后通过迁移学习和网络冻结的方式在训练集上训练杂草目标检测卷积神经网络模型，利用测试集对训练好的杂草目标检测卷积神经网络模型进行精度测试得到检测结果并进行网络微调；S4、将待检测图像输入网络模型中进行推理，在待检图像中生成杂草目标检测框、杂草类别和杂草目标置信度得分；S5、利用非极大值抑制算法从所有检测框中筛选出对应种类局部置信度极大值检测框，作为当前杂草目标检测真值框；S6、在所有杂草目标检测框采用超绿图像特征结合OTSU自适应阈值分割算法分割当前区域图像，输出更加精准的杂草目标图像质心坐标和外接矩形框。2.根据权利要求1所述的一种基于深度学习和图像处理的蔬菜苗田杂草检测方法，其特征在于，步骤S1的蔬菜大棚为国家示范种植基地的蔬菜大棚。3.根据权利要求1所述的一种基于深度学习和图像处理的蔬菜苗田杂草检测方法，其特征在于，步骤S3中，采集的甜菜与杂草图片数据集为德国波恩大学采集的甜菜与杂草图片数据集。4.根据权利要求1所述的一种基于深度学习和图像处理的蔬菜苗...

【专利技术属性】
技术研发人员：东辉，陈鑫凯，孙浩，李叙兵，
申请(专利权)人：福州大学，
类型：发明
国别省市：