一种基于深度神经网络的甘蔗幼苗自动识别与计数方法技术

本发明专利技术涉及一种基于深度神经网络的甘蔗幼苗自动识别与计数方法，包括：数据采集、图像预处理、制作数据集、搭建卷积神经网络结构、模型训练、模型精度评估及选择、对大尺寸航拍检测结果进行拼接与去重，得到对原始航拍图像全图甘蔗苗的检测与计数结果。本发明专利技术提出一种基于深度神经网络的甘蔗幼苗自动识别与计数方法，通过深度卷积神经网络对数据的本身特征进行非线性表达，能够从复杂数据中学习到甘蔗幼苗的特征，增强了模型的鲁棒性。增强了模型的鲁棒性。增强了模型的鲁棒性。

【技术实现步骤摘要】
一种基于深度神经网络的甘蔗幼苗自动识别与计数方法


[0001]本专利技术属于图像识别技术和农业遥感检测相结合的
，特别是涉及一种基于深度神经网络的甘蔗幼苗自动识别与计数方法。

技术介绍

[0002]甘蔗的苗数在计算甘蔗出苗率与分蘖率等表型特征中均是必须采集的数据，为了掌握甘蔗幼苗的出苗情况，需要定期对田间蔗苗的分布和数量进行调查。但在实际应用中，目前获取田间作物数据的常规方法很大程度上依然依赖于人工，这在处理田间大规模实地测量时既耗时又繁琐，这些成本的增加也会限制样本的采样规模，数据的稀疏和人工测量的偏差都会影响数据的准确度。人工智能技术的发展与应用为甘蔗育种改良提供了新的思路,尤其是深度学习目标检测技术在作物表型分析中取得了较好的成果，Faster R
‑
CNN作为目标检测中的常用模型之一，已经应用到植物生产的几个方向，常见的应用包括生物量的估计、营养状况诊断、害虫和杂草的检测等。
[0003]随着检测技术的快速发展，基于遥感的农情监测能够快速、准确地估算作物的生理指标，已经成为人们研究的焦点。为了快速、无损、准确地追踪田间甘蔗幼苗的出苗情况，需要对田间幼苗进行精准地识别定位，并能够在较短时间内输出计数结果。有了对蔗苗分布和数量等特征的准确了解，育种人员才能有效地管理如精确喷洒、精确除草和监测甘蔗早期生长等过程。航拍图像覆盖范围广，且利用无人机采集冠层数据保证了较高的实时性和效率，是适合在田间对甘蔗幼苗检测的一种方式。通过低空航拍图像检测早期甘蔗的幼苗数可以研究环境因子、土壤特性、栽培方式和不同品种对甘蔗出苗性状的影响并且有助于制定更加合理的施肥等管理方案，然而目前深度学习目标检测技术对低空航拍植物冠层图像检测的报道比较少。
[0004]无人机代表了在高分辨率前提下获取图像的一种低成本遥感技术，它能使种植者不断监测作物的生长发育状况，已经有育种研究人员通过无人机的航拍图像来筛选能抵抗生物胁迫和非生物胁迫的性状，并且选择最优化的土壤和水资源管理的方案来加快育种进度。配备传感器的轻型无人机平台可以获得高时空分辨率的图像，加上其执行任务速度快，飞行时间灵活，操作方便，为高通量表型分析提供更加灵活和经济的解决方案，越来越多地应用于田间表型鉴定。Oscar等提出将低分辨率多光谱图像和高分辨率RGB图像融合用来检测水稻出苗后的田间禾本科杂草。Juan Enciso等通过无人机搭载高清RGB相机和多光谱传感器系统用于不同品种番茄的表型性状鉴定，用无人机估算冠层覆盖度和冠层分析仪测得的叶面积指数进行相关性分析，相关系数达到0.72。这些方法在进行作物识别时都需要在无人机上搭载复杂的多光谱传感器，不仅会增加采集图像的成本也会影响航行的时间。并且甘蔗的生长环境更加复杂，采用这些方法不能对每株甘蔗幼苗进行准确识别和定位，也就无法给育种人员提供可靠的评估依据。
[0005]卷积神经网络(CNN)是目前应用最广泛的图像识别深度学习方法，目前在农业领域图像数据的各种应用中已经取得很高的性能，涉及植物识别、植物叶片分割与分类、农作
物病虫害识别、杂草检测、果实识别、产量估计和农田的作物计数等研究。目前，一些比较前沿的基于深度学习的目标检测算法，如Faster R
‑ꢀ
CNN，YOLO，SSD等基本都是在传统公开的遥感图像数据集上进行实验的。但由于田间的环境更加复杂，作物的形态结构差异较大，在大田作物航拍图像数据集上使用传统目标检测算法识别的效果不佳。所以，需要单独分析深度学习在作物航拍图像上的目标检测，且目前利用基于深度学习的目标检测在作物航拍图像上取得显著效果的研究并不多。

技术实现思路

[0006]本专利技术的目的是利用无人机搭载可见光数码相机获取甘蔗幼苗的低空航拍 RGB图像，采用深度学习方法对甘蔗苗航拍图像进行目标检测，同时在地面调查试验区域内幼苗数的真实值。甘蔗幼苗的数量是甘蔗育种中评价甘蔗出苗率、分蘖率的基础数据，在主流深度学习目标检测框架Faster R
‑
CNN的基础上进行改进，搭建基于改进Faster R
‑
CNN的田间幼苗检测与计数系统，实现航拍图像中甘蔗幼苗的识别和计数。
[0007]为实现上述目的，本专利技术提供了如下方案：
[0008]一种基于深度神经网络的甘蔗幼苗自动识别与计数方法，包括以下步骤：
[0009]S1、数据采集：使用无人机采集甘蔗出苗后的冠层可见光图像，作为输入的原始图像；
[0010]S2、图像预处理：对基于图像自适应对比度增强处理后的图像进行图像裁剪；
[0011]S3、制作数据集：从采集的所述原始图像中随机挑选出若干图像用于训练和验证，并且训练和验证的图像不存在交集，将所述若干图像经过预处理后进一步筛选出包含一株完整甘蔗幼苗且没有模糊失真的图像块，并将其中2/3～6/7的图像块用于训练，获得训练集，挑选出所述图像中剩余图像块用于评估模型检测精度；
[0012]S4、搭建卷积神经网络结构：更换特征提取网络，在更换后的特征提取网络层嵌入注意力模块SN
‑
Block，输出特征图后进行多尺度特征融合，筛选出置信度高的候选框作为目标候选框，输入到后续的模型中进行精确分类和定位；
[0013]S5、对改进的神经网络模型进行训练：基于S4中搭建的神经网络结构，构建改进的神经网络模型，将所述训练集输入到所述改进的神经网络模型中训练，利用所述特征提取网络提取图像中目标的特征，生成的特征图被后续候选区域网络RPN与检测网络Fast R
‑
CNN共享；
[0014]S6、模型精度评估及选择：将制作的验证集输入保存的改进的神经网络模型进行检测，利用性能评估指标评价不同神经网络模型的检测精度；
[0015]S7、对大尺寸航拍检测结果进行拼接与去重，得到对所述原始图像的全图甘蔗苗的检测与计数结果。
[0016]优选地，S1中，所述无人机的飞行高度设为10～20m，速度设为2～4m/s。
[0017]优选地，S2中，所述图像自适应对比增强的具体步骤包括：
[0018]通过自适应对比增强的方法增加所述输入图像中植株与土壤背景的对比度，先通过低通滤波获得图像的低频分量，然后通过所述原始图像减去低频分量得到表征图像边缘和细节的高频分量，最后将所述高频分量乘以一个增益值，重组所述低频分量和高频分量，得到增强后的图像。
[0019]优选地，S2中，所述图像裁剪的具体方法为：
[0020]将经过图像增强处理后准备用于模型训练和验证的图像裁剪为相同尺寸的子图像块，采用网格的方式裁剪，然后筛选出图像中包含至少一株完整甘蔗苗且未出现画面失真的图片作为制作训练集和验证集。
[0021]优选地，所述子图像块的最大边长不超过1024像素。
[0022]优选地，S4中，所述搭建卷积神经网络结构的具体步骤为：
[0023]S4.1、更换特征提取网络：将原始网络使用的VGG16网络替换为ResNet50 网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的甘蔗幼苗自动识别与计数方法，其特征在于，包括以下步骤：S1、数据采集：使用无人机采集甘蔗出苗后的冠层可见光图像，作为输入的原始图像；S2、图像预处理：对基于图像自适应对比度增强处理后的图像进行图像裁剪；S3、制作数据集：从采集的所述原始图像中随机挑选出若干图像用于训练和验证，并且训练和验证的图像不存在交集，将所述若干图像经过预处理后进一步筛选出包含一株完整甘蔗幼苗且没有模糊失真的图像块，并将其中2/3～6/7的图像块用于训练，获得训练集，挑选出所述图像中剩余图像块用于评估模型检测精度；S4、搭建卷积神经网络结构：更换特征提取网络，在更换后的特征提取网络层嵌入注意力模块SN
‑
Block，输出特征图后进行多尺度特征融合，筛选出置信度高的候选框作为目标候选框，输入到后续的模型中进行精确分类和定位；S5、对改进的神经网络模型进行训练：基于S4中搭建的神经网络结构，构建改进的神经网络模型，将所述训练集输入到所述改进的神经网络模型中训练，利用所述特征提取网络提取图像中目标的特征，生成的特征图被后续候选区域网络RPN与检测网络Fast R
‑
CNN共享；S6、模型精度评估及选择：将制作的验证集输入保存的改进的神经网络模型进行检测，利用性能评估指标评价不同神经网络模型的检测精度；S7、对大尺寸航拍检测结果进行拼接与去重，得到对所述原始图像的全图甘蔗苗的检测与计数结果。2.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法，其特征在于，S1中，所述无人机的飞行高度设为10～20m，速度设为2～4m/s。3.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法，其特征在于，S2中，所述图像自适应对比增强的具体步骤包括：通过自适应对比增强的方法增加所述输入图像中植株与土壤背景的对比度，先通过低通滤波获得图像的低频分量，然后通过所述原始图像减去低频分量得到表征图像边缘和细节的高频分量，最后将所述高频分量乘以一个增益值，重组所述低频分量和高频分量，得到增强后的图像。4.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法，其特征在于，S2中，所述图像裁剪的具体方法为：将经过图像增强处理后准备用于模型训练和验证的图像裁剪为相同尺寸的子图像块，采用网格的方式裁剪，然后筛选出图像中包含至少一株完整甘蔗苗且未出现画面失真的图片作为制作训练集和验证集。5.根据权利要求4所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法，其特征在于，所述子图像块的最大边长不超过1024像素。6.根据权利要求1所述的基于深度神经网络的甘蔗幼苗自动识别与计数方法，其特征在于，S4中，所述搭建卷积神经网络结构的具体步骤为：S4.1、更换特征提取网络：将原始网络使用的VGG16网络替换为ResNet50网络，将输入网络的尺寸设置为640
×
640，输入尺寸要求能被2的6次方整除，子图像尺寸不足640
×
640的，使用0对子图边缘进行填充以调整为输入尺寸，子图像块尺寸不满足1024的，则使用等
比例缩放的方式调整所述输入图像的尺寸到指定的输入尺寸，将所述图像输入特征提取层后，所述ResNet50网络采用不同数量的卷积层组合、批量归一化层、ReLU激活层和最大池化层组成的五个阶段进行特征提取；S4.2、在特征提取网络层嵌入注...

【专利技术属性】
技术研发人员：李修华，朱能志，潘雨蕴，张诗敏，
申请(专利权)人：广西大学，
类型：发明
国别省市：