一种面向单株大豆密集豆荚的自动计数检测方法技术

本发明专利技术公开了一种面向单株大豆密集豆荚的自动检测方法，采用一种融合可变形递归特征金字塔网络与边界框优化网络的深度学习目标检测算法实现单株豆荚检测方。首先，针对姿态多变的被遮挡豆荚，采用可变形递归金字塔网络DRFP(Deformable Recursive Feature Pyramid)在骨干网络中使用可变形卷积自适应的捕捉豆荚区域以提取特征，并构造递归金字塔结构进行特征融合；其次采用边界框优化网络，基于可变焦点检测网络(VFNet)框架在位置框回归的网络分支融合斥力损失函数(Repulsion Loss)，改进了检测框位置回归损失函数，缓解豆荚密集区域预测框之间的相互影响。最后，模型测试阶段采用一种新的柔性距离交并比非极大值抑制算法(SDIoU

【技术实现步骤摘要】
一种面向单株大豆密集豆荚的自动计数检测方法


[0001]本专利技术属于植物表型测量领域，是基于目标检测算法的植物器官自动计数方法，属于深度学习的目标检测算法与单株大豆豆荚数量性状表型测量的交叉领域。本专利技术提出一种针对簇状生长的单株大豆豆荚之间、豆荚与茎杆之间存在较为严重的密集遮挡场景下，豆荚自动计数检测的综合方法。

技术介绍

[0002]大豆含有丰富的蛋白质和脂肪，是重要的粮油作物之一。随着我国大豆需求量的不断增长，提升大豆产量势在必行，选育优质的大豆品种是提升产量的有效解决途径。单株荚数(每棵植株所含豆荚数量)是大豆品种质量与产量评估的重要指标之一，获取单株豆荚数对精确育种意义重大。目前，荚数获取主要依赖于人工观察和测量。然而，受限于大豆的多分支结构和密集簇状生长的生物特点，人工计数往往费时费力，效率低下且存在主观误差。因此，亟需快速、高通量、精确的大豆单株豆荚自动计数方法。
[0003]近年来，得益于图像采集设备和人工智能算法的快速发展，基于RGB图像实现高通量、高精度大豆表型测量成为可能，已成功在成熟期大豆大豆豆荚的种类识别、单株大豆豆荚识别检测以及荚长荚宽测量等领域取得突破。对于大豆豆荚计数任务，现有方法在拍照成像前往往需要人工拆解植株，自动化程度有限，需要研制能够直接对非拆解状态的整株大豆大豆豆荚实实现自动计数的算法。
[0004]单株豆荚计数任务属于植物器官计数领域，利用深度学习目标检测算法是常见思路，进一步预测场景中特定目标的类别与位置以后实现计数。然而，由于自然场景的复杂性，直接迁移通用的深度学习目标检测算法时，计数模型精度常受限于特征学习、预测框位置回归以及预测框筛选等环节。具体而言，大田自然环境下的收获器官(如麦穗、稻穗或者水果果实等)，目标常受叶片或枝干的遮挡，这使得学习的目标特征常存在信息丢失或噪声混入。为此，研究者提出将注意力机制引入特征学习与特征融合网络，提高目标特征图的质量，使得网络模型能更好地表征遮挡目标。此外，待计数目标(如稻穗、麦穗)往往较为密集，预测目标位置的候选区域常存在较大重叠，增加了后处理环节的筛选难度，导致模型精度下降。为此，研究者提出用GIoU等替换IoU，作为位置框损失函数，在反映预测检测框与真实检测框的相似性的同时，正确区分两个目标之间的不同距离。成熟期单株大豆受到来自茎秆或周围其他豆荚的局部遮挡，豆荚呈现多变的形态和姿态。现有研究主要在特征学习与融合时引入注意力机制来增强网络对遮挡特征的表示能力，但固定尺度的感受野在特征学习时常无法覆盖姿态不定的豆荚，特征中不可避免的混入噪音。此外，大豆成簇状密集生长且数量分布不均匀，在预测框生成与筛选时，现有工作更多的是通过引入额外约束度量预测框与真实框间的重叠关系，忽略了重叠度极高的不同预测框间的相互干扰性。

技术实现思路

[0005]本专利技术为了实现对RGB图像中单株大豆豆荚的自动检测，使用深度学习目标检测
的方式，设计了一种融合可变形递归特征金字塔网络与边界框优化网络的密集豆荚检测方法。首先，针对姿态多变的被遮挡豆荚，设计了一个可变形递归金字塔网络DRFP(Deformable Recursive Feature Pyramid)，在骨干网络中使用可变形卷积自适应的捕捉豆荚区域以提取特征，并构造递归金字塔结构进行特征融合，提升了特征的学习质量。其次，在可变焦点检测网络(VFNet)框架的基础上，在位置框回归的网络分支融合了斥力损失函数改进了检测框位置回归损失函数，缓解豆荚密集区域预测框之间的相互影响。最后，模型测试阶段采用一种新的SDIoU
‑
NMS非极大值抑制算法，提高预测框的生成与筛选质量。
[0006]技术方案：
[0007]1)采集成熟期单株大豆豆荚图像数据并标注；
[0008]2)构建单株豆荚自动计数检测模型的训练验证数据集；
[0009]3)通过计算豆荚平均尺寸和网络感受野尺寸，构建可变形递归特征金字塔网络，获取能够表征豆荚不同生长方向、不同尺寸大小的融合性分层特征图；
[0010]4)将步骤3)所得特征图输入计数检测框优化网络，基于VFNet的分类预测分支区分豆荚与茎秆、背景，基于融合斥力损失函数的位置框回归分支预测豆荚位置信息；
[0011]5)将步骤2)所得的训练数据集作为输入，设置超参数后训练基于可变形递归特征金字塔与计数检测框优化的豆荚检测模型，进行交叉验证后，根据评价指标综合评估模型性能，选择最优作为最终的单株豆荚自动计数检测模型；
[0012]6)将待检测单张图片输入给单株豆荚自动计数检测模型，利用SDIoU
‑
NMS非极大值抑制处理算法去除重复检测后，遍历检测结果得到图片中的豆荚数量。
[0013]具体的，步骤1)中，包括：
[0014]步骤1.1原始图像采集
[0015]采集训练单株大豆密集豆荚计数检测模型时所需要的单株豆荚图像。对收割后的成熟期整株大豆进行拍照。采集图像时选择光线条件良好、尽量平整的室外场地，铺设黑色绒面(吸光、不反光)背景布，大小约为1.5米*1.5米(可根据供试豆株的高度适当增加或者减小)。拍摄设备可以选择单反相机或者智能手机的前置摄像头；拍摄时通过架设三脚架固定拍摄设备与材料之间的距离与角度，使得拍摄设备距离地面约1米，调整拍摄视角与水平地面呈约75度。拍摄前，摘除明显遮挡豆荚的叶片。拍摄时，将材料放在背景布，调整大豆植株使之处于相机视野中间位置，并调整相机整体曝光度，保证豆株、豆荚都清晰可见；可适当通过翻转豆株改变面对镜头的朝向、分开互相缠绕的分支等人为调整材料的成像效果，尽量减少豆荚、茎秆之间的重叠，但不可破坏材料的基本生长形态；由于拍摄时相机抖动产生模糊不可避免，在拍摄时每个材料拍摄二至三张图片，在后期挑选较为清晰的一张作为该株的代表性图像。可以根据实际需求，增加拍摄机位。
[0016]步骤1.2原始数据标注
[0017]对于步骤1.1所得图片，利用开源标注工具Labelme进行人工标注，将样本中的豆荚通过最小外接矩形标出，记录最小外接矩形的左上、右下顶点坐标，标注最小外接矩形框的类别标签。
[0018]具体的，步骤2)中，针对采集的原始单株大豆图片，随机划分成数量相等的10份，保证训练集、验证集在图像样本空间上没有交集；
[0019]具体的，步骤3)中，主要计算步骤1)获取图像中豆荚的平均尺寸大小和网络感受
野，设计在豆荚之间、豆荚与茎杆之间相互遮挡时，特征提取与融合方法，使卷积神经网络能够充分学习豆荚特征，生成高质量的特征图。包括：
[0020]步骤3.1计算豆荚平均尺寸
[0021]随机选取N张图像中M个豆荚并测量分别其的长和宽，记为H
i
和W
i
，i表示选取的第i个豆荚，计算M个豆荚长和宽的平均值作为原始图像中豆荚的长和宽，记H
pod
和W
pod
，计算方法如下公式(1)所示：
[0022][0023]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向单株大豆密集豆荚的自动计数检测方法，其特征在于其主要包括以下步骤：1)采集成熟期单株大豆豆荚图像数据并标注；2)构建单株豆荚自动计数检测模型的训练验证数据集；3)通过计算豆荚平均尺寸和网络感受野尺寸，构建可变形递归特征金字塔网络，获取能够表征豆荚不同生长方向、不同尺寸大小的融合性分层特征图；4)将步骤3)所得特征图输入计数检测框优化网络，基于VFNet的分类预测分支区分豆荚与茎秆、背景，基于融合斥力损失函数的位置框回归分支预测豆荚位置信息；5)将步骤2)所得的训练数据集作为输入，设置超参数后训练基于可变形递归特征金字塔与计数检测框优化的豆荚检测模型，进行交叉验证后，根据评价指标综合评估模型性能，选择最优作为最终的单株豆荚自动计数检测模型；6)将待检测单张图片输入给单株豆荚自动计数检测模型，利用SDIoU
‑
NMS非极大值抑制处理算法去除重复检测后，遍历检测结果得到图片中的豆荚数量。2.根据权利要求1所述的单株大豆密集豆荚的自动计数检测方法，其特征在于步骤1)中，包括：步骤1.1原始图像采集采集训练单株大豆密集豆荚计数检测模型时所需要的单株豆荚图像。对收割后的成熟期整株大豆进行拍照。采集图像时选择光线条件良好、尽量平整的室外场地，铺设黑色绒面(吸光、不反光)背景布，大小约为1.5米*1.5米(可根据供试豆株的高度适当增加或者减小)。拍摄设备可以选择单反相机或者智能手机的前置摄像头；拍摄时通过架设三脚架固定拍摄设备与材料之间的距离与角度，使得拍摄设备距离地面约1米，调整拍摄视角与水平地面呈约75度。拍摄前，摘除明显遮挡豆荚的叶片。拍摄时，将材料放在背景布，调整大豆植株使之处于相机视野中间位置，并调整相机整体曝光度，保证豆株、豆荚都清晰可见；可适当通过翻转豆株改变面对镜头的朝向、分开互相缠绕的分支等人为调整材料的成像效果，尽量减少豆荚、茎秆之间的重叠，但不可破坏材料的基本生长形态；由于拍摄时相机抖动产生模糊不可避免，在拍摄时每个材料拍摄二至三张图片，在后期挑选较为清晰的一张作为该株的代表性图像。可以根据实际需求，增加拍摄机位。步骤1.2原始数据标注对于步骤1.1所得图片，利用开源标注工具Labelme进行人工标注，将样本中的豆荚通过最小外接矩形标出，记录最小外接矩形的左上、右下顶点坐标，标注最小外接矩形框的类别标签。3.根据权利要求1所述的单株豆荚自动计数检测方法，其特征在于步骤2)中，针对采集的原始单株大豆图片，随机划分成数量相等的10份，保证训练集、验证集在图像样本空间上没有交集。4.根据权利要求1所述的单株大豆密集豆荚自动计数检测方法，其特征在于步骤3)中，主要计算步骤1)获取图像中豆荚的平均尺寸大小和网络感受野，设计在豆荚之间、豆荚与茎杆之间相互遮挡时，特征提取与融合方法，使卷积神经网络能够充分学习豆荚特征，生成高质量的特征图。步骤3.1计算豆荚平均尺寸
随机选取N张图像中M个豆荚并测量分别其的长和宽，记为H
i
和W
i
，i表示选取的第i个豆荚，计算M个豆荚长和宽的平均值作为原始图像中豆荚的长和宽，记H
pod
和W
pod
，计算方法如下公式(1)所示：步骤3.2计算网络感受野卷积神经网络中感受野的计算公式如公式(2)：S
RF
(t)＝(S
RF
(t
‑
1)
‑
1)N
s
(t)+S
f
(t)
ꢀꢀ
(2)式(3)中，S
RF
(t)表示第t层卷积层感受野尺寸，N
s
(t)表示第t层卷积的步长，S
f
(t)表示第t层卷积滤波器尺寸。步骤3.3基于可变形卷积的特征提取采用ResNet
‑
50作为骨干网络，将其中的卷积操作替换为可变形卷积核对豆荚特征进行提取，在不同层特征图后添加一个额外的卷积操作，为特征图中的每个像素点分别预测水平和竖直方向的偏移.对于大小为3
×
3的可变形卷积核和图像X
′
，此时特征图Y上像素点p0计算方法如公式(3)：其中{Δp
n
∈n＝1，2，
…
，N}为预测的偏移量，包含水平与竖直两个方向上的偏移，X
′
(p0+p
n
+Δp
n
)由双线性插值计算得到。步骤3.4构造递归特征金字塔实现特征融合在特征融合环节为了充分挖掘特征提取环节得到的有限豆荚特征，为不同特征金字塔增加跨层的反馈链接，前一个递归金字塔输出的特征图后接一个1
×
1卷积操作，两者进行堆叠操作后作为下一次递归金字塔的对应层特征层，递归特征金字塔特征层之间的传递与计算如公式(4)所示：其中，t代表递归次数，对于任意t＝1，2，...，T，表示在将特征图反馈连接回自下而上的骨干网络之前的特征转换。5.根据权利要求1所述的单株大豆密集豆荚的自动计数检测方法，其特征在于步骤4)中，将步骤2)中得到的不同层的特征图分别输入计数检测框优化网络，其中，使用可变焦点网络(VFNet)检测头的目标分类和定位分支实现豆荚的预测框生成，该网络采用公式(5)的损失函数：L＝L
cls
+L
reg
ꢀꢀ
(5)步骤4.1利用VFNet生成豆荚预测框对于步骤3)生成的多层特征图，分别经过5个3
×
3卷积后进入分类得分预测分支和位置框回归分支。分类得分支路中计算预测边界框P与其真实框G之间的IoU，并与原始分类得分C相乘，所得结果作为目标对象的类标签值，称之为交并比(IoU)感知的分类评分(IACS)，即IACS＝C*IoU(P，G)，其中C∈{0，1}，当目标为豆荚时为1，否则为0。位置框回归分支的最终预测...

【专利技术属性】
技术研发人员：姜海燕，陆寅昊，刘胜，
申请(专利权)人：南京农业大学，
类型：发明
国别省市：