一种果实检测方法以及电子设备技术

本发明专利技术实施例提供了一种用于果实检测模型训练的系统、果实检测方法以及电子设备，该系统包括果实检测模型，包括骨干网络和果实检测网络，其中，骨干网络包括前端网络和后端网络，前端网络用于对输入图像进行卷积处理和下采样，得到第一特征图，后端网络用于对第一特征图进行膨胀卷积处理和上采样处理，得到第二特征图，果实检测网络用于根据第二特征图以果实为目标进行无锚框目标检测；密度图预测网络，用于基于第二特征图进行密度图预测；其中所述果实检测模型和所述密度图预测网络利用输入的训练样本进行训练。输入的训练样本进行训练。输入的训练样本进行训练。

【技术实现步骤摘要】
一种果实检测方法以及电子设备


[0001]本专利技术涉及神经网络
，具体来说涉及利用神经网络进行果实定位识别的领域，更具体地说，涉及一种果实检测方法以及电子设备。

技术介绍

[0002]自然环境下的果园场景十分复杂，果树上的苹果成簇分布，容易形成果实、果叶之间相互遮挡的情况。为统计果实数量对整棵果树进行图像采集时，图像内的果实目标呈现密集分布并且会出现被遮挡的情况。此外果园内光照条件复杂，在光照条件较差情况下果实与果叶颜色极为相近，严重影响果实识别的精度。现有的针对果园内果实的密集分布与遮挡目标识别多采用增加额外信息如深度信息、苹果特征、进行标签细分等方式提高识别准确率，针对目标识别模型的改进多采用重新对预测框尺寸聚类、多尺度检测、多尺度特征融合和增加注意力机制方式提高目标检测精度。在针对密集分布和遮挡目标进行检测时，锚框的标注方式受遮挡影响容易引入大量的噪声，采用尺度特征融合和增加注意力机制的方式有一定提高，但是对于密集分布和遮挡目标并没有针对性改进。
[0003]总的来说，果树上的果实存在聚集分布的特点，并且相应果实会受到其他果实或者树叶的遮挡，影响模型对果实目标的检测精度，果实检测的准确率相对较低。因此，需要对现有技术进行改进。

技术实现思路

[0004]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种果实检测方法以及电子设备。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]根据本专利技术的第一方面，提供一种用于果实检测模型训练的系统，包括：果实检测模型，包括骨干网络和果实检测网络，其中，骨干网络包括前端网络和后端网络，前端网络用于对输入图像进行卷积处理和下采样，得到第一特征图，后端网络用于对第一特征图进行膨胀卷积处理和上采样处理，得到第二特征图，果实检测网络用于根据第二特征图以果实为目标进行无锚框目标检测；密度图预测网络，用于基于第二特征图进行密度图预测；其中所述果实检测模型和所述密度图预测网络利用输入的训练样本进行训练。
[0007]在本专利技术的一些实施例中，所述前端网络包括多个堆叠设置的卷积块和池化层，每个卷积块内包括一个或者多个卷积层，前端网络中每个卷积块的输出的通道数大于输入的通道数；和/或所述后端网络中包括依次连接的多个膨胀卷积块以及上采样层，每个膨胀卷积块通过填充操作保持输出的尺寸相对于输入的尺寸不变。
[0008]在本专利技术的一些实施例中，一种果实检测模型的训练方法，包括：获取多个训练样本，每个训练样本包括样本图像、果实标注标签和密度图标签；利用所述多个训练样本通过第一训练阶段和第二训练阶段训练第一方面所述的系统，其中，第一训练阶段中在对果实检测网络的参数进行冻结的情况下利用训练样本对骨干网络和密度图预测网络进行多次
训练，第二训练阶段中对果实检测模型和密度图预测网络进行多次联合训练。
[0009]在本专利技术的一些实施例中，所述密度图标签是按照以下方式计算得到的：构建预设大小的全零矩阵，根据相应样本图像对应的果实标注标签将其全零矩阵中对应果实中心点的位置设为1，得到非全零矩阵；利用高斯核函数对非全零矩阵进行卷积处理，得到密度图标签，其中高斯核函数表示为：
[0010][0011]其中，c
x
表示果实中心点的横坐标，c
y
表示果实中心点的纵坐标，σ表示用于控制高斯核函数的径向作用范围的控制参数，e表示自然对数的底数。
[0012]在本专利技术的一些实施例中，第一训练阶段包括：将样本图像输入所述系统，依次经过骨干网络和密度图预测网络的处理，得到密度图预测结果；根据样本图像对应的密度图预测结果和密度图标签计算密度图损失，根据密度图损失更新骨干网络和密度图预测网络的参数。
[0013]在本专利技术的一些实施例中，第二训练阶段包括：将样本图像输入所述系统，得到果实检测网络和密度图预测网络输出的目标检测结果和密度图预测结果，根据样本图像对应的目标检测结果和果实标注标签计算目标检测损失，根据样本图像对应的密度图预测结果和密度图标签计算密度图损失，根据目标检测损失和密度图损失计算总损失，根据总损失更新骨干网络、果实检测网络和密度图预测网络的参数。
[0014]在本专利技术的一些实施例中，按照以下方式计算所述总损失：
[0015]L
det
＝L
heatmap
+λ
size
L
size
+L
off
+L
map；
[0016]其中，L
heatmap
+λ
size
L
size
+L
off
表示目标检测损失，其包括中心点预测损失L
heatmap
、宽高预测损失L
size
和中心点偏移损失L
off
，λ
size
表示L
size
的加权系数，L
map
表示密度图损失，L
heatmap
采用焦点损失函数，L
size
和L
off
采用L1损失函数，L
map
采用L2损失函数。
[0017]根据本专利技术的第三方面，提供一种果实检测方法，所述方法包括：获取拍摄的果树图像作为输入图像，利用第二方面所述的方法训练好的果实检测模型对所述输入图像进行处理，得到目标检测结果。
[0018]根据本专利技术的第四方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储可执行指令；所述一个或多个处理器被配置为经由执行所述可执行指令以实现第二方面或者第三方面所述方法的步骤。
附图说明
[0019]以下参照附图对本专利技术实施例作进一步说明，其中：
[0020]图1为根据本专利技术实施例的用于果实检测模型训练的系统的模块示意图；
[0021]图2为根据本专利技术实施例的用于果实检测模型训练的系统的结构示意图；
[0022]图3为根据本专利技术实施例进行标签标注后的果实标注标签和密度图标签的示意图；
[0023]图4为根据本专利技术实施例的第二训练阶段计算总损失示意图；
[0024]图5为根据本专利技术实施例训练密度图预测网络的验证集MAE结果和训练损失；
[0025]图6为Yolov4模型与根据本专利技术实施例训练好的果实检测模型的检测效果对比示意图；
[0026]图7为CenterNet模型与根据本专利技术实施例训练好的果实检测模型的检测效果对比示意图；
[0027]图8为根据本专利技术实施例实施本专利技术时的概括性流程示意图。
具体实施方式
[0028]为了使本专利技术的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0029]如在
技术介绍
部分提到的，果树上的果实存在聚集分布的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于果实检测模型训练的系统，其特征在于，包括：果实检测模型，包括骨干网络和果实检测网络，其中，骨干网络包括前端网络和后端网络，前端网络用于对输入图像进行卷积处理和下采样，得到第一特征图，后端网络用于对第一特征图进行膨胀卷积处理和上采样处理，得到第二特征图，果实检测网络用于根据第二特征图以果实为目标进行无锚框目标检测；密度图预测网络，用于基于第二特征图进行密度图预测；其中所述果实检测模型和所述密度图预测网络利用输入的训练样本进行训练。2.根据权利要求1所述的系统，其特征在于，所述前端网络包括多个堆叠设置的卷积块和池化层，每个卷积块内包括一个或者多个卷积层，前端网络中每个卷积块的输出的通道数大于输入的通道数；和/或所述后端网络中包括依次连接的多个膨胀卷积块以及上采样层，每个膨胀卷积块通过填充操作保持输出的尺寸相对于输入的尺寸不变。3.一种果实检测模型的训练方法，其特征在于，包括：获取多个训练样本，每个训练样本包括样本图像、果实标注标签和密度图标签；利用所述多个训练样本通过第一训练阶段和第二训练阶段训练权利要求1或2所述的系统，其中，第一训练阶段中在对果实检测网络的参数进行冻结的情况下利用训练样本对骨干网络和密度图预测网络进行多次训练，第二训练阶段中对果实检测模型和密度图预测网络进行多次联合训练。4.根据权利要求3所述的果实检测模型的训练方法，其特征在于，所述密度图标签是按照以下方式计算得到的：构建预设大小的全零矩阵，根据相应样本图像对应的果实标注标签将其全零矩阵中对应果实中心点的位置设为1，得到非全零矩阵；利用高斯核函数对非全零矩阵进行卷积处理，得到密度图标签，其中高斯核函数表示为：其中，c
x
表示果实中心点的横坐标，c
y
表示果实中心点的纵坐标，σ表示用于控制高斯核函数的径向作用范围的控制参数，e表示自然对数的底数。5.根据权利要求3所述的果实检测模型的训练方法，其特征在于，第一训练阶段包括：将样本图像输入所述系统，依次经过骨干网络和密度图预测网络的处理，得到密度图预测结果；根据样本图像对应的密度图预测结果和密度图标签计算密度图损失，根据密度图损失更新骨干网络和密度图预测网络的参数。6.根据权利要求3所述的果实检测模型的训练方法，其特征在于，第二训...

【专利技术属性】
技术研发人员：王国栋，叶剑，
申请(专利权)人：临沂中科人工智能创新研究院，
类型：发明
国别省市：