一种改进多目标跟踪的果实产量估算方法技术

本发明专利技术提出一种改进多目标跟踪的果实产量估算方法。该方法包括以下过程：获取自然场景下的农作物的视频数据；基于改进YOLOv5s模型识别视频数据中的目标农作物；将所述改进YOLOv5s模型识别的结果作为跟踪算法的输入；所述采用卡尔曼滤波、匈牙利匹配算法以及改进多目标跟踪算法构建产量估算算法，并采用所述产量估算算法统计所述目标农作物的数量。本发明专利技术提供的改进多目标跟踪的果实产量估算方法，可以实现果实产量估算的需求，为实现果园智能化管理提供技术支持。化管理提供技术支持。化管理提供技术支持。

【技术实现步骤摘要】
一种改进多目标跟踪的果实产量估算方法


[0001]本专利技术涉及农业计算机视觉的果实检测跟踪领域，更具体的，涉及一种改进多目标跟踪的果实产量估算方法。

技术介绍

[0002]当前，果园果实准确估产对种植户实现智能化管理具有重要的作用。但是，不同果实(椭圆型)其生长环境复杂，果实密集，采用人工进行果园果实估产费时费力，并具有主观性，影响果园估产的准确性。利用价格低廉及无接触式的计算机视觉系统，实现果园产量自动估算，是实现果园精准管理的重要手段。其中，百香果作为绿色水果的经典代表之一，主要分布在热带与亚热带。百香果丰富的营养价值和药用价值使其在当前市场上有着很好的发展前景。目前，在我国广东，广西，福建，台湾和海南等地得到大规模的种植。同时，百香果的形状和大小类似柑橘、苹果和沃柑等，应用于百香果估算产量的技术，可以推广到这些类似水果中。然而，在果园自然场景下，由于光线变化、果实之间相互严重的遮挡和果实与叶片的相似等问题，使得利用计算机视觉技术准确识别跟踪果实及进行其产量估算成为当前的研究难点。因此，开发稳定高效的目标跟踪技术，实现果园果实精准检测和多目标跟踪，能为果园果实产量准确估算和智慧种植提供重要的技术支持。
[0003]在果实产量估算方法方面，目前技术主要采用传统的机器学习方法和深度卷积神经网络。公开号CN112233121A公开一种基于双目空间定位和智能分割的果实产量估算方法，利用将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，同步采集图像、位姿信息和物体姿态信息；然后通过采集的图像、位姿信息和位置信息，开始双目空间定位，构建出整个果园场景中所有事物的坐标，形成完整的果园场景；最后，分割图像中的果实，记录图像中已识别的果实像素投影到三维场景的位置，统计果实数量。公开号CN111504275A公开一种双目摄影测量苹果增产趋势估算方法，通过定点定时观测获取目标苹果树的影像信息，进而通过立体影像解算和算法设计，确定待观测区苹果树果实的增产趋势及关键时间节点。授权专利CN107169940B公开一种基于电子识别的单株梨树产量获取方法。利用检测系统包括CCD视觉传感器、清晰化处理器、单侧产量识别器和嵌入式处理器实现单株梨树的全部产量。目前，在视频监控中，利用多目标跟踪技术，实现自然场景下果实的快速准确检测和多目标跟踪的研究较少，因此，设计基于多目标跟踪的果实产量估算模型，对大规模果园种植智能化管理具有重要的研究意义。

技术实现思路

[0004]本专利技术为克服现有技术中，存在缺乏对果实遮挡等复杂场景导致ID错误变换和产量估算准确率不高的技术缺陷，提供一种基于一种改进多目标跟踪的果实产量估算方法。
[0005]为解决上述技术问题，本专利技术的技术方案如下：获取自然场景下的农作物的视频数据；基于改进YOLOv5s模型识别视频数据中的目标农作物；采用卡尔曼滤波、匈牙利匹配算法以及改进多目标跟踪算法构建产量估算算法，并采用所述产量估算算法统计所述目标
农作物的数量；所述采用卡尔曼滤波、匈牙利匹配算法以及改进多目标跟踪算法构建产量估算算法，并采用所述产量估算算法统计所述目标农作物的数量具体为：将所述改进YOLOv5s模型识别的结果作为跟踪算法的输入；利用卡尔曼滤波方法预测目标农作物在下一帧视频中的位置；利用匈牙利匹配算法对预测框和检测框进行匹配，所述匈牙利匹配算法包括级联匹配和IOU匹配融合；匹配完毕后更新所述目标农作物的轨迹；并更新卡尔曼滤波的参数；基于k+1帧检测到的所述目标农作物的检测框，校正与目标农作物关联的轨迹的跟踪框的状态，包括轨迹位置和速度，根据卡尔曼滤波进行参数更新；根据所述目标农作物的位置，设置改进多目标跟踪策略，并改进产量估算方法，并采用所述产量估算算法统计所述目标农作物的数量。
[0006]优选地，所述基于改进YOLOv5s模型识别视频数据中的目标农作物具体为：
[0007]对输入的视频数据做预处理，将图像进行压缩，并进行归一化操作；
[0008]利用四种深度学习网络结构Focus、CBS、C3和SPP依次融合，构建主干网络提取基本特征；
[0009]构建Neck网络，采用特征金字塔和路径聚合网络结构，融合高层与低层特征，生成两种不同尺度的特征映射；
[0010]构建头部网络，实现多个所述目标农作物的检测与分类。
[0011]优选地，所述基于改进YOLOv5s模型识别视频数据中的目标农作物包括：
[0012]当目标农作物的尺寸大于预设值时，将对32个卷积核特征输入CBS、C3和SPP网络，以获得特征信息P1，P2，P3，P4和P5，其中，生成P3，P4和P5三种特征映射将送入到Neck网络；
[0013]当目标农作物的尺寸小于或者等于预设值时，将对32个卷积核特征输入CBS、C3和SPP网络，以获得特征信息P1，P2，P3，P4，其中，生成P3和P4特征映射将送入到Neck网络。
[0014]优选地，所述构建头部网络，实现多个所述目标农作物的检测与分类具体包括以下步骤：
[0015]以Neck网络中融合后的两种尺寸的特征图P3和P4作为输入，进行目标农作物分类与检测；
[0016]YOLOv5s的损失函数由分类损失函数和回归损失函数两部分组成；其中所述分类损失函数公式如下：
[0017]Loss(x
i
,y
i
)＝
‑
w
i
[y
i
log(sigmoid(x
i
))+(1
‑
y
i
)log(1
‑
sigmoid(x
i
))][0018]其中，x
i
表示预测值，y
i
表示真实值，w
i
为权重，i为标签类别；
[0019]所述回归损失函数公式如下：
[0020][0021]其中，A与B为两目标框，C代表包围A、B的最小体积或面积。
[0022]优选地，所述将所述改进YOLOv5s模型识别的结果作为跟踪算法的输入；利用卡尔曼滤波方法预测目标农作物在下一帧视频中的位置具体包括以下步骤：
[0023]将YOLOv5第一帧目标农作物的检测框初始化为跟踪框；设置x为上一视频帧的跟踪框，所述跟踪框的轨迹的位置、长宽及速度信息[u,v,r,h,x
′
,y
′
,r
′
,h
′
]，其中u,v对应目标农作物的中心坐标，r为长宽比，h为高，x
′
,y
′
,r
′
,h
′
分别代表前四个参数的运动速度设置；卡尔曼滤波作用是预测目标农作物的横坐标x在当前视频帧中的位置及速度组成的均
值和协方差矩阵；
[0024]所述目标农作物的横坐标x跟踪框的均值预测公式为：
[0025][0026]其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于一种改进多目标跟踪的果实产量估算方法，其特征在于，包括以下步骤：获取自然场景下的农作物的视频数据；基于改进YOLOv5s模型识别视频数据中的目标农作物；采用卡尔曼滤波、匈牙利匹配算法以及改进多目标跟踪算法构建产量估算算法，并采用所述产量估算算法统计所述目标农作物的数量；所述采用卡尔曼滤波、匈牙利匹配算法以及改进多目标跟踪算法构建产量估算算法，并采用所述产量估算算法统计所述目标农作物的数量具体为：将所述改进YOLOv5s模型识别的结果作为跟踪算法的输入，利用卡尔曼滤波方法预测目标农作物在下一帧视频中的位置；利用匈牙利匹配算法对预测框和检测框进行匹配，所述匈牙利匹配算法包括级联匹配和IOU匹配融合；匹配完毕后更新所述目标农作物的轨迹，并更新卡尔曼滤波的参数；基于k+1帧检测到的所述目标农作物的检测框，校正与目标农作物关联的轨迹的跟踪框的状态，包括轨迹位置和速度，根据卡尔曼滤波进行参数更新；根据所述目标农作物的位置，设置改进多目标跟踪策略，并改进产量估算方法，并采用所述产量估算算法统计所述目标农作物的数量。2.根据权利要求1所述的基于一种改进多目标跟踪的果实产量估算方法，其特征在于，所述基于改进YOLOv5s模型识别视频数据中的目标农作物具体为：对输入的视频数据做预处理，将图像进行压缩，并进行归一化操作；利用四种深度学习网络结构Focus、CBS、C3和SPP依次融合，构建主干网络提取基本特征；构建Neck网络，采用特征金字塔和路径聚合网络结构，融合高层与低层特征，生成两种不同尺度的特征映射；构建头部网络，实现多个所述目标农作物的检测与分类。3.根据权利要求2所述的基于一种改进多目标跟踪的果实产量估算方法，其特征在于，所述基于改进YOLOv5s模型识别视频数据中的目标农作物包括：当目标农作物的尺寸大于预设值时，将对32个卷积核特征输入CBS、C3和SPP网络，以获得特征信息P1，P2，P3，P4和P5，其中，生成P3，P4和P5三种特征映射将送入到Neck网络；当目标农作物的尺寸小于或者等于预设值时，将对32个卷积核特征输入CBS、C3和SPP网络，以获得特征信息P1，P2，P3，P4，其中，生成P3和P4特征映射将送入到Neck网络。4.根据权利要求3所述的基于一种改进多目标跟踪的果实产量估算方法，其特征在于，所述构建头部网络，实现多个所述目标农作物的检测与分类具体包括以下步骤：以Neck网络中融合后的两种尺寸的特征图P3和P4作为输入，进行目标农作物分类与检测；YOLOv5s的损失函数由分类损失函数和回归损失函数两部分组成；其中所述分类损失函数公式如下：Loss(x
i
,y
i
)＝
‑
w
i
[y
i
log(sigmoid(x
i
))+(1
‑
y
i
)log(1
‑
sigmoid(x
i
))]其中，x
i
表示预测值，y
i
表示真实值，w
i
为权重，i为标签类别；所述回归损失函数公式如下：
其中，A与B为两目标框，C代表包围A、B的最小体积或面积。5.根据权利要求1所述的基于一种改进多目标跟踪的果实产量估算方法，其特征在于，所述将所述改进YOLOv5s模型识别的结果作为跟踪算法的输入；利用卡尔曼滤波方法预测目标农作物在下一帧视频中的位置具体包括以下步骤：将YOLOv5第一帧目标农作物的检测框初始化为跟踪框；设置x为上一视频帧的跟踪框，所述跟踪框的轨迹的位置、长宽及速度信息[u,v,r,h,x
′
,y
′
,r
′
,h
′
]，其中u,v对应目标农作物的中心坐标，r为长宽比，h为高，x
′
,y
′
,r
′
,h
′
分别代表前四个参数的运动速度设置；卡尔曼滤波作用是预测目标农作物的横坐标x在当前视频帧中的位置及速度组成的均值和协方差矩阵；所述目标农作物的横坐标x跟踪框的均值预测公式为：其中，x
′
是x的卡尔滤波预测均值，F为状态转移矩阵；x跟踪框的协方差预测公式为：P
′
＝FPF
′

【专利技术属性】
技术研发人员：涂淑琴，黄琼，曾钱涛，黄正鑫，刘晓龙，黄磊，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：