【技术实现步骤摘要】
本申请涉及农业生产领域，尤其涉及一种农业喷施雾滴检测跟踪方法、相应的装置、电子设备及计算机可读存储介质。
技术介绍
1、随着农业现代化的发展，植保无人机航空喷施技术在农作物病虫害防治中得到了广泛应用。该技术具有作业效率高、施药均匀、节省农药和水源等优点，逐渐成为农业植保作业的首选方式。然而，在喷施过程中，雾滴的数量、大小、分布率和速度等参数对喷施效果有着重要影响，因此需要对雾滴进行检测与跟踪，以优化喷施参数并控制喷施质量。
2、水敏纸是一种常用的检测雾滴喷施效果的方法，它可以反映出喷雾沉积的分布、覆盖度和液滴大小。然而，水敏纸的放置位置和角度难以控制，不同的放置方式可能导致雾滴沉积测量情况的差异，从而影响测量结果的可靠性和一致性。此外，水敏纸在不同环境条件下的反应也可能有所不同，增加了测量的不确定性。荧光染料方法通过在药液中添加荧光染料，可以清晰地显示雾滴在冠层和地面的分布情况。然而，荧光染料的选择和添加比例较为复杂，荧光染料的成分和浓度会影响药液的物理和化学性质，检测需要特殊的设备和条件，且由于荧光物质的特殊性，试验结果易受环境因素影响。这些传统方法虽然在一定程度上能够提供雾滴分布的信息，但其操作复杂、成本高、受环境影响大，难以在实际应用中广泛推广。
3、在农业喷施场景中，雾滴目标通常较小，且在不同光照条件下清晰程度变化较大，增加了检测的难度。雾滴在飞行过程中会相互遮挡和碰撞，这些现象使得检测和跟踪变得更加复杂。传统的目标检测方法基于传统特征提取器以提取图像特征，并采用滑动窗口来生成大量目标候选区域，无
4、现有研究中，虽然有一些方法可以检测和跟踪雾滴，但大多数方法缺乏对雾滴运动轨迹和分布的详细分析和计算方案。雾滴在飞行过程中会受到风速、风向、重力等多种因素的影响，其运动轨迹和分布具有复杂性和不确定性。现有的检测和跟踪算法在处理这些复杂性时，往往难以提供准确和详细的运动轨迹和分布信息。
5、综上所述，适应现有技术中荧光染料的选择和添加比例较为复杂，其操作复杂、成本高、受环境影响大，难以在实际应用中广泛推广，以及基于传统特征提取器以提取图像特征，并采用滑动窗口来生成大量目标候选区域，无法有效地处理雾滴检测和跟踪变得更加复杂等问题，本申请人出于解决该问题的考虑作出相应的探索。
技术实现思路
1、本申请的目的在于解决上述问题而提供一种农业喷施雾滴检测跟踪方法、相应的装置、电子设备及计算机可读存储介质。
2、为满足本申请的各个目的，本申请采用如下技术方案：
3、适应本申请的目的之一而提出的一种农业喷施雾滴检测跟踪方法，包括：
4、响应对农业喷施雾滴进行检测与跟踪的指令，获取无人机在农业喷施作业过程中的喷施雾滴图像帧；
5、采用已训练至收敛状态的改进的yolov5s模型对所述喷施雾滴图像帧进行目标检测，以确定所述喷施雾滴图像帧中每个雾滴目标相对应的候选框，其中，所述改进的yolov5s模型的特征融合网络中的卷积层为gsconv；
6、采用预设的deepsort模型对每个雾滴目标相对应的候选框进行目标跟踪，以确定每个雾滴目标相对应的目标跟踪结果，其中，所述目标跟踪结果包括每个雾滴目标的唯一标识符、位置、尺寸以及运动轨迹；
7、根据所述每个雾滴目标的唯一标识符、位置、尺寸以及运动轨迹确定无人机的雾滴喷洒参数，将所述雾滴喷洒参数输入至无人机控制系统中，控制无人机对农作物进行精准喷洒，以完成农业喷施雾滴的检测与跟踪。
8、可选的，采用预设的deepsort模型对每个雾滴目标相对应的候选框进行目标跟踪，以确定每个雾滴目标相对应的目标跟踪结果的步骤,包括：
9、采用deepsort模型中的卡尔曼滤波器对每个雾滴目标的运动状态进行建模和预测，生成每个雾滴目标相对应的预测框；
10、在当前喷施雾滴图像帧中，采用级联匹配策略对所述预测框与所述候选框进行匹配，首先采用osnet网络提取所述喷施雾滴图像帧中的所述预测框以及所述候选框的外观特征向量，采用深度关联度量方法根据所述预测框以及所述候选框的外观特征向量，计算确定所述预测框与所述候选框之间的相似度，以进行特征比较；
11、若外观特征匹配成功，更新所述卡尔曼滤波器的运动状态，若外观特征匹配失败，则采用所述预测框与所述候选框之间的交并比进行二次匹配，以确定所述预测框是否与所述候选框关联；
12、对于匹配成功的雾滴目标，更新其相对应的外观特征和运动状态，并为未匹配的候选框创建新的跟踪器，初始化其相对应的外观特征和运动状态；
13、采用所述卡尔曼滤波器，持续跟踪在喷施雾滴图像帧中出现遮挡或丢失的雾滴目标，当雾滴目标在后续图像帧中重新被检测到时，根据之前的状态预测和深度关联度量，重新识别并分配正确的唯一标识符给所述雾滴目标；
14、输出每个雾滴目标相对应的唯一标识符、位置、尺寸以及运动轨迹，以完成对每个雾滴目标相对应的候选框的目标跟踪。
15、可选的，采用所述卡尔曼滤波器，持续跟踪在喷施雾滴图像帧中出现遮挡或丢失的雾滴目标，当雾滴目标在后续图像帧中重新被检测到时，根据之前的状态预测和深度关联度量，重新识别并分配正确的唯一标识符给所述雾滴目标的步骤，包括：
16、采用卡尔曼滤波器对雾滴目标的位置和速度进行估计和修正，根据系统模型和上一时刻的状态估计，对当前时刻的状态进行预测，并计算预测误差的协方差矩阵，其计算公式包括：
17、xk+1＝axk+buk+wk，
18、
19、其中，和分别是对下一个时刻的状态和误差协方差矩阵的预测值，和pk-1分别是对当前时刻的状态和误差协方差矩阵的最优估计值，qk是过程噪声的协方差矩阵；
20、根据当前时刻的观测值和预测值，对状态估计进行修正，并更新协方差矩阵，其计算公式包括：
21、
22、其中，kk是卡尔曼增益，是状态向量的估计值，pk是状态向量的协方差矩阵，zk是观测向量，hk是观测矩阵，rk是观测噪声的协方差矩阵，i是单位矩阵。
23、可选的，采用osnet网络提取所述喷施雾滴图像帧中的所述预测框以及所述候选框的外观特征向量，采用深度关联度量方法根据所述预测框以及所述候选框的外观特征向量，计算确定所述预测框与所述候选框之间的相似度，以进行特征比较的步骤之后，包括：
24、响应数据关联指令，调用deepsort模型中的匈牙利算法最小化所述雾滴目标相对应的预测框与所述候选框之间的总匹配成本。
25、可选的，采用已训练至收敛状态的改进的yolov5s模型对所述喷施雾滴图像帧进行目标检测，以确定所述喷施雾滴图像帧中每个雾滴目标相对应的候选框的步骤，包括：
26、所述改进的yolov5s模型的主干特征提取网络为cspdarknet53网络，特征融合网络采用特征金字塔网络和路径聚合网络，所述特征金字塔网络本文档来自技高网...
【技术保护点】
1.一种农业喷施雾滴检测跟踪方法，其特征在于，包括：
2.根据权利要求1所述的农业喷施雾滴检测跟踪方法，其特征在于，采用预设的DeepSORT模型对每个雾滴目标相对应的候选框进行目标跟踪，以确定每个雾滴目标相对应的目标跟踪结果的步骤,包括：
3.根据权利要求2所述的农业喷施雾滴检测跟踪方法，其特征在于，采用所述卡尔曼滤波器，持续跟踪在喷施雾滴图像帧中出现遮挡或丢失的雾滴目标，当雾滴目标在后续图像帧中重新被检测到时，根据之前的状态预测和深度关联度量，重新识别并分配正确的唯一标识符给所述雾滴目标的步骤，包括：
4.根据权利要求2所述的农业喷施雾滴检测跟踪方法，其特征在于，采用OSNet网络提取所述喷施雾滴图像帧中的所述预测框以及所述候选框的外观特征向量，采用深度关联度量方法根据所述预测框以及所述候选框的外观特征向量，计算确定所述预测框与所述候选框之间的相似度，以进行特征比较的步骤之后，包括：
5.根据权利要求1所述的农业喷施雾滴检测跟踪方法，其特征在于，采用已训练至收敛状态的改进的YOLOv5s模型对所述喷施雾滴图像帧进行目标检测，以确
6.根据权利要求1所述的农业喷施雾滴检测跟踪方法，其特征在于，采用已训练至收敛状态的改进的YOLOv5s模型对所述喷施雾滴图像帧进行目标检测，以确定所述喷施雾滴图像帧中每个雾滴目标相对应的候选框的步骤，包括：
7.根据权利要求1至6任意一项所述的农业喷施雾滴检测跟踪方法，其特征在于，所述雾滴喷洒参数包括喷洒量、喷洒时间、喷洒角度、喷洒速度以及雾滴分布；所述雾滴目标包括农药雾滴或肥料雾滴。
8.一种农业喷施雾滴检测跟踪装置，其特征在于，包括:
9.一种电子设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
...【技术特征摘要】
1.一种农业喷施雾滴检测跟踪方法，其特征在于，包括：
2.根据权利要求1所述的农业喷施雾滴检测跟踪方法，其特征在于，采用预设的deepsort模型对每个雾滴目标相对应的候选框进行目标跟踪，以确定每个雾滴目标相对应的目标跟踪结果的步骤,包括：
3.根据权利要求2所述的农业喷施雾滴检测跟踪方法，其特征在于，采用所述卡尔曼滤波器，持续跟踪在喷施雾滴图像帧中出现遮挡或丢失的雾滴目标，当雾滴目标在后续图像帧中重新被检测到时，根据之前的状态预测和深度关联度量，重新识别并分配正确的唯一标识符给所述雾滴目标的步骤，包括：
4.根据权利要求2所述的农业喷施雾滴检测跟踪方法，其特征在于，采用osnet网络提取所述喷施雾滴图像帧中的所述预测框以及所述候选框的外观特征向量，采用深度关联度量方法根据所述预测框以及所述候选框的外观特征向量，计算确定所述预测框与所述候选框之间的相似度，以进行特征比较的步骤之后，包括：
5.根据权利要求1所述的农业喷施雾滴检测跟踪方法，其特征在于，采用已训练至收敛状态的改进的yolov5s模型对...
【专利技术属性】
技术研发人员：陈盛德，刘俊宇，徐小杰，兰玉彬，郭健洲，胡诗云，仲威宇，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。