【技术实现步骤摘要】
本专利技术涉及计算机视觉及串番茄机器人采摘，具体地，涉及一种基于深度学习的串番茄复合采摘方法。
技术介绍
1、随着现代农业技术的发展，自动化和智能化在农业中的应用越来越广泛。番茄作为一种常见的经济作物，其采摘过程尤其需要精确的判断与操作。目前，基于深度学习的目标检测算法在果实识别与定位方面展现出巨大的潜力。yolov8是yolo系列的新版本，具有更高的检测精度和速度，为农业领域的智能采摘提供了新的技术支持。
2、番茄串的结构复杂，果实之间可能存在遮挡和重叠，这给检测和采摘带来了挑战。借助深度学习的先进目标检测和关键点检测能力，可以有效解决这些问题，实现对番茄果实的精确识别和定位，从而为智能采摘提供可靠的技术支撑。
3、针对现有技术的不足，本专利技术提供了一种基于yolov8的串番茄复合采摘方法，以解决因番茄串结构复杂，果实之间可能存在遮挡和重叠而选择合适采摘方式的问题。
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种基于深度学习的串番茄复合采摘方法。
2、根据本专利技术提供的一种基于深度学习的串番茄复合采摘方法，包括如下步骤：
3、步骤s1：采集串番茄图像，并分别针对目标检测模型和关键点检测模型对番茄进行标注以及数据集化分操作；
4、步骤s2：由目标检测模型识别图像中的番茄串矩形框和每串番茄检测目标图像中的单个小番茄，根据番茄果粒的成熟度分为成熟果实、未成熟果实；
5、步骤s3：由关键点检测
6、步骤s4：根据步骤s2中番茄串目标检测的结果，判断串番茄的成熟度，若判断成熟度大于或等于第一设定值，则执行步骤s5；若成熟度介于第一设定值和第二设定值之间，则执行步骤s6；若成熟度小于或者等于第二设定值，不做处理；
7、步骤s5：判断检测图像中为成熟的番茄串结合步骤s3的采摘点信息，对串番茄整串采摘；
8、步骤s6：结合步骤s2中目标检测模型中识别的成熟果实和步骤s3的关键点信息，对串番茄单粒采摘。
9、优选的，所述目标检测模型采用基于yolov8网络的目标检测模型；所述关键点检测模型采用基于yolov8网络的关键点检测模型。
10、优选的，所述步骤2中，由所述基于yolov8网络的目标检测模型识别图像中的番茄串矩形框和每串番茄检测目标图像中的单个小番茄，根据番茄果粒的成熟度分为成熟果实、未成熟果实；成熟果实用红色标识，未成熟果实用绿色标识。
11、优选的，所述步骤s3中，所述采摘点包括主茎与果梗的连接处、果梗与自上而下第一粒番茄的连接处、果梗与自上而下最后一粒番茄的连接处；所述关键点包括每串中每粒番茄的质心。
12、优选的，所述步骤s4中，根据s2中番茄串目标检测的结果，调用统计函数统计出检测图像中每串番茄处于成熟期和未成熟期的番茄果粒个数，并将每串番茄的成熟果实个数除以每串番茄的总数，得到串番茄的成熟度。
13、优选的，所述步骤s4中，第一设定值为90％，第二设定值为50％。
14、优选的，所述步骤s1包括：采集温室中串番茄图像，经过整理，使用labelme工具对番茄图像标注，再进行数据增强，根据采集到的番茄图像建立两份图像数据集，每份数据集的划分比例为：训练集：验证集＝8：2；
15、通过基于yolov8网络的串番茄目标检测模型，利用相应的数据集对目标检测模型进行训练，训练完成后得到基于yolov8网络的的串番茄目标检测模型；
16、通过基于yolov8网络的串番茄关键点检测模型，利用相应的数据集对目标检测模型进行训练，训练完成后得到基于yolov8网络的的串番茄关键点检测模型。
17、优选的，步骤s3包括以下：
18、基于yolov8的目标检测模型中的backbone层从输入番茄图像中提取特征，其中主干网络包括conv模块、c2f模块以及sppf模块；
19、基于yolov8的目标检测模型中的head层定义模型的检测头，用于最终目标检测的网络结构，产生最终检测结果，包括上采样层、特征图拼接层、c2f模块以及检测模块。
20、优选的，yolov8的关键点检测模型相较于yolov8的目标检测模型在head层多了一个分支头，用于关键点的检测。
21、与现有技术相比，本专利技术具有如下的有益效果：
22、1、本专利技术利用深度学习目标检测算法，能够高效、准确地识别单粒番茄和整串番茄的颜色特征，从而判断番茄的成熟度。相比传统的图像处理方法，yolov8在复杂背景和光照变化条件下依然能保持高检测精度。
23、2、本专利技术通过深度相机和yolov8关键点检测模型，获取番茄果梗采摘点与果实中心位置的图像坐标和深度信息。该方法能够提供精确的三维空间定位，为番茄采摘机器人提供准确的目标位置，减少采摘过程中的果实损伤。
24、3、本专利技术结合目标检测模型和关键点检测模型，提供单粒番茄和整串番茄的采摘方案。根据番茄的成熟度和空间位置信息，采摘机器人可以选择最佳的采摘方式(单粒或整串)，从而提高采摘效率，满足不同的采摘需求。
25、4、本专利技术通过自动化的番茄检测采摘技术，显著提高了番茄采摘的效率，减少了人工采摘的劳动强度和成本。该方法不仅适用于大规模农业生产，还能在提高果实采摘质量的同时，降低对果实的损伤率，从而提升番茄的商品价值。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的串番茄复合采摘方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述目标检测模型采用基于YOLOv8网络的目标检测模型；所述关键点检测模型采用基于YOLOv8网络的关键点检测模型。
3.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤2中，由所述基于YOLOv8网络的目标检测模型识别图像中的番茄串矩形框和每串番茄检测目标图像中的单个小番茄，根据番茄果粒的成熟度分为成熟果实、未成熟果实；成熟果实用红色标识，未成熟果实用绿色标识。
4.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤S3中，所述采摘点包括主茎与果梗的连接处、果梗与自上而下第一粒番茄的连接处、果梗与自上而下最后一粒番茄的连接处；所述关键点包括每串中每粒番茄的质心。
5.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤S4中，根据S2中番茄串目标检测的结果，调用统计函数统计出检测图像中每串番茄处于成熟期和未成熟期的番茄果粒
6.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤S4中，第一设定值为90％，第二设定值为50％。
7.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤S1包括：采集温室中串番茄图像，经过整理，使用Labelme工具对番茄图像标注，再进行数据增强，根据采集到的番茄图像建立两份图像数据集，每份数据集的划分比例为：训练集：验证集＝8：2；
8.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，步骤S3包括以下：
9.根据权利要求8所述的基于深度学习的串番茄复合采摘方法，其特征在于，YOLOv8的关键点检测模型相较于YOLOv8的目标检测模型在head层多了一个分支头，用于关键点的检测。
...【技术特征摘要】
1.一种基于深度学习的串番茄复合采摘方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述目标检测模型采用基于yolov8网络的目标检测模型；所述关键点检测模型采用基于yolov8网络的关键点检测模型。
3.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤2中，由所述基于yolov8网络的目标检测模型识别图像中的番茄串矩形框和每串番茄检测目标图像中的单个小番茄，根据番茄果粒的成熟度分为成熟果实、未成熟果实；成熟果实用红色标识，未成熟果实用绿色标识。
4.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤s3中，所述采摘点包括主茎与果梗的连接处、果梗与自上而下第一粒番茄的连接处、果梗与自上而下最后一粒番茄的连接处；所述关键点包括每串中每粒番茄的质心。
5.根据权利要求1所述的基于深度学习的串番茄复合采摘方法，其特征在于，所述步骤...
【专利技术属性】
技术研发人员：李伟，艾昕旖，郑夏俊，秦昊，熊梓茗，袁挺，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。