【技术实现步骤摘要】
本专利技术涉及机器视觉，尤其是一种基于采摘机器人的草莓识别和采摘方法及系统。
技术介绍
1、草莓作为一种广受欢迎的水果，以其独特的酸甜口感和鲜亮的色泽赢得了“水果皇后”的美誉。它不仅味道鲜美，而且营养价值极高，富含维生素c、维生素k、叶酸以及多种矿物质，对人体健康有着诸多益处。然而，草莓的成熟期极为短暂，这意味着从开花到果实成熟的周期非常短，必须在有限的时间内完成采摘工作。这使得草莓的采摘成为一项劳动密集型的工作，对劳动力的需求量大且集中。
2、目前，全球范围内的草莓园大多依赖人工进行采摘。这种方法存在明显的局限性：人工采摘的效率相对较低，无法满足大规模生产的需求。
3、为了应对上述挑战，研究人员正在利用机器人技术探索草莓自动化采摘的可能性。通过引入先进的机械臂、视觉识别系统和智能控制算法，机器人采摘有望大幅提高采摘效率，减轻劳动强度，并缓解劳动力不足的压力。然而，实现这一目标并非易事。草莓果实分布密集且位置多变，这对机器人的定位和操作精度提出了极高的要求。现有的技术手段在草莓茎上的精准采摘方面还存在一定的难度，有时难以准确检测到最佳的采摘点坐标，这限制了机器人采摘技术的广泛应用。
技术实现思路
1、为解决上述现有技术问题，本专利技术提供一种基于采摘机器人的草莓识别和采摘方法及系统。
2、第一方面，本申请提供一种基于采摘机器人的草莓识别和采摘方法，应用于采摘机器人，包括：获取目标区域的rgb图像以及深度图；基于所述rgb图像，对所述目标区域中的草
3、可选地，所述预测结果中还包括每个草莓的成熟度；所述基于所述预测结果以及所述深度图，确定每个采摘点的三维坐标信息，并基于每个采摘点的三维坐标信息，对所述目标区域的草莓进行采摘，包括：基于所述预测结果，确定所述目标区域中的每个草莓的可摘性以及可摘草莓的采摘顺序；其中，草莓的可摘性通过草莓的成熟度确定；基于所述深度图，确定每个所述可摘草莓的采摘点的三维坐标信息；基于所述可摘草莓的采摘顺序以及每个所述可摘草莓的采摘点的三维坐标信息，对所述目标区域的可摘草莓进行采摘。
4、可选地，通过如下步骤获取所述可摘草莓的采摘顺序，包括：通过每个草莓的成熟度检测结果的置信度，确定所述可摘草莓的采摘顺序。
5、可选地，通过如下步骤获取所述可摘草莓的采摘顺序，包括：根据所述可摘草莓的高低顺序，确定所述可摘草莓的采摘顺序，或根据所述可摘草莓的左右顺序，确定所述可摘草莓的采摘顺序。
6、可选地，所述优化后的yolov8-pose网络模型通过如下步骤构建，包括：采用lgfbnet模块、cbam注意力机制和nwd-ciou损失函数优化yolov8-pose网络模型，得到所述优化后的yolov8-pose网络模型。
7、可选地，所述lgfbnet模块结合卷积和transformer，通过双轨特征提取网络提取图像的多尺度特征；所述cbam注意力机制嵌入至所述yolov8-pose网络模型的颈部。
8、可选地，所述基于所述rgb图像，对所述目标区域中的草莓进行预定位，包括：将所述rgb图像转换为lab图像；其中，所述lab图像被分离为l通道、a通道和b通道；对a通道进行二值化操作，并采用形态学操作去除a通道的小噪声；其中，通过处理后的lab图像实现对草莓的预定位。
9、可选地，通过如下步骤训练所述优化后的yolov8-pose网络模型中，包括：构建带有关键点的草莓图像数据集；基于所述草莓图像数据集，对所述优化后的yolov8-pose网络模型进行训练。
10、可选地，所述构建带有关键点的草莓图像数据集，包括：使用所述采摘机器人的视觉传感器，采集初始草莓图像数据集；对所述初始草莓图像数据集中的草莓图像进行筛选以及标注，得到所述草莓图像数据集。
11、第二方面，本申请提供一种基于采摘机器人的草莓识别和采摘系统，应用于采摘机器人，包括：获取模块，用于获取目标区域的rgb图像以及深度图；预定位模块，用于基于所述rgb图像，对所述目标区域中的草莓进行预定位；并基于所述目标区域中的草莓的预定位区域，采集对应的目标图像；预测模块，用于将所述目标图像输入至优化后的yolov8-pose网络模型中，获取预测结果；其中，所述预测结果包括所述目标图像中的草莓的位置以及与草莓对应的采摘点的像素坐标；采摘模块，用于基于所述预测结果以及所述深度图，确定每个采摘点的三维坐标信息，并基于每个采摘点的三维坐标信息，对所述目标区域的草莓进行采摘。
12、本专利技术的有益效果包括：本专利技术的关键点在于借鉴了人体姿态估计的思想，提出了基于yolov8-pose的新方法，该方法实现了同时检测草莓和关键点，在本专利技术实施例中，先获取目标区域的rgb图像以及深度图，然后，进行预定位，以提高后续草莓位置确定的准确性，即采摘机器人再次获取目标图像，然后，将目标图像输入至优化后的yolov8-pose网络模型中，获取预测结果。接着，结合yolov8-pose网络模型的预测结果以及深度图，确定每个采摘点的三维坐标信息，最后，即可基于每个采摘点的三维坐标信息，实现对目标区域的草莓进行有效采摘，提高草莓采摘的准确性以及效率。
本文档来自技高网...【技术保护点】
1.一种基于采摘机器人的草莓识别和采摘方法，其特征在于，应用于采摘机器人，包括：
2.根据权利要求1所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，所述预测结果中还包括每个草莓的成熟度；
3.根据权利要求2所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，通过如下步骤获取所述可摘草莓的采摘顺序，包括：
4.根据权利要求2所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，通过如下步骤获取所述可摘草莓的采摘顺序，包括：
5.根据权利要求1所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，所述优化后的YOLOv8-pose网络模型通过如下步骤构建，包括：
6.根据权利要求5所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，所述LGFBNet模块结合卷积和transformer，通过双轨特征提取网络提取图像的多尺度特征；
7.根据权利要求1所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，所述基于所述RGB图像，对所述目标区域中的草莓进行预定位，包括：
8.根据权利要求1所述的基
9.根据权利要求8所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，所述构建带有关键点的草莓图像数据集，包括：
10.一种基于采摘机器人的草莓识别和采摘系统，其特征在于，应用于采摘机器人，包括：
...【技术特征摘要】
1.一种基于采摘机器人的草莓识别和采摘方法，其特征在于，应用于采摘机器人，包括：
2.根据权利要求1所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，所述预测结果中还包括每个草莓的成熟度；
3.根据权利要求2所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，通过如下步骤获取所述可摘草莓的采摘顺序，包括：
4.根据权利要求2所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，通过如下步骤获取所述可摘草莓的采摘顺序，包括：
5.根据权利要求1所述的基于采摘机器人的草莓识别和采摘方法，其特征在于，所述优化后的yolov8-pose网络模型通过如下步骤构建，包括：
6.根据权利要求5所述的基于采摘...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。