一种圣女果采摘方法及圣女果采摘机械手技术

本发明专利技术属于采摘机械手领域，具体公开一种圣女果采摘方法及圣女果采摘机械手，其中的采摘方法包括以下步骤：（1）获取待采摘的果实串图像；（2）控制识别系统对待采摘的果实串图像进行分析识别，分割出主干蔓藤；（3）提取主干蔓藤最上方的圣女果果实的位置，得出采摘机械手的初始切割位置；（4）采摘机械手的末端执行器移动至所述初始切割位置处，末端执行器上的切刀闭合，对所述主干蔓藤进行夹持；（5）采摘机械手的末端执行器沿着主干蔓藤的延伸方向，从上往下运动，对主干蔓藤两侧的圣女果果实的果梗进行切割，完成圣女果果实的采摘。本发明专利技术基于圣女果果实的生长特点进行采摘，有利于提高采摘效率高。摘效率高。摘效率高。

【技术实现步骤摘要】
一种圣女果采摘方法及圣女果采摘机械手


[0001]本专利技术涉及一种果实采摘机械手领域，具体涉及一种圣女果采摘方法及圣女果采摘机械手。

技术介绍

[0002]水果果实的采摘大多采用人工参与，劳动力大，是导致水果成本升高的影响因素之一。为了提高果实采摘的效率，节省劳动力，采摘机器人逐步应用至各种水果采摘中。现有技术中，采摘机器人在采摘果实时，每次动作只能完成一个果实的采摘，对于串式果实的采摘来说，效率极低，且容易损坏相邻的果实。例如，圣女果的果实一般以串为单位生长在一起，并且以同一根蔓藤为基础，果实生长在蔓藤的两边；此时若采用传统的采摘机器人进行圣女果的采摘，每串圣女果中包含多个果实，逐个采摘效率极低，并且同一串圣女果中多个果实之间间距小，逐个采摘的方式容易损坏相邻的果实，显示无法应用至圣女果果实采摘中。现有技术中出现一些果实串采摘机器人，具体是针对以串为单位的果实进行整串采摘，例如龙眼、荔枝、番茄串等，在采摘时对果实串进行抓取和保护，对果实串中的主干梗或主干藤进行切割，从而完成串式果实的采摘；但是，由于圣女果在采摘后的保存、销售一般均为单个独立分离，因此整串采摘后仍然需要将单个圣女果果实从蔓藤上摘出分离，上述果实串采摘机器人无法满足圣女果果实的采摘。

技术实现思路

[0003]本专利技术目的在于克服现有技术的不足，提供一种圣女果采摘方法，该采摘方法基于圣女果果实的生长特点进行采摘，有利于提高采摘效率高。
[0004]本专利技术的另一目的在于提供一种圣女果采摘机械手。
[0005]本专利技术的目的通过以下技术方案实现：一种圣女果采摘方法，包括以下步骤：（1）拍摄装置对圣女果果树进行拍摄，获取待采摘的果实串图像；（2）控制识别系统对待采摘的果实串图像进行分析识别，分割出主干蔓藤，并进行特定标识；（3）依据步骤（2）中分析得出的主干蔓藤，提取主干蔓藤最上方的圣女果果实的位置，并以最上方的圣女果果实的位置作为参考，确定采摘机械手的初始切割位置；（4）采摘机械手的末端执行器移动至所述初始切割位置处，末端执行器上的切刀闭合，对所述主干蔓藤进行夹持；（5）采摘机械手的末端执行器沿着主干蔓藤的延伸方向，从上往下运动，对主干蔓藤两侧的圣女果果实的果梗进行切割，完成圣女果果实的采摘。
[0006]本专利技术的一个优选方案，所述控制识别系统包括实时分割模型，该实时分割模型为SOLOv2模型，采用SOLOv2模型对果实串图像进行主干蔓藤的分割，并对主干蔓藤进行特定标识。
[0007]优选地，步骤（2）中，若出现多条被标识的主干蔓藤，则根据多条主干蔓藤的三维数据，在多条被标识的主干蔓藤中选取深度值最近的主干蔓藤进行下一步骤。
[0008]优选地，所述控制识别系统还包括目标检测模型，通过所述目标检测模型对步骤（2）中选取的主干蔓藤进行圣女果果实检测；在检测时，以选取的主干蔓藤为中心且以预设距离为半径作为检测范围；若检测到圣女果果实，则进行下一步骤；若未检测到圣女果果实，则剔除该主干蔓藤，在多条被标识的主干蔓藤中选取下一条主干蔓藤继续进行圣女果果实检测，或重新进行步骤（2）。
[0009]优选地，所述目标检测模型为YOLO模型。
[0010]一种圣女果采摘机械手，包括座体、多轴臂关节以及末端执行器，所述末端执行器设置在所述多轴臂关节的末端上；其中，所述末端执行器包括夹持切刀组件以及驱动所述夹持切刀组件闭合或分离的夹持驱动机构，所述夹持切刀组件包括两个相对设置的切刀。
[0011]优选地，所述夹持切刀组件还包括夹持导向组件，该夹持导向组件包括两个相对设置的夹持件，两个所述夹持件均呈开口半圆筒设置，两个所述切刀分别设置在两个所述夹持件的下端。
[0012]优选地，所述切刀呈开口半圆筒设置，所述切刀的一端配合设置在所述夹持件的内壁上，所述切刀的另一端向下延伸设置。
[0013]优选地，所述切刀呈锥形设置，所述切刀的直径从上往下逐渐减小。
[0014]优选地，还包括收果托盘，该收果托盘设置在所述夹持切刀组件的下方，收果托盘上设有出果口，所述出果口通过软管与果实储存箱连接。
[0015]本专利技术与现有技术相比具有以下有益效果：1、本专利技术针对圣女果的生长特点（大量果实生长在同一条藤蔓上），特定设计高效的采摘方法，快速准确地将同一蔓藤上的圣女果果实采摘下来，后期无需再进行摘出分离。
[0016]2、本专利技术的圣女果采摘方法，采摘下来后为单个独立的果实，以便直接进行后续的果实清洗、保鲜、包装和运输等处理，有利于与圣女果自动化处理设备形成智能高效的圣女果采摘包装系统。
[0017]3、本专利技术的圣女果采摘机械手，依据圣女果的生长特点，采用双切刀的形式，快速高效地对同一蔓藤上的圣女果果实进行切割采摘，具有效率高、完整性好等优点。
附图说明
[0018]图1为本专利技术的圣女果采摘方法的流程框图。
[0019]图2为待采摘的果实串图像的示意图。
[0020]图3为对待采摘的果实串图像进行主干蔓藤分割和标识后的示意图。
[0021]图4
‑
图7为本专利技术的圣女果采摘机械手的结构示意图，其中，图4为主视图，图5为第一视角立体图，图6为第二视角立体图，图7为末端执行器立体图。
具体实施方式
[0022]下面结合实施例和附图对本专利技术作进一步描述，但本专利技术的实施方式不仅限于此。
[0023]参见图1
‑
图3，本实施例公开一种圣女果采摘方法，包括以下步骤：（1）通过拍摄装置对圣女果果树进行拍摄，获取待采摘的果实串图像，如图2所示；本实施例中的拍摄装置包括深度相机。
[0024]（2）控制识别系统中的实时分割模型对待采摘的果实串图像进行分析识别，分割出主干蔓藤，并进行特定标识。具体地，所述实时分割模型为SOLOv2模型，具有动态、更快和更强的优点，能够快速精准地完成果实串图像中的主干蔓藤的分割识别。关于主干蔓藤的特定标识，可采用颜色轨迹进行标识，例如，可将分割识别出来的主干蔓藤进行蓝色轨迹标识，当然也可采用其他具有鲜明颜色进行标识；如图3所示，较暗颜色轨迹为被标识的主干蔓藤。进一步地，首先，通过采集、收集、整理圣女果树的图像，使用labelImg对图像中的圣女果果实和主干蔓藤进行数据标注，并转换成COCO格式的训练数据集；接着，将训练数据集对SOLOv2模型进行训练；并且，通过配置mixup、随机裁剪、颜色扭曲等数据增强策略进行扩展数据；采用PaddleSlim对SOLOv2模型进行裁剪，减少模型的推理时间；紧接着进行量化，部署到采摘机器人（圣女果采摘机械手）控制器或其他边缘端设备中。
[0025]若出现多条被标识的主干蔓藤，则根据实时分割模型输出的主干蔓藤的二维信息，从拍摄装置的深度相机的点云数据中提取主干蔓藤的深度信息，从而确定多条主干蔓藤的三维数据，并根据多条主干蔓藤的三维数据，在多条被标识的主干蔓藤中选取深度值最近的主干蔓藤，随后进行圣女果果实检测。由于所拍摄的图像中可能存在多条主干蔓藤，因此通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种圣女果采摘方法，其特征在于，包括以下步骤：（1）拍摄装置对圣女果果树进行拍摄，获取待采摘的果实串图像；（2）控制识别系统对待采摘的果实串图像进行分析识别，分割出主干蔓藤，并进行特定标识；（3）依据步骤（2）中分析得出的主干蔓藤，提取主干蔓藤最上方的圣女果果实的位置，并以最上方的圣女果果实的位置作为参考，确定采摘机械手的初始切割位置；（4）采摘机械手的末端执行器移动至所述初始切割位置处，末端执行器上的切刀闭合，对所述主干蔓藤进行夹持；（5）采摘机械手的末端执行器沿着主干蔓藤的延伸方向，从上往下运动，对主干蔓藤两侧的圣女果果实的果梗进行切割，完成圣女果果实的采摘。2.根据权利要求1所述的圣女果采摘方法，其特征在于，所述控制识别系统包括实时分割模型，该实时分割模型为SOLOv2模型，采用SOLOv2模型对果实串图像进行主干蔓藤的分割，并对主干蔓藤进行特定标识。3.根据权利要求1或2所述的圣女果采摘方法，其特征在于，步骤（2）中，若出现多条被标识的主干蔓藤，则根据多条主干蔓藤的三维数据，在多条被标识的主干蔓藤中选取深度值最近的主干蔓藤进行下一步骤。4.根据权利要求3所述的圣女果采摘方法，其特征在于，所述控制识别系统还包括目标检测模型，通过所述目标检测模型对步骤（2）中选取的主干蔓藤进行圣女果果实检测；在检测时，以选取的主干蔓藤为中心且以预设距离为半径作为检测范围；若检测到圣女果果实...

【专利技术属性】
技术研发人员：付鑫，韩乐，张洊闻，何嘉臻，
申请(专利权)人：季华实验室，
类型：发明
国别省市：