一种基于视觉技术的全自动水果采摘机器人及采摘方法技术

本发明专利技术公开了一种基于视觉技术的全自动水果采摘机器人及采摘方法，包括移动平台、升降平台、工控机、机械臂、视觉系统、仿生夹爪、收集装置；机械臂、工控机和升降平台安装在移动平台的支撑底板上，收集装置安装在升降平台上；机械臂的末端安装有仿生夹爪和视觉系统。本发明专利技术的仿章鱼夹爪设计能够增大夹爪与水果的接触面积，使夹爪更加稳固的抓取目标水果，能实现对不同目标体积的自适应性，增加了通用性。性。性。

【技术实现步骤摘要】
一种基于视觉技术的全自动水果采摘机器人及采摘方法


[0001]本专利技术属于农业机械领域，具体涉及一种基于视觉技术的全自动水果采摘机器人及采摘方法。

技术介绍

[0002]我国果园种植面积和水果产量常年稳居世界首位，水果采摘是果园种植的重要环节。现有的水果采摘机械，比如专利CN110506501A公开了一种水果自动化采摘机，通过车体上的咬合振动装置固定并摇晃果树来使果实掉落，然后利用接收装置来接收掉落的水果，从而实现水果的收获；但是该装置在采摘和摇晃过程中，目标果实和枝叶会混合掉落下来，增加了后续果叶分离的步骤，并且该装置也会对果树和果实表面造成一定的损伤。专利CN109302885A公开了一种水果采摘机器人，通过机械手对水果进行采摘，并将采摘后的水果放置到收集装置；但是该采摘机器人的机械手不能适应不同尺寸的水果，在实际采摘时会对体积较大的水果造成一定程度的损伤，同时还需要人工操作，不能完全实现全自动化。因此，如何减少水果采摘过程中对水果和果树的损伤，提高采摘效率是本领域迫切需要解决的技术问题。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中存在的缺点，提供一种基于视觉技术的全自动水果采摘机器人及采摘方法，其仿生夹爪能够自适应水果的大小，对水果和果树的损伤小，而且采摘机器人能够通过视觉来确定采摘的位置和角度，然后自动控制升降平台的高度来扩大采摘范围，提高采摘效率。
[0004]本专利技术的目的通过下述技术方案实现：
[0005]一种基于视觉技术的全自动水果采摘机器人，包括移动平台、升降平台2、工控机3、机械臂4、视觉系统5、仿生夹爪6、收集装置；机械臂4、工控机3和升降平台2安装在移动平台的支撑底板8上，收集装置安装在升降平台2上；机械臂4的末端安装有仿生夹爪6和视觉系统5。
[0006]所述的移动平台包括移动小车1、支撑底板8和超声波测距传感器9；移动小车1的顶部固定有支撑底板8；移动小车1的前端安装有超声波测距传感器9。
[0007]所述视觉系统5包括第一双目相机13、第二双目相机14、相机支架15和惯导模块16，两个双目相机安装在相机支架15上，相机支架15固定安装在机械臂法兰盘17上，惯导模块16固定在相机支架15的后面。第一双目相机13与惯导模块16组成一个视觉slam系统，完成对果园地图的构建工作；第二双目相机14在移动中实时捕获相机当前帧图像，并通过深度学习对当前帧图像中存在的水果进行识别以及定位。
[0008]4个仿生夹爪6均匀分布在连接件18上，连接件18固定在机械臂的法兰盘17上，步进电机19的电机主轴与连接件18相套接。所述仿生夹爪6采用仿生章鱼设计，包括外爪25、内爪22和吸盘24；内爪22的前端与外爪25的前端铰链连接，内爪22和外爪25之间固定安装
有两个弹簧21；第二连杆27的前端与外爪25的末端相铰接，第二连杆27的凸出部分有弧形槽口，内爪22的末端可以在弧形槽口内滑动；外爪25与第二连杆27的铰接处套有扭簧28，扭簧扭力调节装置26安装在外爪25和第二连杆27的连接处，通过调节其螺母的深度来控制扭簧28长度，从而控制扭簧扭力。
[0009]内爪22为弧形结构，内爪的表面设置有一个以上的吸盘24，吸盘24采用柔性材料并安装在球头螺栓上，球头螺栓的另一端固定在内爪22上。
[0010]第一连杆20的一端与步进电机19的电机座23相连接，形成一个转动副；第一连杆20的另一端与第二连杆27的凸出部分以活动铰链的方式相连接，第二连杆27的末端与连接件18以活动铰链的方式连接，并且限制外爪的转动角度为0～30
°
。
[0011]仿生夹爪6的工作原理是：(1)仿生夹爪6采用仿生章鱼设计，由于大多数水果的表面都是弧形，因此将内爪22设计成弧形，以拟合水果表面进行采摘工作；在内爪的表面上设计有一排吸盘24，吸盘可以根据受力情况在球头螺栓上自由转动，当抓取水果时，吸盘受力使其表面紧贴水果表面，增加了仿生夹爪和水果的接触面积，一方面保护水果表面不受损伤，另一方面也增加仿生夹爪抓取的稳定性；(2)当内爪22受到压力时，内爪22开始向外爪25转动，弹簧21产生一个反作用力增加内爪22对目标的抓取力；不改变扭簧扭力调节装置，内爪和外爪之间的弹簧压缩到最大时，此刻为仿生夹爪能抓取水果的最大体积，如果要抓取的水果体积超出了这个值，可以通过改变扭簧扭力调节装置上螺母所在的刻度来减小扭簧扭力，使得外爪可以转动一定角度，以此增大夹爪的有效抓取体积。内外爪的双重作用使得本专利技术不需要通过算法控制就能实现对不同目标体积的自适应性，增强了对不同大小水果采摘的通用性。
[0012]一种基于视觉技术的全自动水果采摘方法，是采用上述的全自动水果采摘机器人，包括下述步骤：
[0013](1)前期准备：对两个双目相机进行单、双目相机标定，得到每个相机的内外参矩阵和重投影矩阵；对第二双目相机14进行手眼标定，得到相机坐标系和机械臂基坐标系的旋转平移矩阵，用于将相机坐标系下的点转换为机械臂基坐标系下的点；
[0014](2)构建地图：利用第一双目相机13和惯导模块16组成的视觉slam系统在果园中构建地图，获得整个果园的三维点云地图，包括起始点、终点的位置信息；
[0015](3)视觉检测：加载果园的三维点云地图，移动小车自动沿着地图轨迹行走；第二双目相机14获取并利用YOLOv5网络实时检测每帧图像，当目标水果出现后，移动小车停下，第二双目相机保存当前帧图像，否则继续行走；
[0016](4)自主避障：移动小车在行走时，超声波测距传感器9实时检测障碍物并反馈与障碍物的距离给工控机；当距离小于1m时，移动小车停下，10s内如果这个障碍物消失了，移动小车继续行走；否则移动小车原地左转或右转，绕过障碍物之后继续行走；
[0017](5)自动升降：当移动小车因检测到水果而停下时，先提取出步骤(3)保存图像中每个水果的轮廓，求出所有水果轮廓的质心，得到一个质心中间值，以所述质心中间值的三维空间位置作为机械臂的初始采摘姿态，即将质心中间值的位置信息输送给工控机，工控机控制升降平台高度使得机械臂末端正对质心中间数的位置。
[0018](6)定位目标：对图像中的水果及其果梗的中心点进行计算，判断果实与水平面的倾斜角度，控制机械臂的末端姿态；然后利用SAD匹配算法将双目相机左右图像中的水果质
心进行一一匹配，计算出每个水果质心的空间位置，再将水果质心的空间位置转换到机械臂基坐标下；
[0019](7)采摘水果：机械臂依次前往每个水果的质心点；当目标水果完全进入到仿生夹爪后，仿生夹爪开始闭合，内爪上的吸盘通过水果表面的反作用力转动，直到接触到水果的吸盘都紧贴水果表面，同时内爪和外爪之间的弹簧给予作用力，使得吸盘更加牢固的抓住果实；
[0020](8)放置水果：仿生夹爪抓取下果实后，机械臂移动到储存箱的上方，将水果放置入内，直至采摘完当前视野内的水果；储存箱上的红外线传感器会检测箱内的水果是否装满；移动小车会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉技术的全自动水果采摘机器人，其特征在于：包括移动平台、升降平台、工控机、机械臂、视觉系统、仿生夹爪、收集装置；机械臂、工控机和升降平台安装在移动平台的支撑底板上，收集装置安装在升降平台上；机械臂的末端安装有仿生夹爪和视觉系统。2.根据权利要求1所述的全自动水果采摘机器人，其特征在于：所述的移动平台包括移动小车、支撑底板和超声波测距传感器；移动小车的顶部固定有支撑底板；移动小车的前端安装有超声波测距传感器。3.根据权利要求1所述的全自动水果采摘机器人，其特征在于：所述视觉系统包括第一双目相机、第二双目相机、相机支架和惯导模块，两个双目相机安装在相机支架上，相机支架固定安装在机械臂法兰盘上，惯导模块固定在相机支架的后面。4.根据权利要求1所述的全自动水果采摘机器人，其特征在于：4个仿生夹爪均匀分布在连接件上，连接件固定在机械臂的法兰盘上，步进电机的电机主轴与连接件相套接。5.根据权利要求1或4所述的全自动水果采摘机器人，其特征在于：所述仿生夹爪采用仿生章鱼设计，包括外爪、内爪和吸盘；内爪的前端与外爪的前端铰链连接，内爪和外爪之间固定安装有两个弹簧；第二连杆的前端与外爪的末端相铰接，第二连杆的凸出部分有弧形槽口，内爪的末端可以在弧形槽口内滑动；外爪与第二连杆的铰接处套有扭簧，扭簧扭力调节装置安装在外爪和第二连杆的连接处，通过调节其螺母的深度来控制扭簧长度，从而控制扭簧扭力。6.根据权利要求5所述的全自动水果采摘机器人，其特征在于：内爪为弧形结构，内爪的表面设置有一个以上的吸盘，吸盘采用柔性材料并安装在球头螺栓上，球头螺栓的另一端固定在内爪上。7.根据权利要求1或4所述的全自动水果采摘机器人，其特征在于：第一连杆的一端与步进电机的电机座相连接，形成一个转动副；第一连杆的另一端与第二连杆的凸出部分以活动铰链的方式相连接，第二连杆的末端与连接件以活动铰链的方式连接，并且限制外爪的转动角度为0～30
°
。8.一种基于视觉技术的全自动水果采摘方法，其特征在于：是采用权利要求1～7中任一项所述的全自动水果采摘机器人，包括下述步骤：(1)前期准备：对两个双目相机进行单、双目相机标定，得到每个相机的内外参矩阵和重投影矩阵；对第二双目相机进行手眼标定，得到相机坐标系和机械臂基坐标系的旋转平移矩阵，用于将相机坐标系下的点转换为机械臂基坐标系下的点；(2)构建地图：利用第一双目相机和惯导模块组成的视觉slam系统在果园中构建地图，获得整个果园的三维点云地图，包括起始点、终点的位置信息；(3)视觉检测：加载果园的三维点云地图，移动小车自动沿着地图轨迹行走；第二双目相机获取并利用YOLOv5网络实时检测每帧图像，当目标水果出现后，移动小车停下，第二双目相机保存当前帧图像，否则继续行走；(4)自主避障：移动小车在行走时，超声波测距传感器实时检测障碍物并反馈与障碍物的距离给工控机；当距离小于1m时，移动小车停下，10s内如果这个障碍物消失了，移动小车继续行走；否则移动小车原地左转或右转，绕过障碍物之后继续行走；(5)自动升降：当移动小车因检测到水果而停下时，先提取出步骤(3)保存图像中每个...

【专利技术属性】
技术研发人员：邹湘军，龙亚宁，胡博然，潘耀强，陈增兴，温斌，艾璞晔，陈思宇，邹天龙，
申请(专利权)人：佛山市中科农业机器人与智慧农业创新研究院，
类型：发明
国别省市：