基于激光雷达导航的荔枝视觉采摘机器人及其实现方法技术

本发明专利技术公开了一种基于激光雷达导航的荔枝视觉采摘机器人及其实现方法，包括导航机构、运载机构、升降机构、电源、机械臂、双目视觉机构、末端执行机构、控制柜、果实收集装置；导航机构安装在运载机构的车体底板前端；升降机构安装在运载机构的车体底板上；机械臂、电源、控制柜安装在升降机构的工作平台上；双目视觉机构安装在末端执行器固定件上；末端执行机构安装在机械臂的末端；果实收集装置安装在升降机构的侧面。本发明专利技术能精准识别荔枝果梗，并自动进行采摘，采摘效率高，而且整体结构简单，自动化和智能化程度高。动化和智能化程度高。动化和智能化程度高。

【技术实现步骤摘要】
基于激光雷达导航的荔枝视觉采摘机器人及其实现方法


[0001]本专利技术属于农业机械领域，具体涉及一种基于激光雷达导航的荔枝视觉采摘机器人及其实现方法。

技术介绍

[0002]我国是全球最主要的荔枝生产国，但是荔枝的采摘收获需要大量劳动力，而且荔枝成熟期非常短，同时岭南的天气炎热多雨，若不能及时采摘就会造成严重的经济损失。目前有一些荔枝采摘机器，如专利CN109566097A公开了一种荔枝采摘机，其采摘爪在执行采摘动作时，相互平行布置于爪指支架上的多个爪指在采摘过程中会夹到没有果实的枝丫，采摘效率较低，而且不能实现自主导航，也没有搭载视觉模块，无法实现自动采摘。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中存在的缺点，提供一种基于激光雷达导航的荔枝视觉采摘机器人及其实现方法，能精准识别荔枝果梗，并自动进行采摘，采摘效率高，而且整体结构简单，自动化和智能化程度高。
[0004]本专利技术的目的通过下述技术方案实现：
[0005]一种基于激光雷达导航的荔枝视觉采摘机器人，包括导航机构1、运载机构2、升降机构3、电源4、机械臂5、双目视觉机构6、末端执行机构7、控制柜8、果实收集装置9；导航机构1安装在运载机构2的车体底板前端；升降机构3安装在运载机构2的车体底板上；机械臂5、电源4、控制柜8安装在升降机构3的工作平台上；双目视觉机构6安装在末端执行器固定件34上；末端执行机构7安装在机械臂的末端；果实收集装置9安装在升降机构的侧面。
[0006]所述导航机构1包括激光雷达和编码器，激光雷达安装在运载机构的车体底板前端，激光雷达和编码器用于获取道路的数据信息。
[0007]所述升降机构3包括底座11、交叉式升降组件12、液压驱动组件10和工作平台13；所述液压驱动组件10固定在底座11上，液压驱动组件10分别与交叉式升降组件12、控制柜8相连接，用于带动交叉式升降组件12做升降运动；所述工作平台13水平设置在交叉式升降组件12上；果实收集装置9安装在升降机构工作平台的侧面。
[0008]所述机械臂5包括第一丝杆14、第二丝杆15、第三丝杆16、第四丝杆17、第五丝杆18、第六丝杆19、第一推杆20、第二推杆21、第三推杆22、第四推杆23、第一连接件24和第二连接件25；所述机械臂5为两套相同结构的机械臂，分别布置在升降机构工作平台13的斜对角位置；其中一套机械臂是将第一丝杆14、第二丝杆15沿运载机构前进方向垂直固定在升降机构工作平台上13，第三丝杆16的两端分别水平固定在第一丝杆14、第二丝杆15的滑台上，第一推杆20、第二推杆21呈对称式垂直固定在第三丝杆16上，末端执行器通过末端执行器固定件34连接在第一推杆20的末端，然后通过第一连接件24将末端执行器固定件与第二推杆21连接；与之斜对角放置的另一套机械臂也是同样的结构。
[0009]所述末端执行机构7包括末端执行器固定件34、末端执行器；所述末端执行器包括
电机29、啮合刀片30、橡胶夹板31、夹板固定件32、结构固定件33、丝杆螺母35、推杆36；啮合刀片30与夹板固定件32刚性连接，橡胶夹板31通过夹板固定件32安装在啮合刀片30的下方，电机29与结构固定件33相连接，丝杆螺母35与电机29的丝杆相连接，推杆36固定在丝杆螺母35上，啮合刀片30连接在推杆36的末端。当进行采摘作业时，啮合刀片与夹紧部件即橡胶夹板31相对静止，电机工作时，丝杆螺母35由电机29丝杆的转动来实现旋转运动与直线运动的相互转换，在丝杆螺母35的往复直线运动下带动推杆36为啮合刀片30提供动力，实行剪切运动；橡胶夹板31在啮合刀片30进行啮合的同时完成对荔枝果梗的夹紧。啮合刀片30是通过仿生物牙齿的锯齿状结构来进行设计的，橡胶夹板31设计成类似于生物的嘴唇的形状，仿生物嘴巴结构的夹剪一体化结构，具有可实现加工性，啮合刀片30的锯齿状结构也有利于对荔枝果梗的定位，防止果梗在啮合剪断时滑动。本专利技术设计的末端执行器能够在不损害荔枝果实与枝叶的前提下进行采摘，保证了荔枝果实与枝叶的完整性，能更好地适应不同粗细的荔枝果梗，同时末端执行器结构紧凑，能保证在夹剪时不会受到其他枝丫的影响，锯齿状结构和橡胶材料制作的夹具可以稳定的夹住荔枝串不至于掉落。
[0010]所述双目视觉机构6包括左相机27、右相机28、相机固定架26，左、右相机安装在相机固定架上，相机固定架26安装在末端执行器固定件34上。
[0011]一种基于激光雷达导航的荔枝视觉采摘机器人的实现方法，包括下述步骤：
[0012](1)激光雷达导航：激光雷达和编码器用于获取道路的数据信息，通过获取的数据信息来进行机器人的定位、地图构建和路径规划，运载机构接收到指令后准确到达指定位置；
[0013](2)升降机构进行升降：针对不同的采摘环境及荔枝品种，控制升降机构达到合适的高度来进行采摘作业；
[0014](3)数据集制作：先用相机采集大量的荔枝图像，然后用标注工具对采集的图像进行标注，即框选出要采摘的荔枝果梗，得到荔枝果梗数据集；
[0015](4)深度学习模型：使用改进的YOLOV4网络对荔枝果梗数据集进行训练，得到识别荔枝果梗的网络模型；
[0016](5)双目相机的单、双目标定及手眼标定：先是分别对两个相机进行单目标定，得到每个相机的内参矩阵和畸变矩阵；然后对两个相机进行双目立体视觉标定，得到用于双目校正的重投影矩阵，同时获得世界坐标系下真实物距与相机像素距离之间的转换关系；再将双目相机拍摄到的荔枝图像进行双目校正，得到双目校正后的图像；手眼标定用于确定机器人与相机之间的坐标系转换关系；
[0017](6)三维重建：通过双目相机获取荔枝图像的彩色图像，经过立体匹配得到深度图，并将彩色图像输入到步骤(4)中已经训练好的网络模型中，得到荔枝果梗采摘点的位置坐标，根据三角测距原理得到荔枝果梗的三维点云；
[0018](7)运动轨迹规划：将荔枝果梗的三维点云信息传送给控制柜，控制柜通过分析点云信息中包含的空间三维信息，采用避障算法来规划机械臂的运动轨迹，使其靠近采摘目标；
[0019](8)姿态估计：由于荔枝的果梗方向不全是垂直向下的，所以需要通过获取的荔枝果梗三维点云来确定果梗轴线方向向量n及与n垂直的方向向量m；
[0020](9)采摘及收集：通过控制第一推杆和第二推杆的伸长使末端执行器从向量m的方
向对采摘点进行夹紧剪切，并将采摘到的荔枝果串放入果实收集装置中。
[0021]所述步骤(1)中，激光雷达导航是指运载机构利用自身传感器，识别自己在环境中的位置并且构建基于环境的地图，同时基于地图实现定位导航功能，这种功能的实现就是同时定位与构建地图技术。
[0022]所述步骤(4)中，所述改进的YOLOV4网络是指采用卷积来得到不同感受野的特征图，其kernel size分别设置为1
×
1，3
×
3、3
×
3、5
×
5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达导航的荔枝视觉采摘机器人，其特征在于：包括导航机构、运载机构、升降机构、电源、机械臂、双目视觉机构、末端执行机构、控制柜、果实收集装置；导航机构安装在运载机构的车体底板前端；升降机构安装在运载机构的车体底板上；机械臂、电源、控制柜安装在升降机构的工作平台上；双目视觉机构安装在末端执行器固定件上；末端执行机构安装在机械臂的末端；果实收集装置安装在升降机构的侧面。2.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人，其特征在于：所述导航机构包括激光雷达和编码器，激光雷达安装在运载机构的车体底板前端，激光雷达和编码器用于获取道路的数据信息。3.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人，其特征在于：所述升降机构包括底座、交叉式升降组件、液压驱动组件和工作平台；所述液压驱动组件固定在底座上，液压驱动组件分别与交叉式升降组件、控制柜相连接，用于带动交叉式升降组件做升降运动；所述工作平台水平设置在交叉式升降组件上。4.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人，其特征在于：所述机械臂为两套相同结构的机械臂，分别布置在升降机构工作平台的斜对角位置；其中一套机械臂是将第一丝杆、第二丝杆沿运载机构前进方向垂直固定在升降机构工作平台上，第三丝杆的两端分别水平固定在第一丝杆、第二丝杆的滑台上，第一推杆、第二推杆呈对称式垂直固定在第三丝杆上，末端执行器通过末端执行器固定件连接在第一推杆的末端，然后通过第一连接件将末端执行器固定件与第二推杆连接；另一套机械臂也是同样的结构。5.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人，其特征在于：所述末端执行机构包括末端执行器固定件、末端执行器；所述末端执行器包括电机、啮合刀片、橡胶夹板、夹板固定件、结构固定件、丝杆螺母、推杆；啮合刀片与夹板固定件刚性连接，橡胶夹板通过夹板固定件安装在啮合刀片的下方，电机与结构固定件相连接，丝杆螺母与电机的丝杆相连接，推杆固定在丝杆螺母上，啮合刀片连接在推杆的末端。6.根据权利要求5所述的基于激光雷达导航的荔枝视觉采摘机器人，其特征在于：啮合刀片为仿生物牙齿的锯齿状结构，橡胶夹板为仿生物嘴唇的形状。7.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人，其特征在于：所述双目视觉机构包括左相机、右相机、相机固定架，左、右...

【专利技术属性】
技术研发人员：邹湘军，张涛，唐昀超，胡柯炜，孟繁，温斌，邹天龙，潘耀强，胡博然，谢启旋，徐秀进，
申请(专利权)人：仲恺农业工程学院佛山市中科农业机器人与智慧农业创新研究院，
类型：发明
国别省市：