簇状果实采摘机器人制造技术

本发明专利技术公开了簇状果实采摘机器人，机器人包括：视觉识别系统、控制系统、机械臂系统、收集系统和移动平台，视觉识别系统包括果实区域定位系统和采摘部位定位系统。本发明专利技术完善了农业采摘机器人的覆盖范围，实际应用时，根据不同类型的簇状果实选取不同尺寸的采摘器，可完成多种簇状果实的采摘。成多种簇状果实的采摘。成多种簇状果实的采摘。

【技术实现步骤摘要】
簇状果实采摘机器人


[0001]本专利技术属于智能机器人
，尤其涉及簇状果实采摘机器人。

技术介绍

[0002]随着机器人技术的不断成熟，传统农业逐步向现代智能化农业发展。农业机器人的出现和应用，改变了农业劳动方式，改善了农业运行环境，降低了人工的劳 动强度。随着产出规模和人力成本的增加，收获和采摘机器人成为农业机器人的重点研究对象。果实按形状主要分为单果和簇状果实。单果采摘机器人的研发相对成熟，现有技术中已经研发出了西红柿、蘑菇、柑橘等自动采摘机器人。
[0003]簇状果实包括花椒、胡椒、枸杞和葡萄等，由于果实分散，主茎分辨困难，识别难度大，不易进行采摘。以花椒为例，因其树枝伸展长，具有皮刺，果实小，采摘要求高，目前完全靠人工采摘，采摘人力成本占总价值的一半以上，严重制约花椒产业发展。
[0004]在非结构化的采摘环境中，更精确的多目标识别算法一直是研究中的难点。不同于苹果、柑橘、草莓等颗粒状果实的采摘，簇状果实由于其生长分布特性而需要采摘机器人具有更强的环境感知能力。环境背景的干扰、枝干的干涉、叶子的遮挡以及多变的自然光等干扰都给簇状果实的识别和采摘带来了困难。此外，在非结构化的环境中，只关注于果实位置的识别算法无法胜任复杂的采摘工作。

技术实现思路

[0005]本专利技术的目的在于，为克服现有技术缺陷，提供了簇状果实采摘机器人, 集机器人视觉识别系统、机械臂系统、控制系统、采摘系统、行走系统和收集系统为一体，实现簇状果实的智能采摘。
[0006]本专利技术目的通过下述技术方案来实现：一种簇状果实采摘机器人，所述机器人包括：视觉识别系统，所述视觉识别系统包括果实区域定位系统和采摘部位定位系统；果实区域定位系统，所述果实区域定位系统获取果实图像并对簇状果实进行识别，确定簇状果实的形状及位置；采摘部位定位系统，所述采摘部位定位系统根据所述果实图像提取枝干区域，将采摘部位定位在果实根部与枝干连接处；控制系统，所述控制系统利用具有不同地形损耗函数的A*算法实现最优采摘路径规划，根据采摘部位定位结果计算采摘角度，并控制机械臂系统完成采摘，其中，不同地形损耗函数指预先设定的不同地形引起的地形损耗；机械臂系统，所述机械臂系统根据所述控制系统的指令执行采摘动作，所述机械臂系统前端设有梳齿状采摘部件；收集系统，所述收集系统包括柔性材料制备的负压收集系统；移动平台，所述移动平台搭载所述机械臂系统和所述收集系统，并根据接收到的
指令移动至指定位置。
[0007]进一步的，所述果实区域定位系统包括双目或多个单目摄像机以及深度相机，所述获取果实图像并对簇状果实进行识别，确定簇状果实的形状及位置具体包括：通过双目机器视觉伺服获取所述果实图像的深度信息，基于从 RGB 空间转为到 HSV 图像空间的色彩因子对所述簇状果实进行识别，对所述簇状果实的三维空间信息进行重构建模，获取所述簇状果实的初始采摘空间位置；采用深度相机获取簇状果实和障碍物的全局点云。
[0008]进一步的，所述果实区域定位系统采用粒子群算法规划路径，在粒子无效的时候随机初始化粒子，粒子初始化位置随机。
[0009]进一步的，所述控制系统采用LMBP神经网络对机械臂逆运动学进行求解，采用最小二乘支持向量机算法进行探索，建立避障路径规划模型，避障路径规划模型采用障碍物规则体的包络对障碍物进行建模，将机械臂工作空间的三维问题转化为二维问题。
[0010]进一步的，所述果实区域定位系统根据簇状果实的果实簇与枝干关系将果实簇姿态分为侧向、正向、背向三类；正向和背向果实簇图像中簇根部节点不可见，通过双目或多个单目摄像机绕枝干旋转，重新拍摄能够体现根部节点的侧向果实簇图像从而获取根部节点图像信息，计算根部节点空间位置；通过双目或多个单目摄像机拍摄的正面果实簇图像中计算枝干的空间位置和方向；在侧向果实簇图像中，分割枝干区域，由分割图像重建枝干三维轮廓。
[0011]进一步的，所述控制系统根据根部节点与枝干的相对关系确定采摘方向并计算采摘器进给深度，所述采摘方向为所述采摘器端部与所述根部节点和所述枝干的轴心位于同一直线时采摘器端部的朝向，所述进给深度为枝干与采摘部件沿采摘方向的距离。
[0012]进一步的，所述视觉识别系统通过基于多目标识别和感知的多任务算法同时完成多个视觉任务，多个视觉任务包括簇状果实的位置检测、簇状果实的分割和场景中枝干的分割。
[0013]进一步的，所述基于多目标识别和感知的多任务算法还包括特征调整模块和不对称特征共享和融合模块；所述特征调整模块被放置在实现所述簇状果实的位置检测的目标检测解码器与实现所述场景中枝干的分割的分割解码器之间，用于将实现所述簇状果实的位置检测的目标检测解码器当中高层特征中包含的语义信息重构并转移到实现所述场景中枝干的分割的分割解码器当中，所述不对称特征共享和融合模块用于捕获两个分割任务之间的互补信息，改善多个分割任务之间的边界对齐。
[0014]进一步的，所述不对称特征共享和融合模块采用CSP模块去除重复的特征表达。
[0015]进一步的，所述果实区域定位系统在确定簇状果实的形状及位置时，还根据颗粒数量，将目标图像中果实饱满程度进行划分，若目标图像中果实数量达不到预设阈值，则放弃采摘。
[0016]本专利技术的有益效果在于：（1）本专利技术提出了一种簇状果实采摘机器人，完善了农业采摘机器人的覆盖范围，
实际应用时，根据不同类型的簇状果实选取不同尺寸的采摘器，可完成多种簇状果实的采摘。
[0017]（2）本专利技术基于从RGB空间转为到HSV图像空间的色彩因子对簇状果实进行识别，利用双目视觉系统相机的标定参数和双目视觉三维重建的方法初步获取簇状果实初始采空间位置。采用深度相机获取簇状果实树和障碍物的全局点云，利用优化后的具有不同地形损耗函数的算法实现最优采摘路径规划。
[0018]（3）本专利技术提出一种在粒子无效的时候给粒子随机初始化的方法，不管粒子群有没有陷入局部最优，在迭代的过程中都可能有粒子被随机重新初始化。初始化的位置是随机的，所以可以大大避免粒子群陷入局部最优，扩大粒子搜索的范围。仿真结果从最优路径、收敛路径长度以及动态收敛特性三方面进行了比较分析，保证机器人可以智能的避开动态环境下的随机障碍物，成功到达目标地点。
[0019]（4）本专利技术通过联合采用AFSFM（不对称特征共享和融合）模块和FHM（特征调整）模块，使得多任务模型的多任务性能得到进一步提高。
附图说明
[0020]图1是本专利技术实施例提供的簇状果实采摘机器人结构框图；图2是本专利技术实施例视觉识别定位分析流程示意图；图3是本专利技术实施例采摘方向与进给深度示意图；图4是本专利技术实施例改进后的多任务识别算法结构示意图；图5是本专利技术实施例FHM 模块结构示意图；图6是本专利技术实施例AFSFM 模块结构示意图。
具体实施方式
[0021]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种簇状果实采摘机器人，其特征在于，所述机器人包括：视觉识别系统，所述视觉识别系统包括果实区域定位系统和采摘部位定位系统；果实区域定位系统，所述果实区域定位系统获取果实图像并对簇状果实进行识别，确定簇状果实的形状及位置；采摘部位定位系统，所述采摘部位定位系统根据所述果实图像提取枝干区域，将采摘部位定位在果实根部与枝干连接处；控制系统，所述控制系统利用具有不同地形损耗函数的A*算法实现最优采摘路径规划，根据采摘部位定位结果计算采摘角度，并控制机械臂系统完成采摘，其中，不同地形损耗函数指预先设定的不同地形引起的地形损耗；机械臂系统，所述机械臂系统根据所述控制系统的指令执行采摘动作，所述机械臂系统前端设有梳齿状采摘部件；收集系统，所述收集系统包括柔性材料制备的负压收集系统；移动平台，所述移动平台搭载所述机械臂系统和所述收集系统，并根据接收到的指令移动至指定位置。2.如权利要求1所述的簇状果实采摘机器人，其特征在于，所述果实区域定位系统包括双目或多个单目摄像机以及深度相机，所述获取果实图像并对簇状果实进行识别，确定簇状果实的形状及位置具体包括：通过双目机器视觉伺服获取所述果实图像的深度信息，基于从 RGB 空间转为到 HSV 图像空间的色彩因子对所述簇状果实进行识别，对所述簇状果实的三维空间信息进行重构建模，获取所述簇状果实的初始采摘空间位置；采用深度相机获取簇状果实和障碍物的全局点云。3.如权利要求1所述的簇状果实采摘机器人，其特征在于，所述果实区域定位系统采用粒子群算法规划路径，在粒子无效的时候随机初始化粒子，粒子初始化位置随机。4.如权利要求1所述的簇状果实采摘机器人，其特征在于，所述控制系统采用LMBP神经网络对机械臂逆运动学进行求解，采用最小二乘支持向量机算法进行探索，建立避障路径规划模型，避障路径规划模型采用障碍物规则体的包络对障碍物进行建模，将机械臂工作空间的三维问题转化为二维问题。5.如权利要求2所述的簇状果实采摘机器人，其特征在...

【专利技术属性】
技术研发人员：曾梦玮，刘雪垠，
申请(专利权)人：四川省机械研究设计院集团有限公司，
类型：发明
国别省市：