基于虚拟机器人与真实机器人集成的采摘系统及方法技术方案

本发明专利技术公开了基于虚拟机器人与真实机器人集成的采摘系统，包括视觉定位系统、真实机器人和虚拟机器人仿真系统，所述视觉定位系统完成采摘目标的定位，获得采摘目标的三维空间坐标信息后，指导真实机器人实时采摘，同时将获取的三维空间坐标信息通过数据传输线传递给虚拟机器人仿真系统，虚拟机器人实时模拟采摘过程。本发明专利技术的系统及方法，利用虚拟仿真技术与机器视觉技术相结合，基于双目视觉系统的计算数据，驱动虚拟环境下的机器人与真实机器人同时进行视觉定位与采摘行为，从而实现视觉定位精度的对比和采摘行为的有效性验证。

【技术实现步骤摘要】

本专利技术涉及智能机器人领域，特别涉及。
技术介绍
智能机器人的发展是近年来研究的热点，通过智能机器人的应用，在工业、农业生产中能有效提高作业效率、降低生产的劳动强度和成本。在农业机器人方面，果蔬收获机器人是发展现代化农业生产的主要手段之一，而采摘机器人的视觉定位系统是采摘作业能成功完成的关键技术之一。因此，采摘机器人的视觉定位系统必须能精确、有效地实现采摘目标的识别、定位，包括利用视觉系统进行机器人的行走导航等。 然而，相对于当前国内外农业生产的发展，农业机器人的研究所取得的成果仍然比较少，因农业环境的复杂性，存在采摘机器人的研究成果还只能在单一的实验室环境中进行采摘试验，而且存在采摘成功率不高，视觉定位精度低等问题。这不仅成为了制约采摘机器人走向应用的瓶颈问题，也对采摘机器人自动化技术以及其视觉定位系统的研究提出了更高的要求。 故提出了基于实时数据驱动的虚拟机器人与真实机器人多目视觉定位系统，为机器人视觉精确定位技术提供一种研究手段和思路，也从多领域角度去解决智能机器人实际应用的关键技术。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供。 本专利技术的另一目的在于提供基于虚拟机器人与真实机器人集成的采摘方法。 本专利技术的目的通过以下的技术方案实现: 基于虚拟机器人与真实机器人集成的采摘系统，包括视觉定位系统、真实机器人和虚拟机器人仿真系统，所述视觉定位系统完成采摘目标的定位，获得采摘目标的三维空间坐标信息后，指导真实机器人实时采摘，同时将获取的三维空间坐标信息通过数据传输线传递给虚拟机器人仿真系统，虚拟机器人实时模拟采摘过程。 所述的虚拟机器人仿真系统，包括机械手的结构设计模块、误差分析模块、机械手知识手册模块、双目立体视觉模块和机械手的运动仿真模块，所述的机械手的机构设计模块设计底座、手臂和末端执行器，用户可以对机械手的各个零部件进行参数化设计，通过类型的选择和尺寸的确定，在该系统中应用VC与SolidWorks的相互通信，将SolidWorks中的模型转换成三维坐标，实现对设计图纸和设计方案进行实时修改并更新；误差分析模块从机构误差、视觉误差和关联误差三方面对采摘点的三维位置误差进行分析；机械手知识手册模块采用树形结构，用于用户查看公式的推导、数据分析结果的比较信息；双目立体视觉模块用来采集采摘水果的图像，通过图像分割、腐蚀与膨胀、立体匹配图像处理算法对果实进行三维重建和定位，从而为机械手提供果实空间位置坐标参数；机械手的运动仿真模块通过EON进行三维视景虚拟仿真，包括正运动和逆运动仿真:正运动仿真是根据用户所输入的参数来驱动机械手按照预定的参数值运动；逆运动仿真是根据用户所给定的待采摘果实空间位置坐标值，反求解各关节具体值来驱动机械手按照计算的参数值运动，系统通过VC与SolidWorks的通信接口，将模型转换为三维坐标，再将坐标导入EON工作平台，来实现对机械手的运动控制，从而完成虚拟的采摘过程。 所述的真实机器人包括机械手、安装机械手的底座以及安装底座的托运小车。 所述的机械手包括关节一、关节二、关节三、关节四、小臂、末端执行器，设定托运小车的前进方向为X方向，Y方向与X方向垂直构成水平面，Z方向垂直水平面向上，关节一与底座的轴连接，使得整个机械手可以在Z轴上的旋转；关节二与关节一之间通过轴连接，实现机器人手臂绕Y轴上的旋转；机械臂绕Y轴旋转的同时，也可实现机械臂在Z轴方向上和X方向上的移动；关节三与关节二通过轴连接，扩大整个机械臂在Z轴方向上的移动范围；小臂与关节三通过轴连接，实现了机器人在X轴上的旋转；关节四与小臂通过轴连接，配合关节一绕底座旋转的同时，实现了整个机械臂X方向上的移动。 所述的视觉定位系统包括双目摄像头一、双目摄像头二以及安装双目摄像头一的支架，支架安装在关节三的顶部，双目摄像头安装在托运小车上。 本专利技术的另一目的通过以下的技术方案实现: 基于虚拟机器人与真实机器人集成的采摘方法，包含以下顺序的步骤: S1.双目摄像头获取采摘目标的图像信息，并通过数据线把图像传入电脑进行处理，视觉处理系统通过对采摘目标图像进行预处理，转化为灰度图像，再进行高斯滤波处理，通过图像匹配算法，利用无畸变对准的双目摄像头和图像预处理得到特征对应点，通过相似三角形计算出目标的深度信息z的坐标值，通过计算目标的中心点与两个主光轴的位移量来计算出目标的X，y坐标值，得到采摘目标的三维空间坐标信息； S2.控制总线然后把处理后的目标位置信息发给电脑中的控制系统以及虚拟仿真系统，所述虚拟仿真系统即虚拟机器人； S3.虚拟仿真系统对周围环境以及目标进行三维重建，虚拟仿真系统中的机械臂对目标施行预切割: 若虚拟系统中的机械臂采摘路径和姿态可行，则虚拟系统把采摘路径和姿态通过传输总线传输给真实机器人的控制系统，控制系统发出动作指令给机械臂，控制关节一、关节二、关节三和关节四的旋转，机械手运动动作完成后，末端执行器夹住采摘目标并进行切割；同时虚拟仿真系统中的虚拟机器人同步对目标进行虚拟采摘； 若采摘路径和姿态不可行，则由虚拟采摘系统重新进行计算，直到迭代到最佳采摘路径和姿态；虚拟采摘和真实采摘同步进行，两者的动作通过总线相互反馈:虚拟仿真系统把机械臂C-空间建模的仿真信息传递到真实系统中，指导真实机器人的姿态和轨迹，真实机器人的机械臂到达虚拟仿真系统所要求的姿态和轨迹后，若真实系统没有达到虚拟系统所要求的位置，则真实系统把此时的真实机器人的位置和姿态信息发送给虚拟系统，虚拟系统通过神经网络补偿算法，计算出补偿信息，进而再指导真实系统到达所要求的位置，通过这种互相反馈最终使虚拟系统机械臂和真实机器人机械臂同时达到所要求的位置和姿态 步骤S3中，所述的虚拟系统中的机械臂采摘路径和姿态是否可行是通过以下的方法判断的:利用C-空间建模，通过坐标变换简化障碍物空间的计算，把C-空间三维搜索转化为二维搜索，在路径规划的基础上提出基于抛物线的梯形加减速规划，应用局部轨迹规划方式通过仿真验证其是否路径和姿态可行。 所述的基于虚拟机器人与真实机器人集成的采摘方法，还包括步骤S4:若外界环境有突然变动，则双目视觉系统获取周围环境的图像信息，虚拟系统通过场景建模帧差法来察觉此变动，视觉系统把变动传输给虚拟仿真系统，仿真系统再对环境进行三维重建，把重建后的信息以及采摘路径发给实际采摘控制系统进行动作调整。 本专利技术与现有技术相比，具有如下优点和有益效果: 1、本专利技术利用虚拟仿真技术与机器视觉技术相结合，基于双目视觉系统的计算数据，驱动虚拟环境下的机器人与真实机器人同时进行视觉定位与采摘行为，从而实现视觉定位精度的对比和采摘行为的有效性验证。该方法通过虚拟环境模拟机器人的视觉定位与采摘作业，对真实机器人的视觉定位与采摘过程进行对比验证，能修正、引导机器人的视觉技术达到精确性、合理性。 2、本专利技术的思路能在降低开发成本的同时，利用多领域知识融合实现机器人视觉定位系统的设计与开发，为机器人的视觉精确定位提供一种研究手段与技术方法。 3、本专利技术在机器人的视觉定位精度、机器人采摘行为合理性、机器人行走的正确性等方面都能进行数据的对比验证，能有效实本文档来自技高网...

【技术保护点】
基于虚拟机器人与真实机器人集成的采摘系统，其特征在于：包括视觉定位系统、真实机器人和虚拟机器人仿真系统，所述视觉定位系统完成采摘目标的定位，获得采摘目标的三维空间坐标信息后，指导真实机器人实时采摘，同时将获取的三维空间坐标信息通过数据传输线传递给虚拟机器人仿真系统，虚拟机器人实时模拟采摘过程。

【技术特征摘要】
1.基于虚拟机器人与真实机器人集成的采摘系统，其特征在于:包括视觉定位系统、真实机器人和虚拟机器人仿真系统，所述视觉定位系统完成采摘目标的定位，获得采摘目标的三维空间坐标信息后，指导真实机器人实时采摘，同时将获取的三维空间坐标信息通过数据传输线传递给虚拟机器人仿真系统，虚拟机器人实时模拟采摘过程。2.根据权利要求1所述的基于虚拟机器人与真实机器人集成的采摘系统，其特征在于:所述的虚拟机器人仿真系统，包括机械手的结构设计模块、误差分析模块、机械手知识手册模块、双目立体视觉模块和机械手的运动仿真模块，所述的机械手的机构设计模块设计底座、手臂和末端执行器，用户可以对机械手的各个零部件进行参数化设计，通过类型的选择和尺寸的确定，在该系统中应用VC与SolidWorks的相互通信，将SolidWorks中的模型转换成三维坐标，实现对设计图纸和设计方案进行实时修改并更新；误差分析模块从机构误差、视觉误差和关联误差三方面对采摘点的三维位置误差进行分析；机械手知识手册模块采用树形结构，用于用户查看公式的推导、数据分析结果的比较信息；双目立体视觉模块用来采集采摘水果的图像，通过图像分割、腐蚀与膨胀、立体匹配图像处理算法对果实进行三维重建和定位，从而为机械手提供果实空间位置坐标参数；机械手的运动仿真模块通过EON进行三维视景虚拟仿真，包括正运动和逆运动仿真:正运动仿真是根据用户所输入的参数来驱动机械手按照预定的参数值运动；逆运动仿真是根据用户所给定的待采摘果实空间位置坐标值，反求解各关节具体值来驱动机械手按照计算的参数值运动，系统通过VC与SolidWorks的通信接口，将模型转换为三维坐标，再将坐标导入EON工作平台，来实现对机械手的运动控制，从而完成虚拟的采摘过程。3.根据权利要求1所述的基于虚拟机器人与真实机器人集成的采摘系统，其特征在于:所述的真实机器人包括机械手、安装机械手的底座以及安装底座的托运小车。4.根据权利要求3所述的基于虚拟机器人与真实机器人集成的采摘系统，其特征在于:所述的机械手包括关节 一、关节二、关节三、关节四、小臂、末端执行器，设定托运小车的前进方向为X方向，Y方向与X方向垂直构成水平面，Z方向垂直水平面向上，关节一与底座的轴连接，使得整个机械手可以在Z轴上的旋转；关节二与关节一之间通过轴连接，实现机器人手臂绕Y轴上的旋转；机械臂绕Y轴旋转的同时，也可实现机械臂在Z轴方向上和X方向上的移动；关节三与关节二通过轴连接，扩大整个机械臂在Z轴方向上的移动范围；小臂与关节三通过轴连接，实现了机器人在X轴上的旋转；关节四与小臂通过轴连接，配合关节一绕底座旋转的同时，实现了整个机械臂X方向上的移动。5.根据权利要求4所述的基于虚拟机器人与真实机器人集成的采摘系统，其...

【专利技术属性】
技术研发人员：熊俊涛，邹湘军，刘念，李博，林桂潮，孙宝霞，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东;44