一种控制协作机器人抓取物体的方法、装置及系统制造方法及图纸

本申请实施例公开一种控制协作机器人抓取物体的方法、装置及系统，通过将3D双目相机设置在机器人本体上，将单目相机设置于机械臂末端，在遇到待抓取物体前有障碍物时，能够利用机械臂绕开障碍物，在障碍物后侧再次进行单帧数据采集和识别，有效解决了待抓取物体前有障碍物遮挡时，现有协作机器人无法完成抓取的缺点，抓取有障碍物的物体不需要实时控制机械臂移动单目相机完成物体的三维重建，不需要功能强大的处理器，降低系统成本；此外，可在系统工作站通过人工智能的方式已经进行大量数据的采集和训练，因此，在应用单目相机评估深度时不需要很长的时间，显著提高了抓取有障碍物的物体的抓取成功率和抓取效率。

A method, device and system for controlling cooperative robot to grab objects

【技术实现步骤摘要】
一种控制协作机器人抓取物体的方法、装置及系统
本申请涉及机器人
，尤其涉及一种控制协作机器人抓取物体的方法、装置及系统。
技术介绍
随着科学技术的飞速发展，协作机器人已经广泛应用于工业生产、物流、冶金医疗、及3C产业等领域，用以取代人手进行抓取和搬运等重复性、机械性的工作，能够显著上提高生产效率，此外，协作机器人也能取代人手进行一些复杂、危险性高的工作，在较大程度上保证作业人员的人身安全。现有的协作机器人通常包括底盘、设置在底盘上的机器人本体，以及与机器人本体连接的机械臂。在一种常见的协作机器人中，3D双目相机设置于机器人本体的头部，在抓取物体时，协作机器人的底盘通过相应的定位系统使其运动到指定工位，3D双目相机开始识别待抓取物体，以识别出待抓取物体在3D双目相机坐标系下物体的姿态和位置。在已知该协作机器人的手眼标定变换矩阵条件下，把待抓取物体的姿态和位置转换到机器人机械臂的基坐标系或工具坐标系下，从而通过机械臂完成对物体的抓取。在另一种常见的协作机器人中，3D双目相机或单目相机设置于协作机器人机械臂的末端，在抓取物体时，协作机器人的底盘通过相应的定位系统使其运动到指定工位，3D双目相机开始识别待抓取物体，以识别出待抓取物体在3D双目相机坐标系下物体的姿态和位置，在已知该协作机器人的手眼标定变换矩阵条件下，把待抓取物体的姿态和位置转换到协作机器人机械臂的基坐标系或工具坐标系下，从而通过机械臂完成对物体的抓取。若采用单目相机完成对物体的抓取，则需要应用三维重建技术完成对待抓取物体的三维重建，在重建的三维模型中识别出待抓取物体的姿态和位置，从而通过机械臂完成对物体的抓取。然而，协作机器人在实际抓取物体时，经常会出现待抓取物体的前方存在障碍物的情况。在上述情况下，利用现有的第一种协作机器人抓取该物体时，根据3D双目相机识别的结果，机器人主控制器认为此工位上没有待抓取的物体或此工位上有别的物体，导致协作机器人不运行视觉抓取作业；在上述情况下，利用现有的第二种协作机器人抓取该物体时，可通过协作机器人实时控制机械臂移动3D双目相机躲避障碍物，但其躲避障碍物的算法复杂，而且需要强大的计算处理器才能保证实时性；当采用单目相机抓取该物体时，同样需要通过协作机器人实时控制机械臂移动单目相机完成物体的三维重建，其控制机械臂在有障碍物下进行三维重建的控制算法相当复杂，而且在重建的三维模型中识别出待抓取的物体的姿态和位置也很困难，导致在复杂环境下的抓取成功率和抓取效率明显降低。
技术实现思路
本申请提供了一种控制协作机器人抓取物体的方法、装置及系统，以解决在物体前方存在障碍物的情况下，现有技术无法完成抓取，或者抓取成功率和抓取效率明显降低的问题。第一方面，本申请首先提供一种控制协作机器人抓取物体的方法，所述方法包括：获取系统工作站发送的调度指令，以控制协作机器人移动至指定工位；控制机器人本体上的3D双目相机对待抓取物体进行识别；判断所述3D双目相机是否识别出所述待抓取物体；如果所述3D双目相机没有识别出所述待抓取物体，判断所述3D双目相机是否识别出有障碍物；如果所述3D双目相机识别出有障碍物，控制机械臂运动至所述障碍物的后侧；控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据；接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据；根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据，以及所述机械臂与所述单目相机之间的变换矩阵，计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据；根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据，控制机械臂完成对所述待抓取物体的抓取。可选的，判断所述3D双目相机是否识别出所述待抓取物体之后，包括：如果所述3D双目相机识别出所述待抓取物体，控制所述3D双目相机计算出所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据；接收所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据；根据所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据，以及所述机械臂与所述3D双目相机之间的变换矩阵，计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据；根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据，控制所述机械臂完成对所述待抓取物体的抓取。可选的，根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据，控制所述机械臂完成对所述待抓取物体的抓取之后，还包括：发送抓取成功信息至所述系统工作站，以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。可选的，判断所述3D双目相机是否识别出有障碍物之后，包括：如果所述3D双目相机没有识别出有障碍物，发送指定工位没有物体的信息至所述系统工作站，以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。可选的，控制机器人本体上的3D双目相机对待抓取物体进行识别，包括：控制机器人本体上的3D双目相机采集当前环境的三维点云图，并应用ICP算法识别所述待抓取物体。可选的，控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据，包括：控制所述单目相机获取一帧图像，以使所述单目相机根据所述图像应用人工智能算法生成深度图，之后将所述深度图转变成三维点云图，并应用ICP算法计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据。可选的，所述机械臂与所述3D双目相机之间的变换矩阵通过以下方法得到：更换协作机器人机械臂的抓手，安装标定精准件工装，所述标定精准件工装包括圆柱体以及连接于所述圆柱体上的圆锥体；在机械臂控制器输入标定精准件工装的圆锥顶点的工具坐标系；主控制器控制机械臂移动，使所述标定精准件工装的全部椎体部分完全处于3D双目相机的视场内，以便所述3D双目相机能够采集尽量多的圆锥体表面的点云数据；3D双目相机的图像处理器应用采集的圆锥体表面的点云数据来拟合计算所述圆锥体在所述3D双目相机坐标系下的位置和姿态；在保证所述标定精准件工装的圆锥表面处在所述3D双目相机视场内前提下，控制机械臂变换9次姿态和位置；3D双目相机发送圆锥顶点在所述3D双目相机坐标系下的9组姿态值和位置值至主控制器，以使主控制器记录协作机器人在机械臂坐标系下的9组姿态值和位置值；设所述机械臂坐标系到所述3D双目相机坐标系的变换矩阵Tbc中的九个未知数分别为nx，ny，nz，ox，oy，oz，px，py，pz，应用向量叉乘、QR三角分解理论和最小二乘解非线性方程解上述九个未知数，得到所述机械臂与所述3D双目相机之间的变换矩阵。可选的，其特征在于，所述方法还包括：更换所述标定精准件工装，再次安装机械臂抓手；在机械臂控制器输入实际机械臂抓手的工具坐标系。第二方面，本专利技术提供一种控制协作机器人抓取物体的装置，所述装置包括：获取单元，用于获取系统工作本文档来自技高网...

【技术保护点】
1.一种控制协作机器人抓取物体的方法，其特征在于，所述方法包括：/n获取系统工作站发送的调度指令，以控制协作机器人移动至指定工位；/n控制机器人本体上的3D双目相机对待抓取物体进行识别；/n判断所述3D双目相机是否识别出所述待抓取物体；/n如果所述3D双目相机没有识别出所述待抓取物体，判断所述3D双目相机是否识别出有障碍物；/n如果所述3D双目相机识别出有障碍物，控制机械臂运动至所述障碍物的后侧；/n控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据；/n接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据；/n根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据，以及所述机械臂与所述单目相机之间的变换矩阵，计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据；/n根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据，控制机械臂完成对所述待抓取物体的抓取。/n

【技术特征摘要】
1.一种控制协作机器人抓取物体的方法，其特征在于，所述方法包括：
获取系统工作站发送的调度指令，以控制协作机器人移动至指定工位；
控制机器人本体上的3D双目相机对待抓取物体进行识别；
判断所述3D双目相机是否识别出所述待抓取物体；
如果所述3D双目相机没有识别出所述待抓取物体，判断所述3D双目相机是否识别出有障碍物；
如果所述3D双目相机识别出有障碍物，控制机械臂运动至所述障碍物的后侧；
控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据；
接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据；
根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据，以及所述机械臂与所述单目相机之间的变换矩阵，计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据；
根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据，控制机械臂完成对所述待抓取物体的抓取。


2.如权利要求1所述的方法，其特征在于，判断所述3D双目相机是否识别出所述待抓取物体之后，包括：
如果所述3D双目相机识别出所述待抓取物体，控制所述3D双目相机计算出所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据；
接收所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据；
根据所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据，以及所述机械臂与所述3D双目相机之间的变换矩阵，计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据；
根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据，控制所述机械臂完成对所述待抓取物体的抓取。


3.如权利要求1或2所述的方法，其特征在于，根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据，控制所述机械臂完成对所述待抓取物体的抓取之后，还包括：
发送抓取成功信息至所述系统工作站，以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。


4.如权利要求1所述的方法，其特征在于，判断所述3D双目相机是否识别出有障碍物之后，包括：
如果所述3D双目相机没有识别出有障碍物，发送指定工位没有物体的信息至所述系统工作站，以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。


5.如权利要求1所述的方法，其特征在于，控制机器人本体上的3D双目相机对待抓取物体进行识别，包括：
控制机器人本体上的3D双目相机采集当前环境的三维点云图，并应用ICP算法识别所述待抓取物体。


6.如权利要求1所述的方法，其特征在于，控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据，包括：
控制所述单目相机获取一帧图像，以使所述单目相机根据所述图像应用人工智能算法生成深度图，之后将所述深度图转变成三维点云图，并应用ICP算法计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据。


7.如权利要求1所述的方法，其特征在于，所述机械臂与所述3D双目相机之间的变换矩阵通过以下方法得到：
更换协作机器人机械臂的抓手，安装标定精准件工装，所述标定精准件工装包括圆柱体以及连接于所述圆柱体上的圆锥体；
在机械臂控制器输入标定精准件工装的圆锥顶点的工具坐标系；
主控制器控制机械臂移动，使所述标定精准件工装的全部椎体部分完全处于3D双目相机的视场内，以便所述3D双目相机能够采集尽量多的圆锥体表...

【专利技术属性】
技术研发人员：洪浛檩，张涛，
申请(专利权)人：中瑞福宁机器人沈阳有限公司，
类型：发明
国别省市：辽宁;21