基于视觉的移动机器人夹取工具的方法及系统技术方案

本发明专利技术提供了一种基于视觉的移动机器人夹取工具的方法及系统，所述方法包括如下步骤：步骤S1：工具定位标定；步骤S2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码。本发明专利技术使机器人能够动态适应机器人在不同的位置准确的进行夹取动作，保证了机器人在夹取外部工具的位置和姿态的精度,解决了直接定位夹具困难的问题。难的问题。难的问题。

【技术实现步骤摘要】
基于视觉的移动机器人夹取工具的方法及系统


[0001]本专利技术涉及机器人图像处理的
，具体地，涉及基于视觉的移动机器人夹取工具的方法及系统。

技术介绍

[0002]机器人在执行不同的任务时，需要不同的末端工具，这要求机器人具有切换工具的能力。然而不同于随机夹取物品，机器人在进行切换工具的时候对机器人的末端位置和姿态的精度都有很高的要求。传统上固定基座的机器人，由于机器人坐标和工具的坐标系的关系可以保持固定，可以通过示教的方式确定夹取时的位置和姿态。
[0003]在公开号为CN112008767A的专利文献中公开了一种AGV机器人用夹取装置及其使用方法，包括AGV机器人、监控装置、夹取装置和定位装置，所述AGV机器人左端固定连接有监控装置，所述AGV机器人顶端从左至右依次固定连接有控制器、定位装置和机械臂，所述机械臂顶端固定连接有夹取装置，所述夹取装置包括第一电动伸缩杆，所述机械臂顶端固定连接有第一电动伸缩杆，通过设置的固定架和压力传感器，这种设置配合转动杆与支撑杆的转动连接、支撑杆与夹爪的固定连接、第一弹簧对压板及固定架的弹力和压板与压力传感器的固定连接，在使用装置时，可以根据夹取物品的材质对夹紧力进行调节。
[0004]针对上述中的相关技术，专利技术人认为机器人夹取工具的位置和姿态要求高，难以准确定位，移动机器人，由于机器人和工具坐标系的关系在动态变化，增加了夹取难度，待夹取的工具的点云信息难以获取，需要辅助定位。因此，需要提出一种技术方案以改善上述技术问题。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于视觉的移动机器人夹取工具的方法及系统。
[0006]根据本专利技术提供的一种基于视觉的移动机器人夹取工具的方法，所述方法包括如下步骤：
[0007]步骤S1：工具定位标定；
[0008]步骤S2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码。
[0009]优选地，所述步骤S1包括如下步骤：
[0010]步骤S1.1：拍照位下定位码坐标系构建和换算；
[0011]步骤S1.2：工具夹取位姿示教；
[0012]步骤S1.3：定位码坐标系下工具夹取位姿计算。
[0013]优选地，所述步骤S1.1包括如下步骤：
[0014]步骤S1.1.1：放置好外部工具夹，将机器人移动到指定位置，调整机器人的姿态，工具夹在RGBD相机下完整成像，记录此时的机器人末端在机器人坐标系下的位姿矩阵M
S
；
[0015]步骤S1.1.2：采集工具夹的RGBD图像，分别计算两个定位码的中心点坐标，并计算二维码所在平面的方程，构建两个定位码组成的坐标系，以右侧定位码的中心位原点，指向左侧定位码的中心为X轴，所在平面的法向量指向下方为Z轴，根据右手坐标系确定Y轴；
[0016]步骤S1.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M
L2 Cam
；相机到机器人末端的标定矩阵，M
Cam 2 End
；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为M
L
：
[0017]M
L
＝M
S
*M
Cam 2 End
*M
L2 Cam
。
[0018]优选地，所述步骤S1.2包括如下步骤：
[0019]步骤S1.2.1：保持机器人底盘不移动，进行工具夹取动作的示教，即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为M
cla min g
；
[0020]步骤S1.2.2：有多个工具夹持位姿，第n个夹持位姿记录为M
cla min g
(n)。
[0021]优选地，所述步骤S1.3包括如下步骤：
[0022]步骤S1.3.1：由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为M
cla min g 2L
，等式如下：
[0023]M
cla min g
(n)＝M
L
*M
cla min g 2L
(n)；
[0024]步骤S1.3.2：根据如上公式，求解每一个夹持位姿相对与定位码坐标系的变换系M
cla min g 2L
(n)：
[0025][0026]优选地，所述步骤S2包括如下步骤：
[0027]步骤S2.1：实时定位准备工作；
[0028]步骤S2.2：实时工具夹取位姿计算和执行。
[0029]优选地，所述步骤S2.1包括如下步骤：
[0030]步骤S2.1.1：实时夹取工具时，移动机器人首先运动到机器人附近，将机器人末端运行到之前的位姿矩阵M
S
；
[0031]步骤S2.1.2：判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵M
′
s
；
[0032]步骤S2.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M'
L2 Cam
；
[0033]步骤S2.1.4：计算定位码坐标系在机器人坐标系下的位姿矩阵,记为M'
L
：
[0034]M'
L
＝M
′
s
*M
Cam 2 End
*M'
L2 Cam
。
[0035]优选地，所述步骤S2.2包括如下步骤：
[0036]步骤S2.2.1：根据夹取命令，选择夹取的工具，第n个夹取的位姿，记为Mclaming2L
’
(n),则有公式如下，其中M
cla min g 2L
(n)为标定过程中计算得到固定值：
[0037]M'
cla min g
(n)＝M'
L
*M
cla min g 2L
(n)；
[0038]步骤S2.2.2：根据移动机器人当前位置，计算到夹取工具的位姿，运行机械臂末端到M'
cla min g
(n)位姿，闭合机器人夹爪，完成机器人夹取动作。
[0039]本专利技术还提供一种基于视觉的移动机器人夹取工具的系统，所述系统包括如下模块：
[0040]模块M1：工具定位标定；
[0041]模块M2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码；
[0042]模块M1.1：拍照位下定位码坐标系构建和换算；
[0043]模块M1.2：工具夹取位姿示教；
[0044]模块M1.3：定位码坐标系下工具夹取位姿计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的移动机器人夹取工具的方法，其特征在于，所述方法包括如下步骤：步骤S1：工具定位标定；步骤S2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码。2.根据权利要求1所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S1包括如下步骤：步骤S1.1：拍照位下定位码坐标系构建和换算；步骤S1.2：工具夹取位姿示教；步骤S1.3：定位码坐标系下工具夹取位姿计算。3.根据权利要求2所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S1.1包括如下步骤：步骤S1.1.1：放置好外部工具夹，将机器人移动到指定位置，调整机器人的姿态，工具夹在RGBD相机下完整成像，记录此时的机器人末端在机器人坐标系下的位姿矩阵M
S
；步骤S1.1.2：采集工具夹的RGBD图像，分别计算两个定位码的中心点坐标，并计算二维码所在平面的方程，构建两个定位码组成的坐标系，以右侧定位码的中心位原点，指向左侧定位码的中心为X轴，所在平面的法向量指向下方为Z轴，根据右手坐标系确定Y轴；步骤S1.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M
L2Cam
；相机到机器人末端的标定矩阵，M
Cam2End
；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为M
L
：M
L
＝M
S
*M
Cam2End
*M
L2Cam
。4.根据权利要求2所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S1.2包括如下步骤：步骤S1.2.1：保持机器人底盘不移动，进行工具夹取动作的示教，即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为M
claming
；步骤S1.2.2：有多个工具夹持位姿，第n个夹持位姿记录为M
claming
(n)。5.根据权利要求2所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S1.3包括如下步骤：步骤S1.3.1：由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为M
claming2L
，等式如下：M
claming
(n)＝M
L
*M
claming2L
(n)；步骤S1.3.2：根据如上公式，求解每一个夹持位姿相对与定位码坐标系的变换系M
claming2L
(n)：6.根据权利要求1所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S2包括如下步骤：步骤S2.1：实时定位准备工作；步骤S2.2：实时工具夹取位姿计算和执行。7.根据权利要求6所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S2.1包括如下步骤：
步骤S2.1.1：实时夹取工具时，移动机器人首先运动到机器人附近，将机器人末端运行到之前的位姿矩阵M
S
；步骤S2.1.2：判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵M
′
s
；步骤S2.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M
′
L2Cam
；步骤S2.1.4：计算定位码坐标系在机器人坐标系下的位姿矩阵,记为M
′
L
：M
′
L
＝M
′
s
*M
Cam2End
*M
′
L2Cam
。8.根据权利要求6所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S2.2包括如下步骤：步骤S2.2.1：根据夹取命令，选择夹取的工具，第n个夹取的位姿，记为Mclaming2L
’
(n),则有公式如下，其中M
claming2L
(n)为标定过程中计算得到固定值：M
′
claming
(n)...

【专利技术属性】
技术研发人员：夏子涛，郭震，
申请(专利权)人：上海景吾智能科技有限公司，
类型：发明
国别省市：