最优标定点选取和误差自测量的自动手眼标定方法及装置制造方法及图纸

本发明专利技术属于相机与机器人之间的相对位置标定技术领域，公开了一种最优标定点选取和误差自测量的自动手眼标定方法及装置，由标定板引导六轴机械臂将标定板和相机进行对齐，获取机械臂的初始采样位置；机械臂完成夹持相机或标定板完成一系列旋转运动，并在运动过程中由相机对标定板进行拍照采样，用标定板识别算法估计标定板的位姿，同时过滤不合理的点；求解标定方程并使用标定过程中的采样点对求解的结果进行误差测量，实现全自动可量化的标定求解方案和装置。本发明专利技术能够对求得的标定误差进行旋转和平移等各个维度的量化，能够保证整个标定过程的自动，准确，高效，解决实际应用中的眼在手上和眼在手外的标定问题。

Automatic hand-eye calibration method and device for optimal calibration point selection and error self-measurement

【技术实现步骤摘要】
最优标定点选取和误差自测量的自动手眼标定方法及装置
本专利技术属于相机与机器人之间的相对位置标定
，尤其涉及一种最优标定点选取和误差自测量的自动手眼标定方法及装置。
技术介绍
现有技术：目前带有自动引导，自动定位采样点并进行误差测量的手眼标定系统在标定的
仍然空缺。传统的自动标定做法是将标定板或相机固定在某个位置，用人工示教的方式让机械臂走提前试好的固定走点流程(如走正方形，圆形)控制机械臂移动，让相机对标定板进行采样，即系统安装好的时候，机械臂该去哪里采样就是固定设计好的。此外由于每次测量之后的结果可能受到光照或者标定板尺寸等因素的影响，测量的结果偏离真实结果，需要每次对标定的结果进行误差测量，传统误差测量的方法是通过将求得的标定关系代入到整个机器人系统内，让相机去指挥机械臂运动到某个点，由机械臂实际运动到的点和指令输入的点进行比较误差的大小。缺陷及原因：走示教点的手眼标定方案在安装和使用上都有很大的缺陷：在安装上：固定有很大的空间局限性，标定板或相机要固定安装也给整个标定过程带来了不便。并且当相机或者标定板位置发生变化时，工作人员需要重新设计并改写整个固定走点流程，没有实现整个标定过程的自动化，智能化。在使用上：标定过程中，若当前位置不适合机器人的自动走点，工作人员需要手动操作机械臂重新设计一个机械臂可以固定走点的工作空间，而这个重新设计走点的过程是占用标定过程中的绝大部分时间的，此外，机械臂本身运动关节存在很多限制，操作机器人运动到某个位姿这个过程非常的不便，且费时费力；误差测量时：若使用传统的误差测量方法，一方面需要对机械臂进行末端标定，并将测量点转换到机器人坐标系下对比误差，计算复杂；另一方面机器人的物理运动本身具有误差，无法精确判断标定结果的误差是由标定关系计算不准确造成的还是由机器人的物理运动造成的；此外利用实际抓取效果测量误差的方法往往只能计算抓取时平移的误差，而不能计算标定结果在旋转维度的误差，具有很大的局限性。本专利技术解决的缺陷：针对以上提出的传统技术的缺陷，本专利技术提供六轴机械臂自动定位最优标定点选取且能够误差自测量的手眼标定自动化算法，并在六轴机械臂应用该算法完成了实体装置的实现。该装置解决了上文提出的标定板或相机固定位置安装的问题，在实际场景搭建时，标定板或者相机可以搭建在任意位置，之后机械臂会自动定位标定参照物的位置并前往标定，如果标定参照物的位置发生变化，只需重新运行一遍一键标定程序即可重新计算标定参照物位置改变后的标定关系，不需重新设计标定过程；该装置解决了上文提出的标定结果误差测量不精确的问题，标定算法可以直接利用标定时的采样点做误差分析，能够对求得的标定误差进行旋转和平移等各个维度的量化，且不需要控制机器人做额外的采样进行误差的测量，在排除物理测量影响的情况下，直接计算本次标定结果是否满足理论误差要求，若不满足，工作人员可更改自动标定的参数重新进行标定。该装置使用自动寻找标定参照物的方式进行自动标定，并且能够对自身标定的结果进行误差测量，真正实现了整个标定过程的自动，准确，高效，解决实际应用中的眼在手上和眼在手外的标定问题。随着RGBD深度相机技术的不断发展，RGBD相机采集深度信息的性能不断被应用在各种需要真实视觉的场合上，很多时候RGBD相机被安装在机器人的可移动肢节上，作为机器人的眼睛指示机器人抓取物体或者移动。而相机与机器人之间的相对位置标定则成为了机器人手眼配合的关键问题。眼在手上和眼在手外是两种不同的深度相机安装方法，前者是将相机安装在机器人的手臂上，相机可以随着机械臂的移动而移动，此时需要求解的是相机和机械臂之间的相对关系；后者是将机器人和相机固定安装，相机安装在机器人的外部，需要求解机器人底座和相机之间的相对关系。求解相机和机器人之间的相对位置关系可以通过求解标定方程实现，该方程需要的输入是多组标定板在相机坐标系下的位姿以及对应的机械臂末端在机器人坐标系下的位姿。机械臂末端在机器人坐标系下的位姿一般可以直接从机器人系统中直接获取，而标定板在相机坐标系下的位姿则需要机械臂夹持着相机或标定板前往不同的空间点，让相机对标定板进行采样。现有的标定求解算法大多需要将标定板或相机固定到某个位置之后，在标定板或相机的位置已知的默认前提下，让机器人夹持着相机或者标定板按照固定位置走点，控制相机对标定板进行采样。实际的标定场景中，机器人对相机的自动标定需要满足以下条件：(1)标定过程全自动：在人工进行标定的过程中，操作者必须操作机器人移动到特定位置进行采样。而人工操作机器人一方面采样点的位姿信息不够丰富，最后对机器人手眼的标定结果不一定能够满足精度的要求，另一方面某些型号的机器人，比如工业机器人，型号较为庞大，人工操作机器人的走点非常不便，若一次标定失败后，无法排除已有采样点的坏值，还需要重新开始整个标定过程，费时费力。而自动标定一方面走点的位置是预先规划的，能够保证采样点位姿信息的丰富可靠，另一方面程序控制机器人自动走点采样也保证了整个标定过程的便捷和高效。(2)机械臂对采样位置自动定位：手眼标定首先要保证的是相机能够看到标定板，才能对整个相机和机器人所处的空间位置有大概的估量。传统的自动标定做法是将标定板或相机固定在某个位置，通过人工示教的办法，用提前试好的走点流程控制机械臂移动，让相机对标定板进行采样，即系统安装好的时候，机械臂该去哪里采样就是固定设计好的。这样的手眼标定方案在安装时有很大的空间局限性，标定板或相机要固定安装也给整个标定过程带来了不便。(3)标定结果可度量：在整个标定过程结束后，对于求得的标定结果，需要有可度量的方法评价标定结果是否大致正确，或者满足一定的精度要求。传统的误差测量方法是将求得的标定关系代入到整个机器人系统内，让相机去指挥机械臂运动到某个点，由机械臂实际运动到的点和指令输入的点进行比较误差的大小。但是这样测量误差一方面需要对机械臂进行末端标定，并将测量点转换到机器人坐标系下对比误差，计算复杂；另一方面机器人的物理运动本身具有误差，无法精确判断标定结果的误差是由标定关系计算不准确造成的还是由机器人的物理运动造成的；此外，用机械臂指点的方式往往只能判断二维平面位移的误差，对机械臂的旋转误差甚至无法判断。因此，便捷准确且能够同时表示表示机械臂运动在平移和旋转维度的误差测量方法成了必要。(4)采样走点有效准确：标定过程中的控制相机和标定板相对位置变化的机械臂走点过程同样要满足特定的条件。若机械臂的旋转位姿不够丰富，会导致最后标定结果的精度下降甚至错误。极端情况下，若机械臂每次旋转运动的旋转轴是平行的，甚至还会导致标定方程无法求解。传统的方式是让机械臂按照预设的点位进行走点，但是这样并不能保证每次采样得到的点是必须的。综上所述，现有技术存在的问题是：传统标定方法无法实现标定过程中机械臂的自动定位，相机或标定板的安装操作过程复杂；误差测量的方法复杂且存在较大误差，适用性不高；此外预设固定位置走点的方式无法保证采集到的点能够满足标定方程求解的需求，求解方程的精度和效率得不到保证。解决上述技术问题的难度：坐标系转换：本问题需要实现在机器人底座坐标系为标准坐标系的情况下，机器人底座坐标系，相机坐标系，机械臂末端坐标系，和标定坐标本文档来自技高网...

【技术保护点】
1.一种最优标定点选取和误差自测量的自动手眼标定方法，其特征在于，所述最优标定点选取和误差自测量的自动手眼标定方法包括：第一步，由标定板引导六轴机械臂将标定板和相机进行对齐，获取机械臂的初始采样位置；第二步，机械臂完成夹持相机或标定板完成一系列旋转运动，并在运动过程中由相机对标定板进行拍照采样，用标定板识别算法估计标定板的位姿，同时过滤不合理的点；第三步，求解标定方程并使用标定过程中的采样点对求解的结果进行误差测量，实现全自动可量化的标定求解方案和装置。

【技术特征摘要】
1.一种最优标定点选取和误差自测量的自动手眼标定方法，其特征在于，所述最优标定点选取和误差自测量的自动手眼标定方法包括：第一步，由标定板引导六轴机械臂将标定板和相机进行对齐，获取机械臂的初始采样位置；第二步，机械臂完成夹持相机或标定板完成一系列旋转运动，并在运动过程中由相机对标定板进行拍照采样，用标定板识别算法估计标定板的位姿，同时过滤不合理的点；第三步，求解标定方程并使用标定过程中的采样点对求解的结果进行误差测量，实现全自动可量化的标定求解方案和装置。2.如权利要求1所述的最优标定点选取和误差自测量的自动手眼标定方法，其特征在于，所述最优标定点选取和误差自测量的自动手眼标定方法的相机检测标定板位姿包括：眼在手上的标定时，机器人夹持相机绕机器人四周进行拍照，检查机器人可触及范围内是否存在标定板；眼在手外的标定时，机器人夹持标定板绕机器人四周进行拍照，检查机器人可触及范围内是否能够把标定板送到相机可视范围内；眼在手上时，机械臂夹持相机绕自身周围运动以初步检测标定板存在的运动过程示意图：相机在每次拍照时，将拍到的图像转为灰度图，再进行二值化处理，对二值化后的图像进行轮廓检测，并由此计算出此轮廓在相机坐标系下的位姿；最后得到的结果是标定板在相机坐标系下的平移和旋转关系；当机械臂夹持相机或标定板绕自身周围运动时，若相机拍照后检测到了标定板的存在，并且检测到此时相机与标定板的距离小于一定阈值后，机械臂认为此时运动的位置相机已经能够初步捕获到标定板，接下来机械臂会开始在机械臂的引导下对初始采样点自动定位。3.如权利要求1所述的最优标定点选取和误差自测量的自动手眼标定方法，其特征在于，所述最优标定点选取和误差自测量的自动手眼标定方法的机械臂自动定位采样点包括：当相机捕获到标定板时，由标定板和相机之间的相对关系指挥机械臂运动；当标定板最终和相机对齐时，此时机械臂也和标定板或相机对齐；机械臂以当前的位置为采样中心，根据预设算法自动进行旋转采样。4.如权利要求3所述的最优标定点选取和误差自测量的自动手眼标定方法，其特征在于，所述眼在手上时，相机判断自身和标定板之间存在的夹角和距离方法包括：(1)机器人在检测到标定板落到相机视野后，使用相机检测当前位置标定板在和相机的距离；(2)机器人夹持相机或标定板在机器人底座坐标系不同方向平移，记录每次平移之后距离相机距离标定板的距离；根据平移前的距离和平移后的距离判断标定板与相机的连线与机械臂末端坐标系的夹角；(3)将相机或标定板调整到和标定板或相机正对的姿态(XOY平面相互平行)，并移动机械臂，使相机和标定板在XOY平面上靠近；(4)继续检查相机和标定板在相机坐标系XOY平面上的距离是否小于阈值，若不是，则返回(1)，反复迭代，直到标定板到在相机坐标系XOY平面上靠近相机；(5)当相机成功对齐标定板之后，此时机械臂的位置就是要进行采样的位置初始点，对此位置进行调整，机器人进行采样。5.如权利要求1所述的最优标定点选取和误差自测量的自动手眼标定方法，其特征在于，所述最优标定点选取和误差自测量的自动手眼标定方法的机器人走点采样包括：当机械臂定位好采样点后，让相机绕着空间一组彼此之间夹角为360/N，且构成的平面平行于标定板或相机的N个旋转轴旋转。6.如权利要求1所述的最优标定点选取和误差自测量的自动手眼标定方法，其特征在于，所述最优标定点选取和误差自测量的自动手眼标定方法的标定方程求解：(1)眼在手上标定方程：Ogrid：标定板坐标系；Oworld：世界坐标系或机械臂坐标系；Ocamera：相机坐标系；Oend：机械臂末端坐标系；相机坐标系和机械臂末端坐标系之间的转换关系；机械臂末端坐标系和机械臂底座坐标系之间的转换关系；相机坐标系和标定板坐标系之间的转换关系；标定板坐标系和机械臂底座坐标系之间的转换关系；第i次运动的转换关系方程为：第j次运动的转换关系方程为：联立两个公式并消除其中的常量关系可以得到：令以及上式化简为：AX＝XB；最终X即相机坐标系和机械臂末端坐标系之间的转换关系即为方程所求；从机...

【专利技术属性】
技术研发人员：黄金，赵航，陈飞，
申请(专利权)人：湖南视比特机器人有限公司，
类型：发明
国别省市：湖南,43