用于机器视觉系统和机器人之间的稳健校准的系统和方法技术方案

本发明专利技术提供了用于稳健地校准视觉系统和机器人的系统和方法。该系统和方法使多个相机（105A、105B、105C）能够校准至机器人底座（110）的坐标系，从而使机器视觉/机器人控制系统能够准确地标识机器人底座（110）坐标内感兴趣对象的位置。

【技术实现步骤摘要】
【国外来华专利技术】用于机器视觉系统和机器人之间的稳健校准的系统和方法
本专利技术的说明性实施例涉及校准机器视觉系统，更具体地涉及用于在机器视觉系统和机器人之间校准的系统和方法。
技术介绍
关节臂是可准确且反复地在工作空间内将末端执行器移动到指定姿态的可控制机器。如在本文中所使用的，术语“姿态”说明性地指三维位置和三维旋转的组合。机器人姿态说明性地根据机器人的坐标系的对应于末端执行器的姿态。说明性地，末端执行器是能够抓放工件的可控制机器，并且可包括例如机械夹具、真空吸引器、电磁触点等。一般地，如本文中所使用的，关节臂和末端执行器的组合被称为机器人。可由用于执行操作的机器人访问的三维区域被称为机器人的工作空间。机器人说明性地用于通过执行预定序列的步骤来执行任务，诸如在工作空间内移动工件。例如，末端执行器可沿着轨迹T1向末端执行器姿态PI移动。然后，末端执行器可在沿着工件T2向末端执行器姿态P2移动之前抓取工件。一旦在姿态P2，末端执行器就可释放工件。使用这些机器人的已知缺点在于，工件必须呈现在已知姿态以使机器人成功地执行该任务。例如，如果工件最初未位于预期姿态，则末端执行器可能无法抓取工件。工件姿态的不准确性是这些机器人系统的公知显著缺点，并且是不选择机器人用于执行拾取、放置、以及组装操作的典型原因。一种消除工件姿态的不准确性的已知技术是利用传感器首先测量工件姿态并且随后利用该测量工件姿态来调整机器人的轨迹。由于机器视觉通常是快速、便宜、非接触感测模态，因此机器视觉是用于感测工件位置的典型技术。术语“视觉引导的机器人学（VGR）”说明性地指使用机器视觉系统帮助机器人执行任务的过程。使用机器视觉来测量工件姿态的显著缺点在于，机器视觉系统通常相对于机器视觉系统的坐标系测量工件姿态，而机器人相对于机器人的坐标系移动末端执行器。由此，必须将机器视觉系统计算的工件姿态转换成机器人的坐标系以使机器人利用机器视觉系统计算的工件姿态。术语“手眼校准”说明性地指确定机器视觉系统的坐标系和机器人的坐标系之间的关系的任务。如本领域技术人员应当理解的，手眼校准的准确性直接影响VGR过程的准确性。如果手眼校准准确地反映了机器视觉系统的坐标系和机器人的坐标系之间的关系，则对工件姿态的准确的机器视觉测量将导致用于拾取、放置、以及组装工件的准确的末端执行器姿态。相应地，如果手眼校准不准确且未反映机器视觉系统的坐标系和机器人的坐标系之间的真实关系，则对工件的准确的机器视觉测量将不一定导致用于拾取、放置、以及组装工件的准确的末端执行器姿态。这些不准确的机器人姿态可导致机器人无法执行预期任务。Tsai和Lenz开发了一种用于执行手眼校准的公知技术。其技术在IEEE机器人自动化学报第5卷第3期第345-348页的“用于完全自治和有效的3D机器人学手/眼校准（Anewtechniqueforfullyautonomousandefficient3Droboticshand/eyecalibration）”中进行了描述，其内容通过引用结合于此。Tsai和Lenz的技术说明性地获取一组机器人姿态以及相关联的采集图像。对于每一采集图像，该技术估计相对于校准对象的相机姿态。这产生相对于校准对象的一组机器人姿态和相机的估计姿态。然后，Tsai和Lenz的技术根据一组机器人姿态以及相应估计的相机姿态确定相对于关节臂的相机姿态。在静止的相机环境的示例性情况下，Tsai和Lenz的技术的显著缺点在于，该技术未明确地结合相对于机器人底座存在一个相机姿态且仅存在一个相机姿态而相对于末端执行器存在一个校准对象姿态且仅存在一个校准对象姿态的约束。相反，Tsai和Lenz的技术允许对相机姿态的独立的且由此可能不一致的估计，并且还允许对校准对象姿态的独立的且由此可能不一致的估计。Tsai和Lenz的技术的另一显著缺点在于，该技术每次只对机器视觉系统中的单个相机执行校准。由此，如果期望对机器视觉系统中的多个相机执行校准，则Tsai和Lenz的技术必须针对每一相机反复地执行。这增加了执行校准所需的时间，并且允许对各个相机的独立的且由此可能不一致的校准。Tsai和Lenz考虑成对的动作并考虑表达式AiX=XBi，其中Ai表征相机的感知动作而Bi表征末端执行器的相对动作。由此，他们可通过求解X来计算末端执行器和相机之间的变换，这使得多对AXi和XBi之间的总体差异最小化。在2006IEEE/RSJ智能机器人和系统国际会议论文集2008年度第4647-4653页中公布的“最佳手眼校准（OptimalHand-EyeCalibration）”中，Strobl和Hirzinger论述了考虑表达式AX=ZB来估计末端执行器-相机变换和机器人-校准板变换的手眼校准技术，问题简约到刚性变换的系统：AiX=ZBi，其中Ai表征相机和校准板之间的感知变换，X表征末端执行器-相机变换，Z表征机器人底座-校准板变换，而Bi表征末端执行器姿态（从末端执行器到机器人底座的变换）。这些方法（以及遵循基本技术的所有其他方法）中的两种方法的缺陷在于，其涉及估计两个刚性变换之间的差别（diff(Transform1,Transforms2)），并且不存在测量两个变换之间的差异的可良好理解的、有物理意义的方式。像Tsai和Lens以及Strobl和Hirzinger描述的方法的另一缺陷在于，仅基于校准板姿态的手眼校准是次优的。这是因为每一计算的相机-校准板姿态在一些方向上比在其他方向上更准确，但是该方向准确性信息未包含在相机-校准板姿态中。可通过考虑校准板的取向通常可比校准板的倾斜估计得更准确来理解相机-校准板姿态在一些方向上比在其他方向上更准确的事实。
技术实现思路
本专利技术的说明性实施例通过提供用于在机器视觉系统和机器人之间稳健校准的系统和方法来克服了现有技术的缺点。说明性地，将机器人移动到多个姿态，并且采集诸如校准板之类的校准对象的图像，该校准对象粘附到机器人的末端执行器并包含准确的已知位置处的特征。替换地，将校准对象固定在空间并将相机安装在机器人上，随后将该校准对象移动到多个姿态，在该多个姿态处可采集校准对象的图像。机器视觉系统用于通过测量图像中特征的位置来分析所采集图像。指定的机器人姿态和测量到的图像特征位置用于确定机器视觉系统的坐标系和机器人的坐标系之间的关系。在示例性静止的相机环境中，本专利技术的说明性实施例说明性地施加在每一相机和机器人底座坐标系之间存在唯一的六自由度（6DOF）变换的约束，并且明确地施加在机器人末端执行器和校准板之间存在唯一的6DOF变换的约束。应当注意，在本专利技术的替换实施例中，可利用不同数量的自由度。由此，对6DOF的描述应当只作为示例性的。除了单独的相机校准以外，本专利技术的说明性实施例说明性地实现了多个相机到机器人的同时校准以及单独相机校准，由此排除了首先将相机校准到机器人的工作空间并且随后将机器视觉系统校准到机器人的需要。相机可安装在其视场涵盖机器人的一部分工作场所的空间中，或者可安装在机器人的关节臂和/或末端执行器上。安装在空间中的相机可在本文中称为静止相机，而安装在机器人的关节臂和/或末端执行器上的相机可在本文中称为活动相机。当一个相机静止地安装在空间中时，本专利技术的说明性实施例计算两个变换：本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.05.14 US 12/780,1191.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：利用固定在空间中的相机，获取当所述机器人在所述机器人的工作场所内占据多个不同姿态时固定到所述机器人的执行器的校准对象的多个图像，所述校准对象包括至少2个对象特征，所述至少2个对象特征彼此相对以固定、已知的距离被定位，所述机器人具有机器人坐标系，所述相机具有相机坐标系，所述执行器具有执行器坐标系，所述校准对象具有对象坐标系；标识所述相机坐标系与所述机器人坐标系之间的相机-机器人变换；标识所述对象坐标系与所述执行器坐标系之间的对象-执行器变换；对所述多个图像的每一个中的至少2个图像特征定位，所述至少2个图像特征对应于所述至少2个对象特征；利用所述固定已知的距离、所述多个不同姿态、所述相机-机器人变换和所述对象-执行器变换，计算针对所述多个图像的每一个的至少2个预测图像特征，所述至少2个预测图像特征对应于所述至少2个对象特征；通过改变所述相机-机器人变换或者所述对象-执行器变换，使所述至少2个图像特征的至少一个与所述至少2个预测图像特征的至少一个之间的差异最小化，由此产生优化的变换；以及使用所优化的变换来校准所述机器视觉系统和所述机器人。2.如权利要求1所述的方法，其特征在于，所述校准对象包括校准板。3.如权利要求1所述的方法，其特征在于，所述多个不同姿态之间的差异包括围绕至少两个非平行轴的旋转。4.如权利要求3所述的方法，其特征在于，所述旋转包括至少五度的旋转。5.如权利要求1所述的方法，其特征在于，还包括预处理一组所获取图像以去除离群值，其中所述预处理还包括：确定一组离群值；响应于确定一组离群值，从所述一组所获取图像消除具有所述离群值的一幅或多幅图像以产生缩减的一组获取图像；以及对所述缩减的一组获取图像重新排序以获取合适的动作。6.如权利要求5所述的方法，其特征在于，所述合适的动作包括所述缩减的一组获取图像中的特定对之间的改变。7.如权利要求1所述的方法，其特征在于，所述变换准许六个自由度。8.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：利用固定到所述机器人的执行器上的相机，获取当所述机器人在所述机器人的工作场所内占据多个不同姿态时，固定在空间的校准对象的多个图像，以及所述校准对象包括至少2个对象特征，所述至少2个对象特征彼此相对以固定、已知的距离被定位，所述机器人具有机器人坐标系，所述相机具有相机坐标系，所述执行器具有执行器坐标系，所述校准对象具有对象坐标系；标识所述对象坐标系与所述机器人坐标系之间的对象-机器人变换；标识所述相机坐标系与所述执行器坐标系之间的相机-执行器变换；对所述多个图像的每一个中的至少2个图像特征定位，所述至少2个图像特征对应于所述至少2个对象特征；利用所述固定已知的距离、所述多个不同姿态、所述对象-机器人变换和所述相机-执行器变换，计算针对所述多个图像的每一个的至少2个预测图像特征，所述至少2个预测图像特征对应于所述至少2个对象特征；通过改变所述对象-机器人变换或者所述相机-执行器变换，使所述至少2个图像特征的至少一个与所述至少2个预测图像特征的至少一个之间的差异最小化，由此产生优化的变换；以及使用所优化的变换来校准所述机器视觉系统和所述机器人。9.如权利要求8所述的方法，其特征在于，所述校准对象包括校准板。10.如权利要求8所述的方法，其特征在于，所述多个不同姿态之间的差异包括围绕至少两个非平行轴的旋转。11.如权利要求10所述的方法，其特征在于，所述旋转包括至少五度的旋转。12.如权利要求8所述的方法，其特征在于，还包括预处理一组所获取图像以去除离群值，其中所述预处理还包括：确定一组离群值；响应于确定一组离群值，从所述一组所获取图像消除具有所述离群值的一幅或多幅图像以产生缩减的一组获取图像；以及对所述缩减的一组获取图像重新排序以获取合适的动作。13.如权利要求12所述的方法，其特征在于，所述合适的动作包括所述缩减的一组获取图像中的指定对之间的改变。14.如权利要求8所述的方法，其特征在于，所述变换准许六个自由度。15.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：利用固定在空间中的主要相机和次要相机，获取当所述机器人在所述机器人的工作场所内占据多个不同姿态时，固定到所述机器人的执行器的校准对象的多个图像，所述校准对象包括至少2个对象特征，所述至少2个对象特征彼此相对以固定、已知的距离被定位，所述机器人具有机器人坐标系，所述主要相机具有主要相机坐标系，所述次要相机具有次要相机坐标系，所述执行器具有执行器坐标系，所述校准对象具有对象坐标系；标识所述主要和次要相机坐标系每一个与所述机器人坐标系之间的相机-机器人变换；以及标识所述对象坐标系与所述执行器坐标系之间的对象-执行器变换；对所述多个图像的每一个中的至少2个图像特征定位；所述至少2个图像特征对应于所述至少2个对象特征；利用所述固定已知的距离、所述多个不同姿态、所述相机-机器人变换、以及所述对象-执行器变换，计算针对所述多个图像的每一个的至少2个预测图像特征，所述至少2个预测图像特征对应于所述至少2个对象特征；通过改变所述相机-机器人变换和所述对象-执行器变换，使所述至少2个图像特征的至少一个与所述至少2个预测图像特征的至少一个之间的差异最小化，由此产生优化的变换；以及使用所优化的变换来校准所述机器视觉系统和所述机器人。16.如权利要求15所述的方法，其特征在于，所述校准对象包括校准板。17.如权利要求15所述的方法，其特征在于，所述多个不同姿态之间的差异包括围绕至少两个非平行轴的旋转。18.如权利要求17所述的方法，其特征在于，所述旋转包括至少五度的旋转。19.如权利要求15所述的方法，其特征在于，还包括预处理一组所获取图像以去除离群值，其中所述预处理还包括：确定一组离群值；响应于确定一组离群值，从所述一组所获取图像消除具有所述离群值...

【专利技术属性】
技术研发人员：A·S·沃莱克，L·刘，叶芗芸，
申请(专利权)人：康耐视公司，
类型：
国别省市：