用于机器人光学传感器的自动校准制造技术

本发明专利技术涉及用于机器人光学传感器的自动校准。提供了用于机器人光学传感器的自动内部和外部校准的系统和方法。一个实现方式包括：光学传感器；机器人臂；校准图；一个或更多个处理器；以及存储器，其存储致使一个或更多个处理器执行包括以下步骤的操作的指令：确定用于校准第一光学传感器的姿态的集合；至少基于该姿态的集合，生成包含三维(3D)位置和取向数据的姿态数据；至少基于该姿态数据，将机器人臂移动成多个姿态；在该多个姿态中的各个姿态下，利用第一光学传感器获取校准图的图像的集合并记录姿态；至少基于所获取的图像的集合来计算内在校准参数；以及至少基于所获取的图像的集合来计算外在校准参数。

【技术实现步骤摘要】
用于机器人光学传感器的自动校准
本专利技术涉及用于机器人光学传感器的自动校准。
技术介绍
诸如相机的光学传感器被用于某些机器人应用中，例如与计算机视觉(CV)应用一起使用，对被检测对象执行导航、质量控制(QC)和其它功能，例如在制造和仓库物料搬运中常见的那些功能。通过CV应用正确解释所收集的图像需要对光学传感器进行校准。这是实现对象相对于末端执行器的准确定位所需要的。校准有两种主要类型：内部和外部。通常，内部校准估计光学传感器镜头的参数，以例如解决系统中固有的光学像差或不一致性，并在实验室环境中通过在理想条件下手动获取图像的第一数据集来计算。光学传感器安装位置的外在校准参数值通常也在实验室环境中在已经完成内部校准处理后通过在理想条件下手动获取图像的第二数据集来计算。在使用机器人期间，多种环境因素(例如振动)、镜头污染和传感器碰撞经常触发对光学传感器进行重新校准的需求。上述校准程序是手动的，并且需要分两个阶段进行单独的图像收集。作为手动处理，校准可能不一致并依赖于操作员的技能。
技术实现思路
下面参照下面列出的附图详细描述所公开的示例。提供以下概述以例示本文公开的实现方式。然而，这并不意味着将所有示例限制成任何特定配置或操作序列。本文所公开的方面和实现方式针对用于机器人安装的光学传感器的自动内部和外部校准。一个实现方式包括：光学传感器；机器人臂；校准图；一个或更多个处理器；以及存储器，其存储致使一个或更多个处理器执行包括以下步骤的操作的指令：确定用于校准第一光学传感器的姿态的集合；至少基于该姿态的集合，生成包含三维(3D)位置和取向数据的姿态数据；至少基于姿态数据，将机器人臂移动成多个姿态；在该多个姿态中的各个姿态下，利用第一光学传感器获取校准图的图像的集合；至少基于所获取的图像的集合来计算内在校准参数；以及至少基于所获取的图像的集合来计算外在校准参数。已经讨论的特征、功能和优点在多种实现方式中独立地实现，或者将在其它实现方式中被组合，参照以下描述和附图将看到其进一步的细节。附图说明下面参照下面列出的附图详细描述所公开的示例：图1A是根据示例的机器人100的正视图。图1B是根据示例的机器人100的侧视图。图2例示了根据示例的来自机器人基座安装的光学传感器502a的视图。图3例示了根据示例的校准图300。图4例示了根据示例的多种坐标之间的关系。图5例示了根据示例的用于将通用光学传感器502的输出转换成校准图像508(图像校正)的处理500。图6是例示了根据示例的用于对机器人光学传感器502a进行自动内部和外部校准的处理600的框图。图7是例示了根据示例的用于对机器人光学传感器502a进行自动内部和外部校准的控制器700的框图。图8是例示了根据示例的用于机器人光学传感器502a的自动内部和外部校准的实现方式的流程图。图9是例示了根据示例的用于对机器人光学传感器502a进行自动内部和外部校准的处理900的框图。图10是根据示例的适合于实现本公开的多个方面的计算装置1000的框图。图11是根据示例的有利地采用用于机器人光学传感器502a的自动内部和外部校准的制造和维修方法1100的设备的框图。图12是根据示例的有利地采用用于机器人光学传感器502a的自动内部和外部校准的设备1200的框图。图13是根据示例的特定飞行模块1201的示意性立体图。在所有附图中，对应的附图标记表示对应的部件。具体实施方式将参照附图详细描述多种实现方式。贯穿附图，将尽可能使用相同的附图标记指代相同或相似的部件。贯穿本公开做出的与具体实施方式和实现方式有关的参照是仅出于例示性目的而提供的，除非相反地指出，否则并不意味着限制所有实现方式。当结合附图阅读时，将更好地理解前述概述以及某些实现方式的以下详细描述。如本文中所使用的，以单数形式陈述并以单词“一”或“一个”开头的要素或步骤应被理解成不必排除多个要素或步骤。此外，对“一个实现方式”的引用不旨在被解释成排除也包含所述特征的另外的实施方式的存在。而且，除非相反地明确声明，否则“包含”或“具有”具有特定特性的一个要素或多个要素的实现方式可以包括不具有该特性的另外的要素。诸如相机的光学传感器被用于某些机器人应用中，例如与计算机视觉(CV)应用一起使用，对被检测对象执行导航、质量控制(QC)和其它功能，例如在制造和仓库物料搬运中常见的那些功能。然而，通过CV应用正确解释所收集的图像需要对光学传感器进行校准，使得对象在图像中的实际位置尽可能接近预期位置。这是实现对象相对于末端执行器的准确定位所需要的。本文描述的实施方式考虑了这些和其它因素。本文的实施方式的技术效果包括减少校准机器人应用的时间量。本文的实施方式的技术效果包括增加CV应用的准确性。本文的实施方式的技术效果包括减少对手动校准的依赖。校准有两种主要类型：内部和外部。外在校准参数也称为“外部校准值”和/或“外在校准参数值”。内在校准参数也称为“内在校准参数”和/或“内在校准参数值”。如本文中所使用的，内部校准一般涉及补偿相机系统中固有的伪像，例如，诸如镜头中固有的光学像差的不一致性。内在校准参数试图抵消或解决不一致性的影响。通常，在实验室环境中通过在理想条件下手动获取图像的第一数据集来计算光学传感器镜头的内在校准参数。各个图像包含能够检测的已知大小的基准，例如棋盘或charuco板。一旦获取到数据后，就分别处理各个图像，以找到基准关键点的位置。然后，将所测量的基准关键点的集合与标称基准板点的集合相关。使用诸如Levenberg-Marquardt优化的优化方法来求解透镜的光学参数。本文所使用的外部校准一般涉及对值的集合进行确定以限定从传感器坐标到机器人坐标系统的变换。通常，这涉及对机器人的末端执行器相对于传感器的运动学移动进行映射(例如，手/眼坐标校准)。例如，可以将映射建模成AX＝XB，其中A和B是来自不同位置的传感器测量结果，并且X是未知变换，它将传感器测量结果与空间中的不同位置相关。如本领域中已知的，可以使用任何方法来实现变换。光学传感器安装位置的外在校准参数通常也是在实验室环境中在已经完成固有校准处理后通过在理想条件下手动获取图像的第二数据集来计算的。因为固有校准已经完成，所以各个图像是不失真的，并且可以使用例如Perspective-n-Point(PnP)优化来确定各个基准的位置。PnP涉及在给定世界中的n个3D点的集合以及其在图像中的对应的2D投影的情况下估计经内部校准的光学传感器的姿态。光学传感器姿态(也称为外部校准)由6个自由度(DOF)构成，该6个自由度由光学传感器相对于世界的旋转(滚动、俯仰和偏航)和3D平移(例如X、Y和Z)组成。在使用机器人期间，各种环境因素(例如，振动)、镜头污染/传感器不准确、漂移、异步、阻塞和光学传感器碰撞经常会触发重新校准的需求。不幸的是，这些程序是手动的，并且需要在两个阶段进行单独的图像收集。<本文档来自技高网...

【技术保护点】
1.一种用于机器人光学传感器的自动校准的系统，所述系统包括：/n光学传感器(502a)；/n机器人(100)臂(102)；/n校准图(300)；/n一个或更多个处理器(1004)；以及/n存储器(1002)，所述存储器(1002)存储指令，当所述指令由所述一个或更多个处理器执行时，致使所述一个或多个处理器执行操作，所述操作包括：/n确定用于校准所述光学传感器的姿态的集合(804)；/n至少基于所述姿态的集合，生成包含三维(3D)位置(716)和取向数据的姿态数据(714)(806)；/n至少基于所述姿态数据，将所述机器人臂移动成多个姿态(818)；/n在所述多个姿态中的各个姿态下，利用所述光学传感器获取所述校准图的图像(504)的集合(820)；/n至少基于获取的图像的集合来计算内在校准参数(410)(822)；以及/n至少基于所述获取的图像的集合来计算外在校准参数(408)(826)。/n

【技术特征摘要】
20190305 US 16/293,5841.一种用于机器人光学传感器的自动校准的系统，所述系统包括：
光学传感器(502a)；
机器人(100)臂(102)；
校准图(300)；
一个或更多个处理器(1004)；以及
存储器(1002)，所述存储器(1002)存储指令，当所述指令由所述一个或更多个处理器执行时，致使所述一个或多个处理器执行操作，所述操作包括：
确定用于校准所述光学传感器的姿态的集合(804)；
至少基于所述姿态的集合，生成包含三维(3D)位置(716)和取向数据的姿态数据(714)(806)；
至少基于所述姿态数据，将所述机器人臂移动成多个姿态(818)；
在所述多个姿态中的各个姿态下，利用所述光学传感器获取所述校准图的图像(504)的集合(820)；
至少基于获取的图像的集合来计算内在校准参数(410)(822)；以及
至少基于所述获取的图像的集合来计算外在校准参数(408)(826)。


2.根据权利要求1所述的系统，其中，所述操作还包括：
在计算所述外在校准参数前，将所述内在校准参数应用于所述获取的图像的集合(824)。


3.根据权利要求1或2所述的系统，其中，所述操作还包括：
确定所述姿态的集合中的姿态是否是可达到的(808)；以及
至少基于所述姿态不是可达到的，而拒绝所述姿态(814)。


4.根据权利要求1至3中任一项所述的系统，其中，所述校准图附接到所述机器人臂的末端执行器(114)，并且其中，所述光学传感器安装到所述机器人的主体(108)上。


5.根据权利要求1至3中任一项所述的系统，其中，所述光学传感器安装到所述机器人臂上。


6.根据权利要求1至5中任一项所述的系统，其中，所述操作还包括：
确定用于校准所述光学传感器的触发事件(802)；并且
其中，确定用于校准所述光学传感器的所述姿态的集合包括：
至少基于所述触发事件，确定用于校准所述光学传感器的所述姿态的集合。


7.根据权利要求6所述的系统，其中，所述光学传感器是第一...

【专利技术属性】
技术研发人员：P·霍伊斯勒，J·J·科克伦，
申请(专利权)人：波音公司，
类型：发明
国别省市：美国;US