具有增强的扫描机制的机器人系统技术方案

一种用于操作机器人系统的方法，包括：基于成像数据而确定目标物体的初始姿势，其中所述初始姿势用于估计所述目标物体在拾取区域中的搁置取向；计算与所述初始姿势相关联的置信度测量值，其中所述置信度测量值用于表示所述初始姿势是正确的可能性；以及根据所述置信度测量值计算运动计划，所述运动计划用于基于以下操作而执行任务：从起始位置拾取所述目标物体，将所述目标物体传递到任务位置，以及扫描所述起始位置与所述任务位置之间的一个或多个物体标识符。

Robot System with Enhanced Scanning Mechanism

【技术实现步骤摘要】
具有增强的扫描机制的机器人系统
本公开总体上涉及机器人系统，且更具体地，涉及用于扫描物体的系统、过程和技术。
技术介绍
由于其不断增加的性能和降低的成本，许多机器人(例如，被配置成自动/自主地执行物理动作的机器)现在广泛地用于许多领域。例如，机器人可以用于在制造和/或组装、封包和/或包装、运输和/或装运等过程执行各种任务(例如，操纵或传递物体通过空间)。在执行任务时，机器人可以复制人类动作，从而取代或减少执行危险或重复任务将另外需要的人为参与。然而，在不考虑技术进步的情况下，机器人通常缺少复制执行更为复杂的任务所需要的人类灵敏度和/或适应性所必须的复杂性。例如，操纵机器人通常缺乏执行的动作中的控制粒度和灵活性，以考虑可能由各种现实世界因素引起的偏差或不确定性。因此，需要改进的技术和系统以便控制和管理机器人的各种方面，从而完成任务而不考虑各种真实世界因素。附图说明图1是具有增强的扫描机制的机器人系统可以在其中操作的示例性环境的图解。图2是示出根据本公开的一个或多个实施方案的机器人系统的框图。图3A是呈第一姿势的物体的图解。图3B是图3A的呈第二姿势的物体的图解。图3C是图3A的呈第三姿势的物体的图解。图4是示出由根据本公开的一个或多个实施方案的机器人系统执行的示例性任务的俯视图。图5A是根据本公开的一个或多个实施方案的用于操作图1的机器人系统的流程图。图5B是根据本公开的一个或多个实施方案的用于基于扫描度量标准而得到运动计划的流程图。具体实施方式本文描述了用于具有增强的扫描机制的机器人系统的系统和方法。根据一些实施方案配置的机器人系统(例如，执行一个或多个指定任务的装置的整合系统)通过根据与物体的初始姿势相关联的不确定性得到和执行运动计划提供增强的扫描。机器人系统可以被配置成基于操纵(例如，物理位移和/或重新定向)目标物体来执行任务。例如，机器人系统可以基于从源位置(例如，料箱、货盘或传送带)拾取目标物体并且将其移动到目的地位置而对各种物体进行挑选或重新定位。在一些实施方案中，所述任务还可以包括在传递期间对目标物体进行扫描，诸如通过向一组扫描仪呈现位于目标物体的一个或多个特定位置和/或表面上的一个或多个标识符(例如，条形码或快速响应(QR)码)。因此，机器人系统可以得到或计算有关以下操作的运动计划：夹持并拾取目标物体，将目标物体传递到呈现位置/取向以向扫描仪呈现标识符，以及将目标物体放置在任务位置处(例如，通过将物体传递到任务位置，调整物体的姿势，降下物体，和/或释放物体)。为了执行任务，在一些实施方案中，机器人系统可以包括成像装置(例如，相机、红外传感器/相机、雷达、激光雷达等)，所述成像装置用于识别目标物体的位置和/或姿势(例如，搁置取向)和/或目标物体周围的环境。在一些实施方案中，机器人系统还可以计算与所述姿势相关联的置信度测量值。所述置信度测量值可以表示确定的姿势匹配目标物体的实际真实世界姿势的确定性或可能性的测量值。对于说明性实例，机器人系统可以获得描绘物体的位置和取向的图像(例如，拾取区域(诸如源料箱或货盘)的图像)，所述物体被定任务成被从拾取区域传递到任务区域(例如，目的地料箱或货盘)。机器人系统可以对图像进行处理，以根据预确定次序(例如，从顶部到底部和/或从外边缘向内)识别或选择目标物体。机器人系统还可以根据图像确定初始姿势，诸如通过对物体线进行识别和分组(例如，根据像素色彩、亮度和/或相对于相邻像素的值的改变)。在确定初始姿势时，机器人系统还可以根据预确定过程和/或等式计算置信度测量值(例如，与确定的姿势相关联的量化确定程度)。根据所述位置、姿势、置信度测量值或其组合，机器人系统可以得到和执行运动计划(例如，有关致动器的用于移动一个或多个连接和/或接头的一系列控制)以执行任务。例如，为了挑选和/或重新定位目标物体，运动计划可以对应于首先在源位置处夹持目标物体，在空间上操纵所述目标物体，以及将目标物体放置在目的地位置处。传统的系统严格地基于确定的物体姿势而得到和执行运动计划。因此，传统的系统在不考虑上游(例如，在收集输入数据时)可能已经发生的任何偏差、误差和/或不确定性的情况下得到和执行运动计划。为此，传统的系统无法缓和或纠正上游引入的缺陷，这导致要求人为干预/输入的任务失败(例如，识别物体失败和/或在传递期间丢失物件)。与传统的系统不同，下面所描述的各种实施方案可以根据置信度测量值得到和执行运动计划。换句话说，下面所描述的机器人系统可以改变用于目标物体的方法、改变目标物体上的夹持位置、改变目标物体的呈现姿势/位置，和/或根据置信度测量值改变运动路径的其它部分。举说明性实例，机器人系统可以选择位于拾取区域中的箱子作为目标物体。对于该实例，所述箱子对应于物体顶部表面总体上水平定向且是暴露的并且物体侧表面(即，小于/窄于顶部表面)中的一个总体上竖直地定向并且也是暴露的姿势。机器人系统的主数据中可以包括物体在物体底部表面(即，与物体顶部表面相对)上具有一个标识符并且在物体侧表面中的一个上具有较小标识符。当在识别目标物体时机器人系统对拾取位置的图像进行处理时，机器人系统可以计算置信度测量值。例如，置信度测量值可以对应于在图像中捕获的箱子的一个或多个可见特性(例如，形状、色彩、图像、设计、标志、文本等)与主数据中的预确定信息之间的匹配的测量值。如果置信度测量值在阈值以上，以使得机器人系统充分确定地识别出物体顶部表面暴露在箱子的顶部上，那么机器人系统可以将末端执行器放置在暴露的顶部表面上方，夹持顶部表面，并且旋转目标物体以将底部表面呈现在扫描仪前方的固定位置处。如果置信度测量值低于阈值，以使得机器人系统无法识别顶部表面或底部表面是否暴露，那么机器人系统可以将末端执行器放置在物体侧表面中的一个旁边，夹持物体侧表面，并且旋转目标物体以在一组相对的扫描仪之间传递。在空间中(例如，在起始位置与任务位置之间的位置处)对目标物体进行扫描提供改进的效率和速度以便执行任务。通过计算包括扫描位置并且还与目标扫描仪协调的运动计划，机器人系统可以有效地将有关传递目标物体的任务与有关扫描目标物体的任务进行组合。此外，基于初始取向的置信度测量值而得到运动计划还提高了扫描任务的效率、速度和准确性。机器人系统可以计算考虑对应于初始姿势不准确这一假设的替换取向的运动计划。因此，机器人系统可以在即使具有姿势确定误差(例如，由于校准误差、非预期姿势、非预期照明条件等而引起)的情况下也增加准确地/成功地扫描目标物体的可能性。准确扫描的可能性增加可能会导致机器人系统的总吞吐量增加，并且会进一步减少操作员努力/干预。关于置信度计算和相关联的路径计算的细节在下面描述。在下面的描述中，阐述了多种特定细节以提供对本公开的透彻理解。在其它实施方案中，可以在没有这些特定细节的情况下实践这里介绍的技术。在其它例子中，未详细描述诸如特定功能或例程等熟知的特征，以避免不必要地模糊本公开。本描述中引用“实施方案”、“一个实施方案”等意味着所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，这些短语在本说明书中出现不一定均表示相同的实施方案。另一方面，这些引用也不一定是相互排斥的。另外，特定特征、结构、材料或特性可以以任本文档来自技高网...

【技术保护点】
1.一种用于操作机器人系统的方法，所述方法包括：接收表示包括目标物体的拾取区域的成像数据；基于所述成像数据而确定所述目标物体的初始姿势；计算与所述初始姿势相关联的置信度测量值，其中所述置信度测量值指示所述初始姿势是准确的可能性；基于所述置信度测量值而得到接近位置和至少一个扫描位置，所述接近位置限定有关所述末端执行器接触并夹持所述目标物体的位置，所述扫描位置限定有关所述末端执行器将所述目标物体的一个或多个表面呈现在一个或多个对应物体扫描仪前方以便对所述一个或多个物体标识符进行扫描的位置，基于所述得到的接近位置和所述扫描位置而得到运动计划，其中所述运动计划包括命令、设置或其组合以便操作机器人臂和末端执行器来基于以下操作而执行任务：(1)从起始位置拾取所述目标物体，(2)将所述目标物体传递到任务位置，以及(3)将一个或多个物体标识符呈现给位于所述起始位置与所述任务位置之间的一个或多个物体扫描仪，其中得到所述运动计划包括：将所述置信度测量值与充分性阈值进行比较，根据性能度量标准和/或扫描度量标准、基于所述比较的结果而选择性地计算所述接近位置和所述扫描位置，其中所述扫描度量标准对应于在不考虑所述初始姿势是否准确的情况下所述物体标识符中的至少一个保持不被所述末端执行器覆盖的可能性；以及实现所述运动计划以便操作一个或多个致动装置来执行所述任务。...

【技术特征摘要】
2019.01.25 US 16/258,1201.一种用于操作机器人系统的方法，所述方法包括：接收表示包括目标物体的拾取区域的成像数据；基于所述成像数据而确定所述目标物体的初始姿势；计算与所述初始姿势相关联的置信度测量值，其中所述置信度测量值指示所述初始姿势是准确的可能性；基于所述置信度测量值而得到接近位置和至少一个扫描位置，所述接近位置限定有关所述末端执行器接触并夹持所述目标物体的位置，所述扫描位置限定有关所述末端执行器将所述目标物体的一个或多个表面呈现在一个或多个对应物体扫描仪前方以便对所述一个或多个物体标识符进行扫描的位置，基于所述得到的接近位置和所述扫描位置而得到运动计划，其中所述运动计划包括命令、设置或其组合以便操作机器人臂和末端执行器来基于以下操作而执行任务：(1)从起始位置拾取所述目标物体，(2)将所述目标物体传递到任务位置，以及(3)将一个或多个物体标识符呈现给位于所述起始位置与所述任务位置之间的一个或多个物体扫描仪，其中得到所述运动计划包括：将所述置信度测量值与充分性阈值进行比较，根据性能度量标准和/或扫描度量标准、基于所述比较的结果而选择性地计算所述接近位置和所述扫描位置，其中所述扫描度量标准对应于在不考虑所述初始姿势是否准确的情况下所述物体标识符中的至少一个保持不被所述末端执行器覆盖的可能性；以及实现所述运动计划以便操作一个或多个致动装置来执行所述任务。2.如权利要求1所述的方法，其中得到所述接近位置和所述扫描位置包括当所述置信度测量值未能满足所述充分性阈值时，根据所述扫描度量标准得到所述接近位置和所述扫描位置。3.如权利要求1所述的方法，其中得到所述接近位置和所述扫描位置包括当所述置信度测量值未能满足所述充分性阈值时，将所述扫描度量标准优先排在所述性能度量标准前面。4.如权利要求1所述的方法，其中得到所述接近位置和所述扫描位置包括当所述置信度测量值满足所述充分性阈值时，基于所述性能度量标准得到所述接近位置和所述扫描位置。5.如权利要求1所述的方法，其中得到所述接近位置和所述扫描位置包括：计算有关所述目标物体的围绕所述起始位置的一组可用接近位置，其中所述一组可用接近位置用于放置所述末端执行器以接触并夹持所述目标物体而不干扰其它物体；计算有关所述一组可用接近位置中的每一个可用接近位置的暴露的标识符组，其中所述暴露的标识符组表示根据所述初始姿势是准确的第一假设，在所述末端执行器处于所述对应接近位置的情况下，所述物体标识符保持未被覆盖的对应位置；计算有关所述一组可用接近位置中的每一个可用接近位置的替换标识符组，其中所述替换标识符组表示根据所述初始姿势是不准确的第二假设，在所述末端执行器处于所述对应接近位置的情况下，所述物体标识符保持未被覆盖的位置；以及选择所述接近位置，其中所述接近位置是具有所述暴露的标识符组和所述替换标识符组二者中的未被覆盖的物体标识符的所述可用接近位置。6.如权利要求5所述的方法，其还包括：识别对应于所述物体扫描仪的扫描区域；计算有关在所述扫描区域中或穿过所述扫描区域的所述目标物体的一组候选姿势，其中每一个候选姿势将所述目标物体的多个表面呈现给所述物体扫描仪；将所述暴露的标识符组和所述替换标识符组映射到所述候选姿势中的每一个；将有关每一个候选姿势的所述暴露的标识符组和所述替换标识符组与所述扫描区域进行比较；将扫描姿势识别为将所述暴露的标识符组和所述替换标识符组中的所述物体标识符呈现到所述扫描区域的候选姿势；并且其中得到所述运动计划包括：得到确立在所述扫描区域中或穿过所述扫描区域的所述扫描姿势的所述运动计划。7.如权利要求6所述的方法，其中：识别扫描区域包括识别定向在相反方向、正交方向或其组合上的扫描区域，以便对呈一个姿势的所述目标物体的不同表面进行扫描；以及实现所述运动计划包括实现用于在正交于所述扫描区域的取向的方向上将呈所述扫描姿势的所述目标物体传递穿过所述扫描区域的运动计划。8.如权利要求5所述的方法，其中得到所述运动计划包括计算至少第一扫描位置和第二扫描位置，其中所述第一扫描位置用于将所述暴露的标识符组中的位置呈现给所述物体扫描仪中的一个，并且所述第二扫描位置用于将所述替换标识符组中的位置呈现给所述物体扫描仪中的一个。9.如权利要求8所述的方法，其中实现所述运动计划包括：验证在实现所述运动计划之后直到所述第一扫描位置的扫描结果；以及当所述扫描结果表示成功扫描时，将所述目标物体传递到所述任务位置并且忽略所述第二扫描位置。10.如权利要求8所述的方法，其中实现所述运动计划包括：验证在实现所述运动计划之后直到所述第一扫描位置的扫描结果；以及当所述扫描结果表示失败的扫描时，将所述目标物体传递到所述第二扫描位置。11.如权利要求5所述的方法，其还包括：将所述暴露的标识符组与所述替换标识符组进行比较，以确定所述暴露的标识符组和所述替换标识符组是否包括在所述目标物体的相对表面上的位置；以及选择与正交于所述相对表面的第三表面相关联的所述接近位置。12.如权利要求11所述的方法，其中得到所述接近位置和所述扫描位置包括当所述置信度测量值满足所述充分性阈值时在不考虑所述扫描度量标准的情况下得到所述接近位置和所述扫描位置。13.如权利要求1所述的方法，其中计算所述运动计划包括：计算有关所述目标物体的围绕...

【专利技术属性】
技术研发人员：若森·戴安考夫，
申请(专利权)人：目竞株式会社，
类型：发明
国别省市：日本,JP