用于训练机器人的方法和系统技术方案

提供了用于训练机器人以识别机器人的工作区中的对象的方法和系统。工作区中的对象由用户标识，并且机器人确定候选对象。反馈可以被使用以便用户确认由机器人系统确定的候选对象是否与用户预期的对象匹配。用于对象的夹持信息也可以由用户标识以训练机器人如何夹持该对象。持该对象。持该对象。

【技术实现步骤摘要】
【国外来华专利技术】用于训练机器人的方法和系统

技术介绍

[0001]本专利技术总体涉及机器人，并且更具体地，涉及定义工作区中的对象和对象上的夹持位置。
[0002]对象交互，诸如拾取和操纵，是大多数机器人任务的核心。在操作中，机器人需要知道在哪里找到感兴趣的对象以及如何处理该对象，例如在哪里以及如何夹持它。传统的机器人编程由专家使用专门的编程语言和操作系统来完成。这些工具需要深入理解机器人及其能力。因此，在常规的机器人编程中，专家的任务是定义对象的位置和/或夹持信息，通常是以相对于机器人的机器人工作区中的坐标的形式。
[0003]尽管用于机器人的对象定义和编程机器人的夹持器与对象之间的交互对于使用机器人是必要的，但是这样的任务是耗时的并且通常需要专业知识。许多机器人任务涉及对象夹持和对象的一些物理操作，例如放置和/或操纵对象。然而，机器人是通过低级命令来控制，典型地是以具体的且专门的编程语言。这种机器人编程语言通常是为专家级用户设计的。
[0004]因此，用于定义工作区对象和其上夹持位置的改进的方法和系统将是有用的。

技术实现思路

[0005]描述了一种方法和系统，用于训练机器人系统来识别工作区中的对象和用于对象的夹持信息。对象可以由用户使用触摸屏、使用工作区中的手势或使用基于语言的输入来标识。可以使用反馈以确认机器人系统已经识别出用户想要选择的对象。用户还可以训练机器人系统来识别夹持信息，该夹持信息是用户想要机器人在夹持所识别的对象时使用。本专利技术还可以包括以下书面描述或在附图中描述的任何其它方面及其任意组合。/>[0006]此外，提供了一种被配置用于由用户根据本文描述的任何方法来训练机器人系统的系统。该系统包括：确定模块，所述确定模块被配置用于由机器人系统在机器人的工作区内确定候选的对象；显示模块，所述显示模块被配置用于向用户显示候选的对象；以及身份学习模块，所述身份学习模块被配置用于接收用户的识别输入，该输入指示候选的对象是否与预期的对象匹配。此外，提供了根据本文描述的任何方法的用于由用户训练机器人系统的系统的用途。
附图说明
[0007]通过结合附图阅读以下描述可以更全面地理解本专利技术，在附图中：
[0008]图1是机器人训练系统的部件示意图；
[0009]图2是对象注册模块的示意图；以及
[0010]图3是示出了被标识的夹持位置的示意图。
具体实施方式
[0011]本文的改进的方法和系统使得能够实现直观的用于定义对象及其夹持点的人
‑
机
器人交互。定义新的对象和夹持位置对于灵活地配置用于新任务的机器人是至关重要的。所描述的方法和系统基于视觉机制并且使用改进的交互模式以用于对象教学和夹持信息定义。因此，该方法和系统使得非专家人士能够执行机器人编程的这些部分，而不需要用户以专门的机器人编程语言编写软件代码。相反，用户可以直观地与协作机器人交互以完成这样的任务。简化对象定义使得机器人自动化能够应用于高混合低容量的应用，在高混合低容量的应用中高可定制性需要机器人任务的频繁的重新配置。基于全自动机器学习技术(例如，dex
‑
net)的较新系统可以提供自动的信息定义，但是这种方法不能保证成功标识用于对象的夹持信息。因此，需要改进的解决方案来定义工作区对象和夹持信息。
[0012]改进的方法和系统使得非专家用户能够快速定义新对象、定义未知对象的夹持信息以及更一般地定义机器人夹持器的关键位置和动作。用于对象信息定义的交互模式基于机器人的视觉系统和用户交互的替代模式。用户交互可以部分地基于手势，并且可以包括被称为“杆(wand)”的专用物理设备，其在物理上和视觉上类似于典型的夹持器。通过模仿机器人夹持器，杆提供直观的类似接口，该类似接口对于用户来说易于理解。如果具有与杆相比显著不同特征的夹持器被安装在机器人上，例如夹持器具有三个或更多个的指部而杆具有两个指部，则系统可以将杆标识的夹持点转换为机器人夹持器的具体特征。杆可以通过非专家机器人编程者的手来引导，来代替实际机器人的夹持器。这种交互模式允许用户通过以与机器人使用被附接到该机器人的实际夹持器相类似的方式操纵杆来定义位置、指定对象和定义所需的夹持信息。杆可以被跟踪，并且通过机器人的视觉系统或杆内的内部惯性测量单元(IMU)来评估杆在空间中的位置和取向。杆还可以用于定义附加特性，例如施加在对象上的夹持力。通常，杆可以模拟任何类型的机器人夹持器(例如，用于自动质量检查的相机、焊接工具或螺丝刀)。
[0013]该方法和系统使用主要的基于视觉的系统以用于对象检测和定位。在一些实施例中，杆可以用于对象检测和定位。触摸显示器可以用于一些交互模式，其使能与用户的紧密的反馈循环以在屏幕上定义对象，和/或使能通过在屏幕上简单地确认或直接取消来快速校正错误地检测到的对象和所定义的对象信息。附加地，杆可以包含按钮或触摸灵敏度以便与用户进行更容易的交互。
[0014]该改进的方法和系统向机器人提供对象身份和夹持信息的交互式教学。提供了两个主要子系统，一个子系统包括对象身份学习，并且一个子系统包括对象夹持信息教学。两个子系统可以共享一些相同的组件来实现它们的功能，并且可以由公共反馈模块来补充。所描述的模块也可以单独使用，但是优选的是两个模块一起使用以提供最佳性能。
[0015]根据期望的具体交互模式(例如，用于基于语言的对象定义的语音模块)，系统可以使用多个不同的组件。如图1所示，这样的组件可以包括机器人相机系统10、对象识别单元12、对象注册接口14、视觉反馈系统16(例如，用于触摸交互和反馈系统)、手势识别单元20(图2)(例如，用于基于手指的夹持点定义)和交互工具，例如特殊的类似于夹持器的设备杆38(尽管备选方案可以是使用用户的手指36来形成夹持姿势)。
[0016]对象学习可以基于两阶段的视觉方法。首先，对象识别模块使用通用对象检测算法找到可能的候选对象。候选对象可以通过边界框来定位，并且可以是内部唯一可标识的。对象识别模块优选地在对象转换和取向改变下实际上是不变的，使得候选对象在工作区中被可靠地重新找到。即，对象识别模块能够正确地标识对象，而不管其在工作区中的位置或
取向。照明条件的变化优选地被处理到与机器人的整个工作区域实际相关的程度。候选对象可能具有共同的视觉属性，例如常见的对象分类(例如“瓶子”)、颜色(“黄色”)、表面光洁度(例如“有光泽”)和相对尺寸。
[0017]然后，对象教学涉及将名称分配给候选对象，以实现用于机器人任务中进一步交互的完整的对象检测和标识。分配名称到候选对象可以通过与用户交互而发生。如果系统需要输入具体命名的对象的位置、取向和夹持信息(例如，在用户要求机器人对指定对象执行动作之后)，则用户可能被要求以如图2所示的三种方式之一来指定对象：1)通过在触摸屏上选择；2)通过使用杆或用户手指的物理手势；或3)通过语言描述。对象学习可能导致单个的对象名称或对整个对象类别进行命名，其导致与许多这样的对象一起工作的可能性，例如一支特定的笔和所有的笔。在触摸交本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由用户训练机器人系统的方法，包括：由所述机器人系统在机器人的工作区内确定候选的对象(30)；向所述用户显示候选的所述对象(30)；以及由所述用户向所述机器人系统标识候选的所述对象(30)是否与预期的对象(30)匹配。2.根据权利要求1所述的方法，还包括：由所述用户向候选的所述对象(30)分配名称(34)；将候选的所述对象(30)的图像数据和所述名称(34)存储在所述机器人系统的存储器中；交叉引用未来候选的对象(30)与所述图像数据；以及显示所述名称(34)和对应于所述图像数据的未来候选的所述对象(30)。3.根据前述权利要求中任一项所述的方法，其中候选的所述对象(30)利用高亮或围绕候选的所述对象(30)的边界线(32)被显示在显示器屏幕(18)上。4.根据前述权利要求中任一项所述的方法，还包括由所述用户向所述机器人系统标识所述机器人的所述工作区内的包括预期的所述对象(30)的区域，其中所述机器人系统将来自所述区域的候选的所述对象(30)确定为可能对应于预期的所述对象(30)。5.根据前述权利要求中任一项所述的方法，其中候选的所述对象(30)被显示在触摸屏(18)上的所述工作区的图像内，并且所述用户通过触摸所述触摸屏(18)来标识预期的所述对象(30)。6.根据权利要求1
‑
4所述的方法，其中所述用户通过在所述工作区内做手势(20)来标识预期的所...

【专利技术属性】
技术研发人员：桑德罗，
申请(专利权)人：ABB瑞士股份有限公司，
类型：发明
国别省市：