借助相机选择设备或对象制造技术

本发明专利技术涉及一种借助便携式终端设备操控操纵器系统的方法，一种相应的便携式终端设备以及一种机器人系统。在此，该便携式终端设备包括3D相机，该3D相机优选是全光相机。在此，根据本发明专利技术的方法还包括借助便携式终端设备的3D相机从待操控的操纵器系统的至少一个部分起检测三维图像，并识别该操纵器系统的至少一个可操控的对象。

【技术实现步骤摘要】

本专利技术涉及一种借助便携式终端设备选择和操控操纵器系统的方法，本专利技术还涉及一种相应的便携式终端设备以及一种操纵器系统。
技术介绍
操纵器、特别是工业机器人是可自由编程的程控操作设备。这种操纵器可以由多个可移动的、彼此链接的节肢或轴组成，由此定义了运动学链(kinematische Kette)。为了能够使用操纵器，通常必须将其投入运行中并为其编程。在调试阶段将产生用于此后对操纵器程序进行编程的前提条件。另外，例如在调试时还将校准操纵器，使操纵器的末端执行器或工具(例如夹持器)参数化，调准移动平台的一个或多个激光扫描仪，定义操纵器的工作和禁止区域，使受机器人引导的或静止的相机参数化，或者还定义坐标系，例如基本坐标系。在创建操纵器程序的过程中，可以形成各种针对设备和/或对象应用的不同指令并以所期望的顺序排列。在此例如可以定义为，操纵器应当以一定的方式在起始点和目标点之间行进，可移动平台应当沿着一定的轨迹运动，末端执行器应当执行所期望的操作，或者应当通过照相机来拍摄图像等。对操纵器的调试或编程经常在现场借助于便携式终端设备进行。为了构建待执行的任务和/或操纵器的可控制的对象，操作设备的操作面通常采用树形结构/或菜单结构。在此，这种结构可以表现为不同的，并且例如针对功能或者针对对象或设备来划分。当然，这种树形结构的使用在大多数情况下是不明显的，因为通常必须描绘或提供较大数量的设备、对象和/或任务。因此对于使用者想要执行的各种任务而言，按照正确的菜单点进行搜寻经常表现为很艰难：使用者或操作者必须费力地根据树形结构来确定方位，直至其找到合适的元件。
技术实现思路
因此，本专利技术的目的在于提出一种方法，利用该方法能够简单且直观地选择操纵器控制任务。在此，本专利技术的目的特别是在于提出一种能够在无需较大成本的情况下直接操控操纵器或机器人的方法。此外，本专利技术的目的还在于提出一种操作设备和一种操纵器系统，利用该操作设备和操纵器系统可以操控操纵器，在此至少部分地排除了前述的缺点。该目的和在以下的说明书中所见的其他目的通过一种借助便携式终端设备操控操纵器系统的方法来实现。本专利技术的一个方面包括一种借助便携式终端设备操控操纵器系统的方法。在此，操纵器系统可以包括多个操纵器或者说机器人，例如安装在无人驾驶自主运输车辆上的关节臂机器人。便携式终端设备例如也可以是机器人操作设备，或者也可以是移动消费设备(例如平板电脑、智能手机、智能手表等)。在任何情况下，优选便携式终端设备包括相机，该相机使得能够检测主题的图像。特别优选相机是3D相机，其能够检测主题的三维图像。根据本专利技术的方法包括：借助便携式终端设备的相机检测待操控的操纵器系统的至少一个部分的图像。例如可以检测操纵器系统的机器人臂，或者例如检测应当受到操控的夹持器。优选检测操纵器系统的应当受到操控的那一部分的图像。此外，该方法还包括：基于检测到的图像来确定操纵器系统的特征。在此，操纵器系统的这些特征或者属性对于操纵器系统而言是非常有代表性的，从而能够借助所确定的特征来反映(识别)操纵器系统。此外，该方法还包括：基于所确定的特征识别操纵器系统的至少一个可操控的对象，以及对操纵器系统进行操控。由此，可以借助所确定的特征来识别可操控的对象(例如操纵器的夹持器)。因此，根据本专利技术的方法允许在例如建立应用任务的各个阶段中，直观地选择并操控所需要的操纵器系统的设备或对象，以便例如使对象被参数化、行动、诊断等。在此，不需要艰难地搜寻菜单树和/或指令列表。便携式终端设备的使用者仅仅必须借助相机来检测图像，由此能够自动地识别操纵器系统的一个或多个可操控的对象。在此，用户可以有利地相对于操纵器系统处于任何位置和方向，并在任何时间通过例如激活相机来获取操纵器系统
的操纵器或者对象或设备的与背景相关或无关的功能或信息。优选相机是3D相机，并且借助于该3D相机检测的图像是三维图像。此外，在此使用3D相机的优点在于，使得便携式终端设备的操作者也可以相对于待操控的操纵器系统位于较远的(并因此更安全的)距离上。有利的是仅仅必须检测一个图像，因为所产生的三维图像包含有足够的信息来实施根据本专利技术的方法。根据本专利技术的方法还包括：提供待操控的操纵器系统的参考数据组。特别优选这种数据组的提供可以包括借助便携式终端设备示教操纵器系统的至少可操控的对象。例如，用户可以在学习模式下示教操纵器系统的一个或所有的设备或对象。在此，例如可以借助3D相机从多个方向对各个设备或对象成像，并根据该成像定义各个设备或对象。该参考数据组用于随后识别待操控的操纵器系统或者说该系统的对象。此外，优选确定操纵器系统的特征还包括执行图像识别过程，该图像识别过程是基于所检测到的三维图像和优选提供的参考数据组来识别特征。因此，例如可以通过将三维图像与所提供的参考数据组进行比较来识别也包含在三维图像中的特征。例如，该特征可以是夹持器的有代表性的一部分夹持器。由此可以在操作成本不高的情况下操控操纵器系统。优选便携式终端设备包括显示装置，该显示装置又优选包括触摸板。在此，这种触摸板(或者触摸屏、触摸显示器、对接触灵敏的屏幕或接触屏幕)可以是输入和输出设备的组合，操作人员可以通过对部分触摸板或屏幕的接触实现与它们的互动。此外，优选该方法还包括：在便携式终端设备的显示装置上显示所检测到的三维图像。由此使得便携式终端设备的使用者能够立即看到至少一部分待操控操纵器系统的图像，并且有利地确定是否检测到合适的图像，即，例如是否检测到操纵器系统的应当被操控的对象。此外，优选该方法还包括：在便携式终端设备的显示装置上显示光学标识，该光学表示指定(spezifiziert)操纵器系统的被识别的对象。由此可以在显示装置上直接看出哪个对象被识别或者说被确认。由此，能够以简单、直观的方式为使用者提供直接的反馈或直接的回应。此外，优选对操纵器系统的操控包括：由便携式终端设备的使用者来选择所识别的操纵器系统的对象。即，使用者借助便携式终端设备主动地选择
出所识别的并且优先要被操控的对象。为此，例如使用者可以在触摸板上点击已被识别的对象(例如夹持器)，并进一步优选利用相应的光学标识在显示装置(即触摸板)上标记并指定。随后，作为对点击的回应，例如夹持器可以被打开或关闭。因此，优选对所识别的操纵器系统的对象的选择包括：在便携式终端设备的显示装置上选择光学标识。即，使用者可以直接确认，所示出图像的哪一个对象能够被选择并操控。优选有操纵器系统的至少两个对象被识别，并在便携式终端设备的显示装置上显示至少两个光学标识，在此，每个光学标识指定操纵器系统的一个被识别出的对象。由此，操纵器系统具有至少两个可操控的对象，并且使用者可以直观地直接确认其能够选择并操控哪个对象，在此有利的是无需对菜单树等实行艰难的搜寻。优选对操纵器系统的操控包括对操纵器系统的被识别的对象的操控。也就是说，能够有利地准确操控被识别的对象。例如，使用者可以为便携式终端设备如下地取向：检测对象(例如夹持器)的三维图像，对其进行识别并直接实施操控，从而例如在该夹持器打开的情况下夹持器使其闭合，反之亦然。因此对于特定的任务而言，通过这种方式可以非常直观、有效地利用操纵器系统，而不必艰难地在菜单树或指令树中确定方本文档来自技高网...

【技术保护点】
一种借助便携式终端设备(20)操控操纵器系统(10)的方法，其中，所述便携式终端设备(20)包括相机，所述方法具有以下步骤：借助所述便携式终端设备(20)的相机检测待操控的操纵器系统(10)的至少一个部分；基于所检测到的图像确定所述操纵器系统(10)的特征；基于所确定的特征来识别所述操纵器系统(10)的至少一个能操控的对象(11，12，13，14，15，16)，并且操控所述操纵器系统(10)。

【技术特征摘要】
2015.05.29 DE 102015209899.01.一种借助便携式终端设备(20)操控操纵器系统(10)的方法，其中，所述便携式终端设备(20)包括相机，所述方法具有以下步骤：借助所述便携式终端设备(20)的相机检测待操控的操纵器系统(10)的至少一个部分；基于所检测到的图像确定所述操纵器系统(10)的特征；基于所确定的特征来识别所述操纵器系统(10)的至少一个能操控的对象(11，12，13，14，15，16)，并且操控所述操纵器系统(10)。2.根据权利要求1所述的方法，还包括：提供待操控的操纵器系统(10)的参考数据组，其中，确定所述操纵器系统(10)的特征还包括执行图像识别过程，该图像识别过程基于所检测到的图像和所提供的参考数据组来识别特征。3.根据权利要求1或2所述的方法，其中，所述相机是3D相机，并且所检测到的图像是三维图像。4.根据前述权利要求中任一项所述的方法，其中，所述提供参考数据组包括借助所述便携式终端设备(20)对所述操纵器系统(10)的至少能操控的对象(11，12，13，14，15，16)进行示教。5.根据前述权利要求中任一项所述的方法，其中，所述便携式终端设备(20)包括显示装置，该显示装置优选包括触摸板(21)，并且其中，所述方法还包括：在所述便携式终端设备(20)的显示装置上显示所检测到的图像。6.根据权利要求5所述的方法，还包括：在所述便携式终端设备(20)的显示装置上显示光学标识(41，42，43，43′，44，45，46)，所述光学标识指定所述操纵器系统(10)的被识别的对象(11，12，13，14，15，16)。7.根据权利要求5或6所述的方法，其中，对所述操纵器系统(10)
\t的操控包括：由所述便携式终端设备(20)的使用者(30)来选择所述操纵器系统(10)的被识别的对象(11，12，13，14，15，16)。8.根据权利要求7所述的方法，其中，对所述操纵器系统(10)的被识别的对象(11，12，13，14，15，16)的选择包括：在所述便携式终端设备(20)的显示装置上选择所述光学标识(41，42，43，43′，44，45，46)。9.根据权利要求5至8中任一项所述的方法，其中，识别所述操纵器系统(10)...

【专利技术属性】
技术研发人员：格哈德·希藤曼，
申请(专利权)人：库卡罗伯特有限公司，
类型：发明
国别省市：德国;DE