具备扩展现实对应显示器的机器人系统技术方案

本发明专利技术涉及一种具备扩展现实对应显示器的机器人系统，使用扩展现实对应显示器，将实际影像或实际环境中与机器人的状态或操作指南相关的信息提供给机器人的使用者，谋求实现使用者操作的效率化。该机器人系统具备：实际机器人；控制装置，其控制实际机器人；以及影像取入显示装置，其通过有线或无线与控制装置连接，具有取入对包括实际机器人的场景进行拍摄而得到的影像并实时地进行显示的功能。使用者通过将设置在影像取入显示装置中的照相机面向实际机器人，能够对包括实际机器人的场景进行拍摄，实时取得取入了该场景的影像，能够识别进行了扩展现实化的图像。

【技术实现步骤摘要】

本专利技术涉及一种具备扩展现实对应显示器的机器人系统，在上述扩展现实对应显示器上附加了与机器人的状态对应的信息、机器人操作的导航信息。
技术介绍
在现有的机器人系统中，有使用与虚拟现实(VirtualReality:VR)相关的技术，进行机器人的状态或作业者的操作的导航的系统。但是在虚拟现实中，机器人以及机器人周围的环境的现实再现度越小，越与现实产生差异。因此在近年的机器人系统中，有使用与扩展现实(AugmentedReality:AR)相关的技术(AR对应显示器等)，进行机器人的状态显示或作业者的操作辅助(导航)的系统。例如日本特开2014-097539号公报中公开了操作者通过主从方式远程操作双足步行型机器人的步行的方法和装置，记载有操作者一边观察AR(扩展现实)影像一边移动自己的脚的情况。另外，在日本特开2014-180707号公报中公开一种机器人装置，该机器人装置具备：机器人控制部，其根据动作程序使机器人动作；机器人摄像部，其取得图像数据；数据处理部，其具有扩展现实空间数据生成部，该扩展现实空间数据生成部使用虚拟空间数据保持部以及至少图像数据和虚拟空间数据来生成扩展现实空间数据；以及显示部，其显示扩展现实空间的图像，进而还记载有虚拟空间数据包括在虚拟空间对存在于机器人的实际作业空间中的物体进行了模拟的虚拟物体的信息。在日本特开2014-097539号公报记载的专利技术中记载了通过使用AR影像，>能够稳定操作者自身的脚的位置/姿势。另外，在日本特开2014-180707号公报记载的专利技术中记载了通过使用实际机器人的图像数据和包括虚拟物体的虚拟空间数据来生成扩展现实空间数据，能够不产生机器人和周边物的干扰，从而安全且容易地实施机器人的示教作业。不过，目前关于使用扩展现实，将用数值或字符进行显示的情况为通常的与机器人的状态或导航(操作指南)相关的信息提供给操作者的情况，在日本特开2014-097539号公报和日本特开2014-180707号公报都没有提到。
技术实现思路
因此，本专利技术的目的在于提供一种机器人系统，使用扩展现实对应显示器，将机器人在实际影像或实际环境中的状态或与操作指南相关的信息提供给机器人的使用者，谋求实现使用者操作的效率化。为了达成上述目的，本专利技术提供一种机器人系统，其具有：机器人；控制装置，其控制上述机器人；影像取入显示装置，其与上述控制装置连接，具有将包括上述机器人的场景的影像取入后实时进行显示的功能；以及测量部，其根据包括上述机器人的场景的影像，测量上述影像取入显示装置和上述机器人之间的相对位置角度，上述影像取入显示装置具有显示器，该显示器根据通过上述测量部测量出的相对位置角度，针对实时显示在上述影像取入显示装置中的影像，重叠显示视觉地表示上述机器人的状态或操作指南的附加信息。在优选的实施方式中，上述影像取入显示装置具备显示现实的场景的视频图像的显示器，针对上述视频图像中包括的上述机器人的实际影像重叠显示上述附加信息。在优选的实施方式中，上述影像取入显示装置具备透过现实的场景进行显示的显示器，针对在上述显示器上透过显示的上述机器人的实际影像重叠显示上述附加信息。在优选的实施方式中，上述影像取入显示装置是与上述控制装置连接的示教操作盘。上述附加信息例如是表示通过手动操作上述机器人有可能动作的方向的图像。上述附加信息例如是通过上述机器人的速度倍率的当前值所对应的发光强度进行显示的发光显示。上述附加信息例如是搭载到上述机器人上的设备中检测出异常的设备的发光显示。附图说明通过边参照附图边说明以下的优选实施方式，能够更加明确本专利技术的上述或其他目的、特征以及优点。图1是表示本专利技术第一实施方式的机器人系统的概略结构的图。图2是表示本专利技术的机器人系统的处理的一例的流程图。图3是表示本专利技术第二实施方式的机器人系统的概略结构的图。图4是表示在AR对应显示器中用于重叠图像的具体单元的一例的图。图5是表示在AR对应显示器中用于重叠图像的具体单元的其他例子的图。图6是表示本专利技术第三实施方式的机器人系统的概略结构的图。图7是表示通过扩展现实处理而得到的图像的具体例子的图。图8是表示通过扩展现实处理而得到的图像的其他具体例子的图。图9是表示通过扩展现实处理而得到的图像的进一步其他具体例子的图。具体实施方式图1是表示本专利技术第一实施方式的机器人系统10的概略结构的图。机器人系统10具有：实机机器人(实际机器人)12；机器人控制装置(以后也简单地称为控制装置)14，其控制实际机器人12；影像取入显示装置(扩展现实(AR)对应显示器)16，其通过有线或无线与控制装置14连接，具有取入对包括实际机器人12的场景进行拍摄得到的影像(图像)后实时地进行显示的功能。另外，在以下说明的实施方式中，本专利技术的影像取入显示装置以及测量部的功能由AR对应显示器16或后述的示教操作盘42所具备，不过也能够使其他单元具备这些功能的一部分。在图1的例子中，影像取入显示装置16图示为使用者18能够安装的头戴式显示器。使用者18使设置在头戴式显示器16上的照相机20面向实际机器人12，从而能够拍摄包括实际机器人12的场景，实时取得(捕捉)该场景的影像，能够经由显示部22(显示器)识别后述的被扩展现实化了的图像26。接着，参照图2的流程图说明关于机器人系统10的处理。首先，通过内置有计算机和存储器的AR对应显示器16拍摄(捕捉)包括实际机器人12的实际环境(场景)。在正确地捕捉到实际机器人12的图像的情况下(步骤S1)，从预先记录在AR对应显示器16中的多个机器人的图像模型24(参照图1)检测(匹配)距离通过AR对应显示器16捕捉到的实际机器人12的图像最近的图像模型。在图1的例子中，检测(选择)出AR对应显示器16中存储的多个图形模型24a～24z中距离实际机器人12的摄像图像最近的图像模型24a。接着，使用AR对应显示器16测量实际机器人12相对AR对应显示器16(的照相机20)的相对位置以及角度(以后称为相对位置角度)(步骤S2)。具体地说，如图1所示，预先将表示针对AR对应显示器16的机器人的代表点(例如工具前端点)位置和姿势的值(相对位置角度)与多个图像模型分别关联，将与检测出的图像模型24a关联的相对位置角度作为AR对应显示器16和实际机器人12的相对位置角度进行测量。另外，在图示例中，实际机器人...

【技术保护点】
一种机器人系统，其特征在于，具备：机器人；控制装置，其控制上述机器人；影像取入显示装置，其与上述控制装置连接，具有取入包括上述机器人的场景的影像后实时进行显示的功能；以及测量部，其根据包括上述机器人的场景的影像，测量上述影像取入显示装置和上述机器人之间的相对位置角度，上述影像取入显示装置具有：显示器，其根据上述测量部测量到的相对位置角度，针对在上述影像取入显示装置中实时显示的影像，重叠显示用于视觉地表示上述机器人的状态或操作指南的附加信息。

【技术特征摘要】
2014.12.08 JP 2014-2481271.一种机器人系统，其特征在于，具备：
机器人；
控制装置，其控制上述机器人；
影像取入显示装置，其与上述控制装置连接，具有取入包括上述机器人的
场景的影像后实时进行显示的功能；以及
测量部，其根据包括上述机器人的场景的影像，测量上述影像取入显示装
置和上述机器人之间的相对位置角度，
上述影像取入显示装置具有：显示器，其根据上述测量部测量到的相对位
置角度，针对在上述影像取入显示装置中实时显示的影像，重叠显示用于视觉
地表示上述机器人的状态或操作指南的附加信息。
2.根据权利要求1所述的机器人系统，其特征在于，
上述影像取入显示装置具备用于显示现实的场景的视频图像的显示器，针
对上述视频图像中包括的上述机器人的实际影像重叠显示上...

【专利技术属性】
技术研发人员：加茂井敏晃，稻叶豪，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本;JP