操作引导系统技术方案

本发明专利技术提供一种操作引导系统，不管操作人员的位置如何，均能以易于理解的方式提供操作对象的动作方向。操作引导系统(101)具有：操作终端(2)，接受操作人员对机器(8)的可动部件(9)的操作指示，并检测能够接受操作指示的操作准备状态；图像传感器(31)，沿着操作人员的视线进行拍摄；位置关系推定部(321)，推定操作人员与机器(8)之间的位置关系；指引显示模型生成部(322)，若操作终端(2)检测到操作准备状态，则根据所述位置关系，在与操作人员观察到机器(8)的方向对应的方向上生成动作方向指示图像，所述动作方向指示图像表示根据操作指示而动作的可动部件(9)动作的方向；图像合成部(324)，将所述动作方向指示图像与通过图像传感器(31)拍摄到的所述可动部件的拍摄图像合成；影像输出设备(33)，显示合成图像。

【技术实现步骤摘要】
【国外来华专利技术】操作引导系统
本专利技术涉及一种对操作对象的操作进行引导的操作引导系统。
技术介绍
以往，在对包括可动部件的机器等的操作中，为了易于理解地向操作人员提示操作内容，会进行显示来引导操作。作为这样的操作引导的例子，可以举出使用增强现实(AR：AugmentedReality)技术在操作对象的图像上叠加并显示操作指导另外，专利文献1公开了一种机器人操作系统，其根据所获取的用户位置和视野信息，生成可识别地表示机器人的动作状态的线图像，将该线图像在眼镜型显示器中与用户的视野叠加显示。另外，专利文献2公开了一种头戴式显示器，其具有能够半压操作和全压操作的按压型开关，在对按压型开关进行全压操作前，显示通过半压操作选择的按压型开关的设置位置。另外，专利文献3公开了一种对具有可动部件的机器人进行远程操作的操作装置。若该操作装置检测到开关操作小于规定的操作量，则通过颜色使表示与该开关操作对应地工作的可动部件的可动部位图像能够区分于未工作的其他可动部件的可动部位图像而被识别地进行显示。现有技术文献专利文献专利文献1：日本公开专利公报“特开2017-100204号(2017年6月8日公开)”专利文献2：日本公开专利公报“特开2008-70817号(2008年3月27日公开)”专利文献3：日本公开专利公报“特开2011-161586号(2011年8月25日公开)”
技术实现思路
专利技术要解决的技术问题在使用增强现实技术的系统和专利文献1所公开的机器人操作系统中，通过确定操作人员与操作对象之间的位置关系，能够在操作对象位置、指定部位显示用于引导的信息。但是，通过操作人员基于这样的信息而执行的操作，无法在操作对象的动作之前通知操作人员操作对象是怎样移动的。另外，专利文献2所公开的头戴式显示器无法确定操作人员与操作对象之间的位置关系。操作人员与操作对象之间的位置关系不同，操作人员所观察到的操作对象的动作方向也不同。因此，该头戴式显示器无法确定并通知操作人员操作对象的动作方向。另外，专利文献3所公开的装置能够直观地显示成为操作人员的操作对象的可动部件的动作方向。但是，远程操作机器人的可动部件的操作装置配置在固定位置，所以，操作装置与机器人之间的位置关系无法反映在可动部件的动作方向上。所以，存在当操作人员不停留在固定位置操作可动部件时，难以根据操作人员的位置了解移动方向的问题。例如，当如图8(a)所示使用操作终端301操作起重机300时，如图8(b)所示，按下操作终端301的开关时的起重机300的移动方向通过文字显示在操作指导图像上。但是，操作人员观察到的起重机300的移动方向随着操作人员的位置而不同。所以，即使通常以相同状态表示起重机300的移动方向，但是，例如，如果操作人员向与起重机300相反位置移动，则对于操作人员而言操作指导图像所表示的起重机300的移动方向变为反向，难以把握操作方向。本专利技术的一个方式的目的在于，不管操作人员的位置如何，均能以易于理解的方式提供操作对象的动作方向。用于解决技术问题的手段为了解决上述课题，本专利技术的一个方式的操作引导系统是一种引导操作人员操作包括作为操作对象的可动部件的可动装置的操作引导系统，所述操作引导系统具有：操作装置，接受操作人员对所述可动部件的操作指示，并检测能够接受所述操作指示的操作准备状态；拍摄装置，拍摄位于操作人员的视线方向上的拍摄对象物；推定部，推定操作人员与所述可动装置之间的位置关系；图像生成部，若所述操作装置检测到所述操作准备状态，则根据所述位置关系，在与操作人员观察到所述可动装置的方向相对应的方向上生成动作方向指示图像，所述动作方向指示图像表示根据所述操作指示而动作的所述可动部件动作的方向；图像合成部，生成将所述动作方向指示图像与通过所述拍摄装置拍摄的所述可动部件的拍摄图像合成的合成图像；显示装置，显示所述合成图像。专利技术效果根据本专利技术的一个方式，能够不管操作人员的位置如何，均能以易于理解的方式提供操作对象的动作方向。附图说明图1是表示本专利技术的第一实施方式的操作引导系统的结构的框图。图2是表示上述操作引导系统所具有的头戴式显示器上设置的计算处理装置的结构的框图。图3是表示上述操作引导系统的动作顺序的流程图。图4(a)～图4(c)中，图4(a)是表示操作人员对被操作引导系统作为操作对象的起重机的可动部件进行操作的状态的立体图，图4(b)是通过上述操作引导系统表示包括上述可动部件的动作方向的操作指导图像的图，图4(c)是表示其他操作指导图像的图。图5(a)～(d)是表示被上述操作引导系统作为操作对象的机械手的操作指导图像的图。图6是表示本专利技术的第二实施方式的操作引导系统的结构的框图。图7是表示本专利技术的第三实施方式的操作引导系统的结构的框图。图8(a)～图8(b)中，图8(a)是表示操作人员对被以往的系统作为操作对象的起重机的可动部件进行操作的状态的立体图，图8(b)是通过上述系统表示包括上述可动部件的动作方向的操作指导图像的图。具体实施方式〔第一实施方式〕基于图11～图5对本专利技术的第一实施方式进行如下说明。图1是表示本实施方式的操作引导系统101的结构的框图。如图1所示，操作引导系统101具有机器控制装置1(控制装置)、操作终端2(操作装置)、头戴式显示器(以下，称作“HMD”)3。首先，对机器控制装置1所控制的机器8(可动装置)进行说明。机器8包括分别至少为一个的可动部件9和致动器10。可动部件9设置为能够沿规定方向在规定范围内移动。致动器10是驱动可动部件9的装置，其个数与移动可动部件9的方向(轴)的数量相对应。机器控制装置1是控制机器8(致动器10)的动作的装置。机器控制装置1具有输入部11、控制部12、输出部13。输入部11是输入来自操作终端2的信息和来自HMD3的信息的界面部分。控制部12根据从输入部11输入的信息生成用于控制机器8的机器控制信息(控制信息)。作为机器控制信息，可举出机器8的动作模式、各种设定、致动器10的当前位置、致动器10的当前角度等。输出部13是输出来自控制部12的机器控制信息的界面部分。操作终端2是用于输入操作人员操作机器8的操作指示的装置。操作终端2具有开关21和接触式传感器22。开关21是输入操作指示的按压操作型输入设备，通过操作人员的按压操作而进行打开(ON)动作。开关21输出表示已执行按压操作的开关信息。开关21的个数与操作种类相对应。开关21可以是机械式开关，也可以是由触摸面板构成的开关。由触摸面板构成的开关21可以使用在操作人员手指触碰前便能够检测该位置的悬浮检测型触摸面板。若使用这样的开关21，则可以不使用接触式传感器22。接触式传感器22设置在开关21上，通过静电容量的变化等检测操作人员的手指对开关21的触碰。接触式传感器2本文档来自技高网...

【技术保护点】
1.一种操作引导系统，引导操作人员操作包括作为操作对象的可动部件的可动装置，其特征在于，/n所述操作引导系统具有：/n操作装置，接受操作人员对所述可动部件的操作指示，并检测能够接受所述操作指示的操作准备状态；/n拍摄装置，拍摄位于操作人员的视线方向上的拍摄对象物；/n推定部，推定操作人员与所述可动装置之间的位置关系；/n图像生成部，若所述操作装置检测到所述操作准备状态，则根据所述位置关系，在与操作人员观察到所述可动装置的方向相对应的方向上生成动作方向指示图像，所述动作方向指示图像表示根据所述操作指示而动作的所述可动部件动作的方向；/n图像合成部，生成将所述动作方向指示图像与通过所述拍摄装置拍摄的所述可动装置的拍摄图像合成的合成图像；以及/n显示装置，显示所述合成图像。/n

【技术特征摘要】
【国外来华专利技术】20171128 JP 2017-2280791.一种操作引导系统，引导操作人员操作包括作为操作对象的可动部件的可动装置，其特征在于，
所述操作引导系统具有：
操作装置，接受操作人员对所述可动部件的操作指示，并检测能够接受所述操作指示的操作准备状态；
拍摄装置，拍摄位于操作人员的视线方向上的拍摄对象物；
推定部，推定操作人员与所述可动装置之间的位置关系；
图像生成部，若所述操作装置检测到所述操作准备状态，则根据所述位置关系，在与操作人员观察到所述可动装置的方向相对应的方向上生成动作方向指示图像，所述动作方向指示图像表示根据所述操作指示而动作的所述可动部件动作的方向；
图像合成部，生成将所述动作方向指示图像与通过所述拍摄装置拍摄的所述可动装置的拍摄图像合成的合成图像；以及
显示装置，显示所述合成图像。


2.根据权利要求1所述的操作引导系统，其特征在于，
所述图像生...

【专利技术属性】
技术研发人员：寺田彻，戎野聪一，岩野贤治，
申请(专利权)人：施耐德电气日本控股有限公司，
类型：发明
国别省市：日本;JP