界面控制系统、界面控制装置、界面控制方法及程序制造方法及图纸

一种界面控制系统(2000)，其包括第一标记检测单元(2020)和显示控制单元(2040)。第一标记检测单元(2020)基于从用户佩戴的照相机(20)获得的拍摄图像来检测附着到用户身体的第一标记(50)。显示控制单元(2040)基于由第一标记检测单元(2020)检测到的第一标记，将操作图像显示在用户所戴的头戴式显示器(30)的显示屏幕(32)上。显示控制单元(2040)显示操作图像，使得当以用户的眼睛观看时，看到操作图像叠加在用户的手臂部分上。

Interface control system, interface control device, interface control method and program

An interface control system (2000) consists of a first label detection unit (2020) and a display control unit (2040). The first label detection unit (2020) detects the first label (50) attached to the user's body based on the photographed image obtained from the camera (20) worn by the user. The display control unit (2040) displays the operation image on the display screen (32) of the head mounted display (30) worn by the user based on the first mark detected by the first mark detection unit (2020). The display control unit (2040) displays an operation image so that the operation image is superimposed on the user's arm portion when the user's eye is viewed.

【技术实现步骤摘要】
【国外来华专利技术】界面控制系统、界面控制装置、界面控制方法及程序
本专利技术涉及界面控制系统、界面控制装置、界面控制方法及程序。
技术介绍
作为输入界面之一，已经开发了在佩戴头戴式显示器的用户的视野中显示图像的各种界面，用户对该图像施加操作从而使用户可以执行输入。专利文献1公开了对于通过头戴式显示器在用户的视野中显示的图像，通过使用用户的移动终端来进行操作的技术。具体地，在用户的视野中显示的图像中，用户手持移动终端以使移动终端的触摸面板叠加在期望操作的图像上，并且通过对触摸面板施加操作来操作在头戴式显示器上显示的图像。专利文献2公开了通过使用显示在头戴式显示器上的虚拟键盘来执行输入的技术。专利文献2公开了一种技术，其中虚拟键盘被固定到真实空间中的物体，因此即使佩戴头戴式显示器的人的头部移动，虚拟键盘的位置也不会改变。专利文献3公开了一种技术，其中通过使用与头戴式显示器配合的平板终端，对通过头戴式显示器看到的真实空间上的物体虚拟地添加注释。专利文献4公开了一种技术，其中在用户的手掌上显示菜单屏幕，或者根据手掌的手势(例如，打开手掌的手势)改变菜单屏幕。相关文献专利文献[专利文献1]国际公开No.2014/188798[专利文献2]PCT日本翻译专利公开No.2015-504616[专利文献3]国际公开No.2014/162825[专利文献4]US专利申请公开No.2015/0016777
技术实现思路
技术问题显示在头戴式显示器的显示屏幕上的用于操作的图像(在下文中称为操作图像)优选地以用户容易处理的位置或姿势显示。关于这一点，在专利文献1的情况下，操作图像被固定到用户视野的前侧，因此当用户想要观看其他物体时阻碍了用户的观看。在专利文献2的情况下，操作图像被固定到诸如桌子之类的实际物体，因此当用户改变视线方向并观看其他地方时，不能操作该操作图像。同样在专利文献3中，以与专利文献2中相同的方式，图像(注释)被固定地分配给真实物体。专利文献4没有公开在用户移动其手的情况下随之改变操作图像的位置的技术。鉴于上述问题，已经作出本专利技术。本专利技术的一个目的是提供一种用于提高使用头戴式显示器的输入界面的便利性的技术。问题的解决方案根据本专利技术，提供了一种界面控制系统，所述界面控制系统包括：检测单元，所述检测单元基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；显示控制单元，所述显示控制单元基于由所述检测单元检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及操作检测单元，所述操作检测单元确定用户是否操作了所述操作图像。根据本专利技术，提供了一种界面控制装置，所述界面控制装置包括本专利技术的界面控制系统的各单元。根据本专利技术，界面控制方法是由计算机执行的界面控制方法。所述界面控制方法包括：检测步骤，基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；显示控制步骤，基于在所述检测步骤中检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及操作检测步骤，确定用户是否操作了所述操作图像。根据本专利技术，提供了一种程序，所述程序使计算机执行本专利技术的界面控制方法。专利技术的有益效果根据本专利技术，可以提供一种用于提高使用头戴式显示器的输入界面的便利性的技术。附图说明根据下面描述的优选实施例和以下附图，使得上述目的、其他目的、特征和优势更加清楚。图1是示出了根据示例实施例1的界面控制系统的框图。图2是示出显示第一标记的设备的图。图3示出了从用户的视野外部观看界面控制系统的使用场景的场景。图4是示出当前正在使用界面控制系统的用户的视野中映出的场景的图。图5是示出界面控制系统的使用模式的另一示例的图。图6是示出了还包括第二显示控制单元的界面控制系统的框图。图7是示出实现界面控制系统的计算机的硬件结构的框图。图8是示出由示例实施例1的界面控制系统执行的处理的流程的流程图。图9是示出基于第一标记确定的坐标系的图。图10是示出坐标系与操作图像的姿势之间的对应关系的图。图11是示出坐标系中的操作图像的位置的图。图12是示出操作图像的例子的图。图13是以表的形式示出表示第一标记与操作图像之间的对应关系的信息的图。图14是示出了根据示例实施例2的界面控制系统的框图。图15是以表的形式示出关于第一标记的信息的图。图16是示出在显示屏幕上显示的第二标记的图。图17是示出在用户的视野中第一标记和第二标记彼此重叠的情况下显示操作图像的场景的图。图18是示出由示例实施例2的界面控制系统根据上述方法1执行的处理的流程的流程图。图19是示出由示例实施例2的界面控制系统根据上述方法2执行的处理的流程的流程图。图20是示出了根据示例实施例4的界面控制系统的框图。图21是示出作为检测对象的由手指和手背的一部分形成的形状的图。图22是示出在轻击操作图像的情况下第一标记被改变的场景的图。图23是示出第一标记位于用户的左臂部分的情况下的检测区域的图。图24是示出操作了描绘选择按钮的操作图像的场景的图。图25是示出俯视观察时的、操作了描绘键盘的操作图像的场景的图。图26是示出使用操作点来确定操作对象的场景的图。图27是示出描绘键盘的操作图像的按键的仅一部分叠加在手臂部分上的场景的图。图28是示出显示与第一标记对应的操作对象的场景的图。图29是示出显示与第一标记对应的操作对象的场景的图。图30是示出在手的图像未与操作图像组合的情况下，俯视观察包括在用户视野中的操作图像以及操作操作图像的用户的手的图。图31是示出在手的图像与操作图像组合的情况下，俯视观察包括在用户视野中的操作图像以及操作操作图像的用户的手的图。图32是示出了根据示例实施例7的界面控制系统的框图。图33是示出在显示屏幕上显示的向导图像的第一个图。图34是示出在显示屏幕上显示的向导图像的第二个图。图35是表示操作体的色调范围的第一个图。图36是表示操作体的色调范围的第二个图。图37是示出向导图像的图。具体实施方式在下文中，将参照附图描述本专利技术的示例实施例。在所有附图中，相同的组成元件被赋予相同的附图标记，并且适当地不重复其描述。[示例实施例1]图1是示出了根据示例实施例1的界面控制系统2000的框图。在图1中，每个方框不表示硬件单元中的结构，而是表示功能单元中的结构。界面控制系统2000包括第一标记检测单元2020和显示控制单元2040。第一标记检测单元2020基于从用户佩戴的照相机获得的拍摄图像来检测附着到用户身体的第一标记。这里，“用户佩戴的照相机”可以是直接安装在用户身体上的照相机，或者可以是安装在用户佩戴的任何物体上的照相机。另外，“第一标记附着到用户身体”这样的表述一般包括第一标记位于用户身体上的状态，并不仅限于第一标记固定于用户身体的状态。第一标记50是至少可以在拍摄的图像中确定其位置的任何标记。例如，第一标记50是可用于确定三维坐标系的标记。可用于确定三维坐标系的标记例如是增强现实(AR)标记。然而，可用于确定三维坐标系的标记不限于AR标记，只要与参考方向无关地总是获得从某个参考点出发的彼此正交的三个方向即可。第一标记可以附着到用户身体的任何位置。例如，第一本文档来自技高网...

【技术保护点】
一种界面控制系统，包括：检测单元，所述检测单元基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；显示控制单元，所述显示控制单元基于由所述检测单元检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及操作检测单元，所述操作检测单元确定用户是否操作了所述操作图像。

【技术特征摘要】
【国外来华专利技术】2015.05.21 JP 2015-1039051.一种界面控制系统，包括：检测单元，所述检测单元基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；显示控制单元，所述显示控制单元基于由所述检测单元检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及操作检测单元，所述操作检测单元确定用户是否操作了所述操作图像。2.根据权利要求1所述的界面控制系统，其中所述检测单元通过检测所述第一标记来确定所述第一标记的位置、大小或姿势，以及其中所述显示控制单元基于由所述检测单元确定的所述第一标记的位置、大小或姿势，来确定所述头戴式显示器的所述显示屏幕中的所述操作图像的位置、大小或姿势。3.根据权利要求1或2所述的界面控制系统，其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像。4.根据权利要求1至3中任一项所述的界面控制系统，其中所述显示控制单元基于从所述照相机获得的图像中拍摄的第一标记的类型来确定要显示的操作图像。5.根据权利要求3所述的界面控制系统，还包括：第二显示控制单元，所述第二显示控制单元响应于对所述设备的用户操作，改变在所述设备的所述显示屏幕上显示的第一标记的类型，其中所述检测单元确定从获自所述照相机的图像检测到的第一标记的类型，以及其中所述显示控制单元将当前显示的操作图像改变为与所确定的第一标记的类型对应的操作图像。6.根据权利要求1至5中任一项所述的界面控制系统，其中所述显示控制单元基于用户对所述操作图像执行的操作，来改变要显示的操作图像。7.根据权利要求1至6中任一项所述的界面控制系统，其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像，以及其中所述界面控制系统还包括：第一标记确定单元，所述第一标记确定单元提取从所述照相机获得的图像中的背景的特征，并且基于所提取的特征，确定在所述设备的所述显示屏幕上显示的所述第一标记的形状、图案或颜色。8.根据权利要求1至7中任一项所述的界面控制系统，其中所述显示控制单元执行：在所述头戴式显示器的所述显示屏幕上显示第二标记；以及在所述第二标记与用户通过所述头戴式显示器视觉识别的所述第一标记之间的位置关系成为预定位置关系的情况下显示所述操作图像。9.根据权利要求8所述的界面控制系统，其中所述检测单元从与所述第二标记对应的部分区域中检测所述第一标记，所述第二标记显示在所述头戴式显示器的所述显示屏幕上的部分预定位置处。10.根据权利要求1至9中任一项所述的界...

【专利技术属性】
技术研发人员：则枝真，吉本诚，才田好则，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本,JP