头戴式显示器、头戴式显示器协作系统及其方法技术方案

本发明专利技术提供一种头戴式显示器、头戴式显示器协作系统及其方法。头戴式显示器具备：佩戴体；显示器；通信模块，在与便携信息终端之间通信连接；视觉辨认区域检测传感器，输出用于判断经由佩戴体的使用者的视觉辨认区域中是否包括便携信息终端的状态数据；以及控制装置，与显示器、通信模块及视觉辨认区域检测传感器的每一个连接，控制装置根据状态数据判断使用者的视觉辨认区域中是否包括便携信息终端，对显示器进行显示控制以使得：在判断为视觉辨认区域中未包括便携信息终端的情况下，在显示器中显示便携信息终端的APP画面；在判断为视觉辨认区域中包括便携信息终端的情况下，在显示器中不显示APP画面。器中不显示APP画面。器中不显示APP画面。

【技术实现步骤摘要】
头戴式显示器、头戴式显示器协作系统及其方法
[0001]本申请是分案申请，其母案申请的申请日为2018年06月25日，国际申请号为PCT/JP2018/024066，进入中国国家阶段的申请号为201880091020.0，专利技术名称为“头戴式显示器、头戴式显示器协作系统及其方法”。


[0002]本专利技术涉及头戴式显示器(以下简记为“HMD”)的显示技术。

技术介绍

[0003]作为本
的
技术介绍
，专利文献1中公开了“根据从头戴式显示器取得的照相机图像、和头戴式显示器的佩戴者对照相机图像的注视点，计算佩戴者的注视点相对一次信息的位置信息，选择与该位置信息关联的二次信息并显示，并且，在佩戴者观察一次信息的情况下和佩戴者未观察一次信息的情况下，变更所显示的二次信息的显示方法(摘要摘录)”的系统。
[0004]另外，专利文献2中公开了“使用者能够视觉辨认虚像和外景的头部佩戴型显示装置具备：生成部，生成包括第1图像和头部佩戴型显示装置具有的第2图像的一览图像，该第1图像是与头部佩戴型显示装置连接的外部装置的显示图像；以及图像显示部，形成表示生成的一览图像的虚像(摘要摘录)”的系统。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1：国际公开第2017/104089号
[0008]专利文献2：日本特开2015
‑
222891号公报

技术实现思路

[0009]在专利文献1、2中，在HMD和外部显示装置进行通信连接后，在HMD中共享显示图像。因此，当在具有通信功能的便携信息终端以及HMD中应用上述现有技术的情况下，在确立了HMD和便携信息终端之间的链接时，便携信息终端的显示画面显示于HMD，所以即使在用户不期望时或不需要时，有时便携信息终端的画面也显示于HMD，存在利用上的不便。
[0010]本专利技术是鉴于上述实际情况而完成的，其目的在于提供一种在对于用户有用的定时将便携信息终端的画面显示于HMD、操作性良好的HMD与便携信息终端的协作技术。
[0011]为了解决上述课题，本专利技术具备权利要求书记载的结构。若例举其一个例子，提供一种头戴式显示器，其特征在于，具备：佩戴体，佩戴在使用者的头部；显示器，设置于所述佩戴体的所述使用者的眼睛前的位置；通信模块，在与便携信息终端之间进行通信连接；视觉辨认区域检测传感器，输出状态数据，该状态数据用于判断在经由所述佩戴体的所述使用者的视觉辨认区域中是否包括所述便携信息终端；以及控制装置，与所述显示器、所述通信模块以及所述视觉辨认区域检测传感器的每一个连接，所述控制装置根据所述状态数据判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端，并对所述显示器进行显
示控制以使得：在判断为在所述视觉辨认区域中未包括所述便携信息终端的情况下，在所述显示器中显示APP画面，所述APP画面显示由所述便携信息终端执行的实现特定的功能的应用软件的执行状态；在判断为在所述视觉辨认区域中包括所述便携信息终端的情况下，在所述显示器中不显示所述APP画面。
[0012]根据本专利技术，能够提供在对于用户有用的定时将便携信息终端的画面显示于HMD、操作性良好的HMD与便携信息终端的协作技术。此外，通过以下的实施方式的说明进一步明确上述以外的课题、结构以及效果。
附图说明
[0013]图1是HMD协作系统的概要结构图。
[0014]图2是HMD的硬件结构图。
[0015]图3是HMD的软件结构图。
[0016]图4是便携信息终端的硬件结构图。
[0017]图5是便携信息终端的软件结构图。
[0018]图6是示出第1实施方式中的HMD协作系统的序列例子的图。
[0019]图7是示出第1实施方式的APP画面显示控制处理的流程的流程图。
[0020]图8是示出视觉辨认区域和便携信息终端的位置关系(APP画面不显示)的图。
[0021]图9是示出APP画面不显示时的经由显示器的情景的图。
[0022]图10是示出视觉辨认区域和便携信息终端的位置关系(APP画面显示)的图。
[0023]图11是示出APP画面显示时的经由显示器的情景的图。
[0024]图12是示出第2实施方式的APP画面显示开始条件的变化的图。
[0025]图13是示出出镜(frame out)后的再显示位置的图。
[0026]图14是示出第4实施方式中的HMD协作系统的序列例子的图。
[0027]图15是示出HMD的画面迁移的图。
[0028](符号说明)
[0029]1：佩戴体；2：显示器；3：外侧照相机；4：内侧照相机；5：HMD控制装置；10：HMD；80：便携信息终端；100：HMD协作系统。
具体实施方式
[0030]以下，使用附图说明本专利技术的实施方式。在全部附图中，对同一结构附加同一符号而省略重复说明。
[0031]<第1实施方式>
[0032]第1实施方式是如下方式：对HMD和作为便携信息终端的智能手机进行通信连接，在便携信息终端未进入到佩戴HMD的使用者的视觉辨认区域的情况下，将便携信息终端的APP画面显示于HMD。此处所称的“APP画面”是指，显示有在便携信息终端上执行的应用软件的执行状态的画面。
[0033]图1是HMD协作系统100的概要结构图。HMD协作系统100构成为对HMD10和便携信息终端80进行无线通信连接。作为便携信息终端80图示出智能手机，也可以是平板终端、智能手表，只要是可便携的图像显示装置，则其种类没有限制。
[0034]HMD10主要具备佩戴体1、显示器2、外侧照相机3、内侧照相机4以及HMD控制装置5。
[0035]佩戴体1是用于维持在HMD10的使用者M(参照图8、图10)的头部佩戴HMD10的状态、保持其他HMD10的构件的部件。在图1中以眼睛镜形状图示出，但形状不限于此。
[0036]显示器2是具有透射性的液晶显示器，配置于佩戴体1的使用者M的眼睛前的位置。
[0037]在将佩戴体1的与使用者M的脸相对的一侧定义为内侧、将其相反侧定义为外侧的情况下，外侧照相机3是设置于佩戴体1的前表面外侧的搭载有CCD或CMOS的照相机。外侧照相机3以在视角中包含使用者M的视觉辨认区域的位置以及朝向，设置于佩戴体1。
[0038]内侧照相机4是在佩戴体1的内侧以能够拍摄使用者M的眼睛的活动的位置以及朝向设置的搭载有CCD或CMOS的照相机。
[0039]HMD控制装置5使用处理器、电路来构成，该处理器、电路进行与便携信息终端80的通信控制以及向显示器2的显示控制。在本实施方式中，以使用通用的计算机来执行用于实现本实施方式的HMD协作方法的功能的软件的结构为例子进行说明。
[0040]图2是HMD10的硬件结构图。
[0041]如图2所示，HMD10构成为通过系统总线本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头戴式显示器，其特征在于，具备：显示器，设置于使用者的眼前的位置；通信模块，在与便携信息终端之间进行通信连接；视觉辨认区域检测传感器，输出状态数据，该状态数据用于判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端；以及控制装置，所述控制装置根据所述状态数据判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端，并且进行控制以使得：在判断为在所述视觉辨认区域中不包括所述便携信息终端的情况下，在所述显示器中显示所述便携信息终端的显示画面图像；在判断为在所述视觉辨认区域中包括所述便携信息终端的情况下，结束所述显示画面图像的显示，并且存储在所述显示器中显示过所述显示画面图像的结束位置；在判断为在所述视觉辨认区域中不再包括所述便携信息终端的情况下，在所存储的所述结束位置再次开始所述显示画面图像的显示。2.根据权利要求1所述的头戴式显示器，其特征在于，所述显示画面图像是所述便携信息终端的显示画面的捕捉图像。3.根据权利要求1所述的头戴式显示器，其特征在于，所述控制装置控制所述通信模块，以使得定期地接收所述捕捉图像。4.根据权利要求1所述的头戴式显示器，其特征在于，所述显示画面图像是显示由所述便携信息终端执行的用于实现特定的功能的应用程序的执行状态的APP图像。5.根据权利要求4所述的头戴式显示器，其特征在于，所述应用程序是地图导航应用程序，所述结束位置是偏离所述显示部的中心的位置。6.根据权利要求1所述的头戴式显示器，其特征在于，所述控制装置控制所述通信模块，以使得在所述显示器中显示所述显示画面图像的情况下，向所述便携信息终端发送将所述显示画面设为非显示的控制信号。7.根据权利要求1所述的头戴式显示器，其特征在于，所述控制装置进行控制，以使得以与所述便携信息终端的显示画面的分辨率不同的分辨率显示所述显示画面图像。8.根据权利要求1所述的头戴式显示器，其特征在于，所述头戴式显示器具备照相机以及存储部，将利用所述照相机拍摄到的所述便携信息终端的数据存储于所述存储部中，所述控制装置使用所述存储部中存储的数据，判断所述被摄体是否是...

【专利技术属性】
技术研发人员：渡边光信，桥本康宣，川前治，益冈信夫，吉泽和彦，清水宏，
申请(专利权)人：麦克赛尔株式会社，
类型：发明
国别省市：