便携终端和头戴式显示器及其协作显示系统技术方案

在将便携终端与头戴式显示器连接来协作地显示信息的协作显示系统中，便携终端在第一显示器上显示信息，并且将要显示的信息的至少一部分发送至头戴式显示器，头戴式显示器利用第二显示器分担地显示从便携终端发送的信息。此处，由便携终端显示的信息是分层级的信息，由头戴式显示器显示的信息是分层级的信息中的下层的信息。另外，利用便携终端具有的传感器检测用户处于静止中还是在移动中，在用户处于静止中的情况下，中止便携终端上的信息的显示，仅用头戴式显示器进行信息的显示。仅用头戴式显示器进行信息的显示。仅用头戴式显示器进行信息的显示。

【技术实现步骤摘要】
【国外来华专利技术】便携终端和头戴式显示器及其协作显示系统


[0001]本专利技术涉及将便携终端与头戴式显示器连接来协作地进行信息显示的技术。

技术介绍

[0002]智能手机等便携终端能够与网络连接，通过安装各种应用程序来进行各种各样的动作、进行数据的记录和再现并将其显示。另外，头戴式显示器(Head Mounted Display，以下记作HMD)是佩戴在用户的头部并在眼镜或护目镜状的显示器上显示图像的设备。HMD中搭载了摄像机、测量到物体的距离的传感器、测定位置的GPS传感器等多个传感器、进行图像处理的CPU、电池等。HMD也与便携终端同样地能够安装要使用的应用程序或进行版本升级。
[0003]进而，人们还提出了使便携终端与HMD协作的新的功能或使用方法。例如专利文献1记载了一种技术，为了容易地管理HMD要使用的应用程序(以下称为应用)，共享HMD和终端装置(便携信息终端)所显示的画面，通过操作终端装置的屏幕来从外部服务器装置向HMD分发应用。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：国际公开第2017/138153号

技术实现思路

[0007]专利技术要解决的技术问题
[0008]预计HMD的使用、应用范围会得到飞跃性的扩大。但是，HMD本来是佩戴在头部使用的，显示器上能够显示的画面的大小和处理能力、分辨率、重量等存在制约。
[0009]便携终端具有显示器大、可执行先进的处理以及记录数据等特征，实现了各种各样的使用方法，并开发了为此使用的多种应用程序。但是，因为显示屏幕较大所以存在被周围的人偷窥的可能性，从隐私的角度来看需要谨慎地使用。
[0010]上述专利文献1是将HMD与便携终端协作使用的形态的一个例子，但其只是为了进行应用获取操作而使用易于操作的便携终端进行操作，对于有效利用各设备的特征来分担功能的方面并没有充分考虑。例如，关于分层级的信息显示和隐私保护，其以在2个设备上进行同样的显示为前提，对于用户的易用性并没有特别考虑。
[0011]本专利技术的目的在于，在使便携终端与HMD协作地显示信息的情况下，有效利用各设备的特征，实现易用性良好的操作和易于观看的显示方式。
[0012]解决问题的技术手段
[0013]本专利技术为了解决上述问题采用以下方法。
[0014]本专利技术提供一种便携终端，能够与头戴式显示器连接来协作地显示信息，其包括：用于显示信息的第一显示器；保存供第一显示器显示的信息的存储器；对第一显示器的显示进行控制的第一控制部；和与头戴式显示器之间进行信息收发的第一外部设备接口，第
一控制部进行控制，以将要由第一显示器显示的信息的至少一部分从第一外部设备接口发送至头戴式显示器，利用头戴式显示器具有的第二显示器来分担地进行显示。
[0015]另外，本专利技术提供一种头戴式显示器，能够与便携终端连接，并且被佩戴在用户的头部来协作地显示信息，其包括：用于显示信息的第二显示器；对第二显示器的显示进行控制的第二控制部；和与便携终端之间进行信息收发的第二外部设备接口，第二控制部经由第二外部设备接口接收要由便携终端显示的信息的至少一部分，利用第二显示器分担地进行显示。
[0016]另外，本专利技术提供一种协作显示系统，将便携终端与头戴式显示器连接来协作地显示信息，其中，便携终端在第一显示器上显示信息，并且将要显示的信息的至少一部分发送至头戴式显示器，头戴式显示器利用第二显示器分担地显示从便携终端发送来的信息。
[0017]专利技术效果
[0018]根据本专利技术，在使便携终端与HMD协作地显示信息的情况下，能够有效利用各设备的特征，实现易用性良好的操作和易于观看的显示方式。
附图说明
[0019]图1是表示将便携终端与HMD连接得到的协作显示系统的示意图(实施例1)。
[0020]图2是表示HMD的外观的图。
[0021]图3是表示便携终端的内部结构的图。
[0022]图4是表示HMD的内部结构的图。
[0023]图5是表示在便携终端与HMD之间输入输出的数据的种类的图。
[0024]图6是表示便携终端中的操作日志的显示例的图。
[0025]图7是表示便携终端中的操作日志的其他显示例的图。
[0026]图8是表示将操作日志的详细信息分层级地显示的例子的图。
[0027]图9是表示利用便携终端和HMD分担来进行显示的例子的图。
[0028]图10是表示便携终端中的显示的变形例的图。
[0029]图11是表示便携终端的动作流程的流程图。
[0030]图12是表示HMD的动作流程的流程图。
[0031]图13是说明使用便携终端的摄像机进行的视线触控的图(实施例2)。
[0032]图14是表示由便携终端的摄像机拍摄到的用户的脸部图像的例子的图。
[0033]图15是表示使用便携终端的摄像机进行的视线触控的动作流程的流程图。
[0034]图16是说明使用HMD的摄像机进行的视线触控的图。
[0035]图17是表示由HMD的摄像机拍摄到的便携终端的图像的例子的图。
[0036]图18是表示根据由HMD的摄像机拍摄到的终端图像来求取视点位置的例子的图。
[0037]图19是表示使用HMD的摄像机进行的视线触控的动作流程的流程图。
[0038]图20是用于自动地实施防偷窥功能的结构图(实施例3)。
[0039]图21是自动地实施防偷窥功能的情况下的流程图。
[0040]图22是由用户选择实施防偷窥功能的情况下的流程图。
具体实施方式
[0041]使用附图对本专利技术的实施方式进行说明。在以下实施例中，说明将便携终端1与头戴式显示器(HMD)2连接来协作地进行显示动作的协作显示系统。
[0042]实施例1
[0043]图1是表示将便携终端1与HMD2连接得到的协作显示系统的示意图。HMD2被佩戴在用户U的头部，与便携终端1无线连接，一边收发数据和命令一边协作地进行动作。用户U能够观看便携终端1的显示器10上显示的图像，并同时观看HMD2的显示器30上显示的图像。作为此处的无线连接9，可以使用LAN(Local Area Network)，也可以使用电话网通信。另外，也可以使用近距离通信的Bluetooth(注册商标)和红外线通信部等其他通信方式，可以按照要传输的信息量相应地选择方式。
[0044]图2是表示HMD2的外观的图。用户佩戴的HMD2由显示器30、摄像机40(和麦克风)、触摸传感器37、骨传导型的耳机(声音输出部)43、CPU32、电池42等部件构成。各构成要素的详情在后文中叙述。
[0045]图3是表示便携终端1的内部结构的图。关于便携终端1例如对其是智能手机的情况进行说明，除此以外，平板终端等便携信息终端也与此相当。
[0046]显示器10显示各种各样的图像、信息，显示控制部11控制显示器10的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种便携终端，能够与头戴式显示器连接来协作地显示信息，其特征在于，包括：用于显示信息的第一显示器；保存供所述第一显示器显示的信息的存储器；对所述第一显示器的显示进行控制的第一控制部；和与所述头戴式显示器之间进行信息收发的第一外部设备接口，所述第一控制部进行控制，以将要由所述第一显示器显示的信息的至少一部分从所述第一外部设备接口发送至所述头戴式显示器，利用所述头戴式显示器具有的第二显示器来分担地进行显示。2.一种头戴式显示器，能够与便携终端连接，并且被佩戴在用户的头部来协作地显示信息，其特征在于，包括：用于显示信息的第二显示器；对所述第二显示器的显示进行控制的第二控制部；和与所述便携终端之间进行信息收发的第二外部设备接口，所述第二控制部经由所述第二外部设备接口接收要由所述便携终端显示的信息的至少一部分，利用所述第二显示器分担地进行显示。3.一种协作显示系统，将便携终端与头戴式显示器连接来协作地显示信息，其特征在于：所述便携终端在第一显示器上显示信息，并且将要显示的信息的至少一部分发送至所述头戴式显示器，所述头戴式显示器利用第二显示器分担地显示从所述便携终端发送来的信息。4.如权利要求3所述的协作显示系统，其特征在于：由所述便携终端显示的信息是分层级的信息，由所述头戴式显示器显示的信息是所述分层级的信息中的下层的信息。5.如权利要求3所述的协作显示系统，其特征在于：由所述头戴式显示器显示的信息是针对由所述便携终端所显示的信息的附加信息。6.如权利要求3...

【专利技术属性】
技术研发人员：川前治，伊藤滋行，
申请(专利权)人：麦克赛尔株式会社，
类型：发明
国别省市：