用于控制显示的系统和方法技术方案

提供了信息处理设备和由信息处理设备执行的方法。该信息处理设备包括控制单元，该控制单元被配置成：获取由图像捕获单元捕获的图像数据；基于在图像数据中检测到的对象来获取内容和与所述内容相对应的显示位置信息，该显示位置信息指示所述内容相对于所述对象的显示位置；确定所述内容是否能够以叠加的方式在所述图像数据上显示在由显示位置信息指示的显示位置处；以及在确定所述内容不能显示在由显示位置信息指示的位置处时指示要输出的告警。

【技术实现步骤摘要】

本文所讨论的实施方式涉及用于以在图像数据上叠加另外的图像数据的方式来显示该图像数据的技术。
技术介绍
下述增强现实(AR)技术是已知的:在该技术中，当在显示器上显示现实世界对象的图像时，使现实世界中不存在的内容以叠加的方式显示在显示器上所显示的图像上，使得提供该内容看起来好像存在于现实世界中的组合图像。在下文中，该内容被称为“AR内容”。观看组合图像的用户可以获取被显示为AR内容的信息，并且可以捕捉到与该用户直接观看和认识现实世界时相比更多的信息。要指出的是，AR内容有时是通过使用其形状和颜色来使自身表示独特意义的图像数据，而有时是包括文本数据的图像数据。AR包括被称为基于位置的AR的技术和被称为基于视觉的AR的技术。基于位置的AR从全球定位系统(GPS)传感器等获取配备有相机的终端的位置信息和关于该终端的方位的信息，并且根据该位置信息和该方位信息来确定要以叠加的方式进行显示的AR内容的细节和要以此方式进行显示的AR内容的位置。基于视觉的AR对从相机获取的图像数据执行对象识别和空间感知。在识别到图像数据为捕获有特定对象的图像的数据时，基于视觉的AR根据空间感知结果以叠加的方式显示与该特定对象相对应的AR内容(例如，日本公开特许公报第2002-092647号和日本公开特许公报第2004-048674号)。要指出的是，其中标记为要识别的对象的AR有时被称为“基于视觉的标记式AR”，而其中除标记之外的对象为要识别的对象的AR有时被称为“基于视觉的无标记式AR”。另外，下述技术是已知的:在该技术中，对于包括基于视觉的AR功能的游戏机，当包含在游戏机中的成像设备捕获到标记的图像时，在游戏机的显示器上显示用于菜单选择的选择对象(例如日本公开特许公报第2012-068984号)。此外，当用户使游戏机倾斜并且成像设备的成像方向因此与选择对象的冲突区域交叉时，游戏机确定该选择对象已被选择。
技术实现思路
技术问题配备有基于视觉的AR技术的计算机对图像数据执行对象识别处理。如果识别到特定对象，则计算机执行用于使AR内容以叠加的方式显示在图像数据上的显示控制处理。在显示控制处理中，计算机通过对从相机获取的图像数据执行对象识别和空间感知来估计要识别的对象与相机之间的位置关系。对于AR内容，相对于要识别的对象的位置关系(布置位置和布置姿势)是预先确定的。因此，通过使用以上估计的相机与要识别的对象之间的位置关系来确定相机与AR内容之间的位置关系。此处，根据现有技术，当在作为要识别的对象的特定对象呈现在图像中的假定下执行显示控制处理时，在一些情况下不会显示正常要以叠加的方式与特定对象相对应地进行显示的AR内容。对此的一个示例为通过以AR方式显示指示具体工作的AR内容来提供对工作的支持的系统。利用该系统的工作者在显示器上所显示的组合图像中识别出给出关于具体工作的指令的AR内容，并且该工作者根据该指令执行具体工作。然而，如果AR内容未显示在显示器上所示的组合图像中，则工作者当然不可能获取AR内容的信息。也就是说，工作者不可能认识到其必须执行与通过AR内容给出的指令相关的工作。因此，本公开内容的目的是确定AR技术中AR内容实际上是否显示在显示器上并且报告未显示在显示器上的AR内容的存在性。问题的解决方案根据本专利技术的一个方面，一种信息处理设备包括控制单元，所述控制单元被配置成:获取由图像捕获单元捕获的图像数据；基于在所述图像数据中检测到的对象来获取内容和与所述内容相对应的显示位置信息，所述显示位置信息指示所述内容相对于所述对象的显示位置；确定所述内容是否能够以叠加的方式在所述图像数据上显示在由所述显示位置信息指示的显示位置处；以及在确定所述内容不能显示在由所述显示位置信息指示的位置处时指示要输出的告警。【附图说明】图1示出了相机坐标系与标记坐标系之间的关系；图2示出了 AR内容的示例；图3描绘了从标记坐标系到相机坐标系的变换矩阵T以及变换矩阵T中的旋转矩阵R;图4描绘了旋转矩阵R1、R2和R3 ;图5是从一个视点看到的现实世界的概念性图示；图6是从另一视点看到的现实世界的概念性图示；图7是基于由用户110捕获的图像的AR显不的概念性图不；图8是基于由用户120捕获的图像的AR显示的概念性图示；图9是根据每个实施方式的系统配置图；图10是信息处理设备I的功能框图；图11示出了存储AR内容信息的数据表的配置的示例；图12示出了存储模板信息的数据表的配置的示例；图13是根据第一实施方式的显示控制处理的流程图(I);图14是根据第一实施方式的显示控制处理的流程图(2);图15是用于报告不能以叠加的方式进行显示的AR内容的屏幕的概念性图示；图16是用于报告不能以叠加的方式进行显示的AR内容的另一屏幕的概念性图示;图17是在显示器上显示由用户110捕获的图像时的屏幕的概念性图示；图18是在显示器上显示由用户120捕获的图像时的屏幕的概念性图示；图19是根据第二实施方式的信息处理设备20的功能框图；图20描绘了在式3中使用的决定因子；图21是根据第二实施方式的显示控制处理的流程图(I);图22是根据第二实施方式的显示控制处理的流程图(2);图23示出了实施方式中的每个实施方式的信息处理设备的硬件配置的示例；图24示出了在计算机上操作的程序的配置的示例；以及图25是管理设备的硬件配置的示例。【具体实施方式】在下文中，将对本公开内容的详细实施方式进行描述。要指出的是，只要在处理细节之间不出现矛盾，以下描述的实施方式可以适当地进行组合。作为开始，将对基于视觉的AR技术进行描述。要指出的是，特别地，下面将给出使用标记的基于视觉的标记式AR的示例。然而，在实施方式中公开的技术可以应用于基于视觉的无标记式AR。在此情况下，在对象识别处理中，预先准备定义要识别的对象的形状的字典。通过使用该字典，对图像数据执行对象识别处理。首先，对以相机为中心的相机坐标系与以标记为中心的标记坐标系之间的关系进行描述。图1是示出相机坐标系与标记坐标系之间的关系的图。要指出的是，标记为例如具有独特形状的、印刷在附接至建筑物中的墙壁、天花板或装备等的纸上的图案。在基于视觉的标记式AR中，识别目标为标记，并且因而在图像数据中包括指示标记特有的形状的特定图像数据时识别到标记。在图1中，相机坐标系的原点为Oc (O, O, O)。相机坐标系包括三个维度(Xe，Yc，Zc)。相机坐标系的Xc-Yc平面为与相机的成像设备的面并行的面。Zc轴为与成像设备的面垂直的轴。要指出的是，原点Oc可以是实际相机的焦点，或者可以被设置在Zc方向上距相机的焦点预定距离处的位置。接下来，如图1所示，标记坐标系的原点为0m(0，O, O)。要指出的是，原点Om为标记M的中心。标记坐标系包括三个维度(Xm, Ym, Zm)。例如，标记坐标系的Xm-Ym平面为与标记M平行的面，并且Zm轴为与标记M的面垂直的轴。要指出的是，在标记坐标统中，假定与图像数据中的一个标记相对应的大小为单位坐标。相反，假定标记坐标系的原点Om在相机坐标系下由(Xlc，Ylc，Zlc)表示。通过对从相机获取的图像数据执行对象识别和空间感知来计算Om在相机坐标系下的坐标(Xlc, Ylc, Zlc) ο此处，为了执行对象识别和空本文档来自技高网...

【技术保护点】
一种信息处理设备，包括：控制单元，所述控制单元被配置成：获取由图像捕获单元捕获的图像数据，基于在所述图像数据中检测到的对象来获取内容和与所述内容相对应的显示位置信息，所述显示位置信息指示所述内容相对于所述对象的显示位置，确定所述内容是否能够以叠加的方式在所述图像数据上显示在由所述显示位置信息指示的所述显示位置处，以及在确定所述内容不能显示在由所述显示位置信息指示的位置处时指示要输出的告警。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：村上伊织，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP