操作判定装置和操作判定方法制造方法及图纸

公开了操作判定装置和操作判定方法。提供了能够以高速且低消耗电力进行基于面部的朝向的变化的在非接触下的操作的判定的操作判定装置。一种操作判定装置将用户的面部的朝向的变化作为针对显示图像的在非接触下的操作来进行判定，所述操作判定装置具有：取得拍摄有用户的面部的拍摄图像的图像取得部；以及对拍摄图像进行图像处理来检测用户的面部的朝向的图像处理部。图像处理部包括：检测在拍摄图像内的用户的面部的一部分的第1处理部；以及基于所检测的在拍摄图像内的用户的面部的一部分来判定相对于对显示图像进行显示的显示面的用户的面部的朝向的第2处理部。第1处理部由执行特定的检测处理的硬件构成，第2处理部由执行与第1处理部的输出对应的处理的软件构成。

Operational Judgment Device and Operational Judgment Method

【技术实现步骤摘要】
操作判定装置和操作判定方法
本专利技术涉及操作判定装置和操作判定方法。
技术介绍
近年来，在游戏机等中，开发了具备检测用户的视线并在画面上显示示出用户的视线位置的指针、光标的功能的装置。用户能够利用视线的活动来进行游戏机等的操作等。可是，在操作中使用用户的视线的情况下，光标等与视线的活动连动地活动，因此用户在操作中不能看操作对象以外的东西，为了看操作对象以外的东西，不得不中断对象的操作。于是，提出了使光标不与用户的视线而是与头部的活动连动地活动的装置（例如，专利文献1）。现有技术文献专利文献专利文献1：特开2005-352580号公报。
技术实现思路
专利技术要解决的课题为了检测头部的活动，进行如下的处理：对例如拍摄有用户的面部的图像进行图像处理，检测成为目标的面部的部分的位置，将所检测的位置变换为二维的位置坐标。这些处理的处理工序复杂，计算的执行数目多。因此，在利用软件进行这样的处理的情况下，存在处理时耗费时间、消耗电力大这样的问题。本专利技术是鉴于上述问题点而作出的专利技术，其目的在于，提供能够以高速且低消耗电力来进行基于面部的朝向的变化的在非接触下的操作的判定的操作判定装置。用于解决课题的方案本专利技术的操作判定装置是将用户的面部的朝向的变化作为针对显示图像的在非接触下的操作来进行判定的操作判定装置，其特征在于，具有：图像取得部，其取得拍摄有所述用户的面部的拍摄图像；以及图像处理部，其对所述拍摄图像进行图像处理，检测所述用户的面部的朝向，所述图像处理部包括：第1处理部，其检测在所述拍摄图像内的所述用户的面部的一部分；以及第2处理部，其基于所检测的在所述拍摄图像内的所述用户的面部的一部分来判定相对于显示所述显示图像的显示面的所述用户的面部的朝向，所述第1处理部由执行特定的检测处理的硬件构成，所述第2处理部由执行与所述第1处理部的输出对应的处理的软件构成。此外，本专利技术的操作判定方法是在将用户的面部的朝向的变化作为针对显示图像的在非接触下的操作来进行判定的操作判定装置中的操作判定方法，其特征在于，包括：取得拍摄有所述用户的面部的拍摄图像的步骤；利用执行特定的检测处理的硬件来检测所述拍摄图像内的所述用户的面部的一部分的步骤；基于所检测的在所述拍摄图像内的所述用户的面部的一部分来利用软件判定相对于显示所述显示图像的显示面的所述用户的面部的朝向的步骤。专利技术效果根据本专利技术的操作判定装置，成为能够以高速且低消耗电力进行基于面部的朝向的变化的在非接触下的操作的判定。附图说明图1是示出本实施例的运动操作装置的结构的框图。图2是示意性地示出本实施例中的相机的配置、显示器的位置和用户的面部的位置的图。图3是示出本实施例的运动操作装置的图像处理部中的处理块和功能块的框图。图4是示出硬件处理部的结构的一部分的框图。图5A是示意性地示出从二维图像提取面部候选的图像的情形的图。图5B是示意性地示出二维图像中的眼睛的图像的图。图5C是示意性地示出二维图像中的眼睛的周边部分的位置的图。图6是示出操作对象选择处理的处理例程的流程图。图7A是示意性地示出用户的视线和面部的朝向与显示器的关系的图。图7B是示意性地示出用户的视线和面部的朝向与显示器的关系的图。图7C是示意性地示出用户的视线和面部的朝向与显示器的关系的图。具体实施方式以下，参照附图来说明本专利技术的实施例。再有，在以下的各实施例中的说明和随附附图中，对实质上相同或等价的部分标注相同的参照符号。[实施例1]本实施例的运动操作装置100设置于在显示器中显示图像并且受理对该图像进行目视的用户所进行的操作的游戏机等装置。运动操作装置100是将用户的面部的朝向的变化作为针对显示图像的在非接触下的操作来进行判定的操作判定装置。具体而言，运动操作装置100基于拍摄有用户的面部的图像来检测用户的面部的朝向，进行用于使光标、指针（以下，称为光标等）显示于画面上与所检测的面部的朝向对应的位置的图像处理和判定处理。图1是示出本实施例的运动操作装置100的结构的框图。运动操作装置100具有图像传感器10、图像处理部11和操作信息生成部12。操作信息生成部12连接到进行显示器的显示控制的显示控制部40。图像传感器10是搭载于在例如显示器的周围配置的相机并生成拍摄有用户的面部面的图像的拍摄元件。图像传感器10将作为利用相机的拍摄而取得的拍摄图像的图像数据VD供给到图像处理部11。图2是示出搭载图像传感器10的相机CA、显示器DP和用户的位置关系的图。搭载图像传感器10的相机CA例如从用户来看被配置在显示器DP的跟前且下侧的位置。相机CA对用户的面部进行拍摄，取得包括至少眼睛的周围的轮郭部分的区域的用户的面部图像。本实施例的运动操作装置100基于相机CA取得的面部图像所包括的眼睛的周围的轮郭部分的区域来进行面部的朝向的检测和操作的判定。因此，本实施例的运动操作装置100被构成为即使在如图2所示那样用户戴着口罩或帽子等情况下也能够进行操作判定。当再次参照图1时，图像处理部11由硬件处理部20和软件处理部30构成。硬件处理部20由进行特定的处理（即，非可编程的处理）的专用硬件构成，包括逻辑电路部21和存储器部22。软件处理部30由CPU（CentralProcessingUnit，中央处理单元）等构成，是进行依照程序的处理的处理部。图3是示出硬件处理部20执行的处理的处理块和由于规定的程序的执行而在软件处理部30形成的功能块的框图。硬件处理部20进行基于从图像传感器10供给的图像数据VD来检测由相机CA拍摄的拍摄图像内的用户的面部的位置的处理（以下，称为面部检测处理）。面部检测处理包括面部候选识别处理（S11）、眼睛识别处理（S12）、眼睛周边部分的识别处理（S13）、眼睛的周边部分的2D坐标化处理（S14）和眼睛的2D坐标化处理（S15）。硬件处理部20进行基于从图像传感器10供给的图像数据VD来从将图像数据VD在二维坐标上展开得到的二维图像中检测被设想为存在用户的面部的区域（以下，称为面部候选）并提取面部候选的图像的面部候选识别处理（S11）。在面部候选识别处理中，通过检测例如二维图像中的肤色的区域来检测用户的面部候选。此外，硬件处理部20进行从二维图像中检测用户的眼睛并提取其图像的眼睛识别处理（S12）。在眼睛识别处理中，通过检测例如二维图像中的肤色的区域的内部存在的白色区域和黑色区域（即，眼白和黑眼珠）来检测用户的眼睛。硬件处理部20进行基于由面部候选识别处理（S11）检测的面部候选和由眼睛检测处理（S12）检测的眼睛的瞳孔部分来检测眼睛的周边的轮郭并提取其图像的眼睛周边部分识别处理（S13）。在眼睛周边部分识别处理中，作为眼睛的周边的轮郭，检测例如除了瞳孔、眼球部分之外的眼睛的边框的部分（以下，称为眼睛的缘部）、眉间、太阳穴和面部的在眼旁（与眼睛相同高度）的两端部分（以下，称为面部的旁端）。此外，硬件处理部20进行将构成眼睛的周边的轮郭的面部的各部分（以下，称为眼睛的周边部分）示出为二维的坐标平面中的位置的眼睛的周边部分的2D坐标化处理（S14）和示出二维的坐标平面中的眼睛的瞳孔部分的位置的眼睛的2D坐标化处理（S15）。图4是示意性地示出逻辑电路部21和存储器部22的结构以及执行由面部候选识别处理（S11）、本文档来自技高网...

【技术保护点】
1.一种操作判定装置，将用户的面部的朝向的变化作为针对显示图像的在非接触下的操作来进行判定，其特征在于，具有：图像取得部，取得拍摄有所述用户的面部的拍摄图像；以及图像处理部，对所述拍摄图像进行图像处理，检测所述用户的面部的朝向，所述图像处理部包括：第1处理部，检测在所述拍摄图像内的所述用户的面部的一部分；以及第2处理部，基于所检测的在所述拍摄图像内的所述用户的面部的一部分来判定相对于显示所述显示图像的显示面的所述用户的面部的朝向，所述第1处理部由执行特定的检测处理的硬件构成，所述第2处理部由执行与所述第1处理部的输出对应的处理的软件构成。

【技术特征摘要】
2018.02.23 JP 2018-0308781.一种操作判定装置，将用户的面部的朝向的变化作为针对显示图像的在非接触下的操作来进行判定，其特征在于，具有：图像取得部，取得拍摄有所述用户的面部的拍摄图像；以及图像处理部，对所述拍摄图像进行图像处理，检测所述用户的面部的朝向，所述图像处理部包括：第1处理部，检测在所述拍摄图像内的所述用户的面部的一部分；以及第2处理部，基于所检测的在所述拍摄图像内的所述用户的面部的一部分来判定相对于显示所述显示图像的显示面的所述用户的面部的朝向，所述第1处理部由执行特定的检测处理的硬件构成，所述第2处理部由执行与所述第1处理部的输出对应的处理的软件构成。2.根据权利要求1所述的操作判定装置，其特征在于，所述第1处理部包括对所述拍摄图像依次执行矩阵运算的多个逻辑电路，基于由所述多个逻辑电路进行的所述矩阵运算的运算结果来检测在所述拍摄图像内的所述用户的面部的一部分。3.根据权利要求1或2所述的操作判定装置，其特征在于，所述第1处理部检测所述用户的眼睛的周边的轮郭的位置和形状作为所述面部的一部分。4.根据权利要求3所述的操作判定装置，其特征在于，所述第1处理部把在所述拍摄图像内的所述用户的眼睛的周边的轮郭的位置变换为二维的坐标平面中的位置坐标，所述第2处理部基于所述位置坐标来判定相对于所述显示面的所述用户的面部的朝向。5.根据权利要求2所述的操作判定装置，其特征在于，所述第1处理部包括分别储存所述多个逻辑电路的所述矩阵运算的运算结果的多个存储器，所述多个逻辑电路的每个基于从...

【专利技术属性】
技术研发人员：赤堀博次，
申请(专利权)人：拉碧斯半导体株式会社，
类型：发明
国别省市：日本,JP