电子装置、控制方法和计算机可读介质制造方法及图纸

本发明专利技术涉及一种电子装置、控制方法和计算机可读介质。根据本发明专利技术的电子装置是能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像的电子装置，并且包括：估计单元，其被配置为基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及检测单元，其被配置为基于所述眼睛图像上的瞳孔图像或Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。置发生偏移的偏移查看状态。置发生偏移的偏移查看状态。

【技术实现步骤摘要】
电子装置、控制方法和计算机可读介质


[0001]本专利技术涉及能够估计(检测)视点的电子装置。

技术介绍

[0002]近年来见证了照相机的自动化和智能化的进步。日本特开2004-8323提出了如下的技术，该技术用于在无需手动输入被摄体位置的情况下，基于与透过取景器进行观看的拍摄者的视点(视线位置)有关的信息来识别该拍摄者的期望被摄体并控制焦点。日本特开2009-104524提出了如下的技术，该技术通过除了考虑眼球的转动角度之外、还考虑头部的转动角度和位置，来提高视点检测的精度。PCT申请公开2018-506781的日文译文提出了如下的技术：设置多个眼球灯，并且通过根据与来自眼球灯的光是否正到达用户的眼球有关的判断结果切换所使用的的眼球灯来检测焦点。日本特开2014-64094提出了用于切换取景器内的显示装置上的图像显示范围(显示图像的范围)的技术。
[0003]利用日本特开2004-8323的技术，通过基于通过拍摄用户(拍摄者)的眼睛的图像所获取到的眼睛图像上的瞳孔图像和Purkinje图像(普尔钦图像)的位置检测眼球的转动角度来估计(检测)用户的视点。然而，在用户将他/她的面部相对于取景器等偏移、使得头部进行大的平移运动时，眼睛图像上的瞳孔图像和Purkinje图像也进行大的平移运动，结果不能以高精度估计视点。
[0004]利用日本特开2009-104524的技术，通过拍摄整个面部而不仅仅是眼睛的图像、并且根据面部的特征点检测头部的位置和倾斜使得除了眼球的转动角度之外还考虑头部的位置和倾斜，来提高视点估计精度。然而，需要用于拍摄整个面部(整个头部)的图像的结构，这会增加装置的复杂度和成本。此外，在头部被隐藏且不能拍摄到头部的图像的状态(诸如用户正透过照相机的取景器进行观看的状态或者用户正佩戴VR眼镜(VR护目镜)的状态等)下，无法提高视点估计精度。
[0005]利用PCT申请公开2018-506781的日文译文，通过根据状况切换所使用的眼球灯来检测焦点。然而，由眼球灯产生的重像可能出现在眼睛图像上，这使得不能以高精度估计视点。
[0006]利用日本特开2014-64094的技术，为了省电而不是估计视点的目的，通常使显示装置上的图像显示范围变窄。因此，在估计视点时，图像显示范围不能切换到适当的范围，结果不能以高精度估计视点。

技术实现思路

[0007]本专利技术提供使得能够通过简单结构来检测不能以高精度进行视点估计的状态的技术。
[0008]本专利技术在其第一方面中提供一种电子装置，其能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，所述电子装置包括：第一估计单元，其被配置为基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及检测单元，其被配置为基
于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。
[0009]本专利技术在其第二方面中提供一种电子装置的控制方法，所述电子装置能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，所述控制方法包括：基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。
[0010]本专利技术在其第三方面中提供一种存储有程序的计算机可读介质，其中，所述程序使得计算机执行电子装置的控制方法，所述电子装置能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，以及所述控制方法包括：基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。
[0011]通过以下参考附图对典型实施例的说明，本专利技术的更多特征将变得明显。
附图说明
[0012]图1A和1B是根据第一实施例的照相机的外观图；
[0013]图2是根据第一实施例的照相机的截面图；
[0014]图3是示出根据第一实施例的虚像的形成的图；
[0015]图4是根据第一实施例的照相机的框图；
[0016]图5A～5C是示出根据第一实施例的取景器视野的图；
[0017]图6是示出根据第一实施例的视野检测方法的原理的图；
[0018]图7A是示出根据第一实施例的眼睛图像的图，并且图7B是示出根据第一实施例的眼睛图像传感器的输出强度的图；
[0019]图8是根据第一实施例的视线检测操作的流程图；
[0020]图9A和9B是示出根据第一实施例的查看状态的图；
[0021]图10A和10B是示出根据第一实施例的倾斜透过观看状态的图；
[0022]图11A～11C是示出根据第一实施例的眼睛图像的图；
[0023]图12是根据第一实施例的照相机操作的流程图；
[0024]图13A～13C是示出根据第二实施例的指标的图；
[0025]图14A～14C是示出根据第二实施例的图像显示的图；
[0026]图15A和15B是示出根据第二实施例的查看状态的图；
[0027]图16是根据第二实施例的照相机操作的流程图；
[0028]图17A～17C是示出根据第三实施例的图像显示的图；
[0029]图18A～18C是示出根据第三实施例的查看状态的图；
[0030]图19是根据第四实施例的照相机操作的流程图；
[0031]图20是根据第五实施例的照相机的背面立体图；
[0032]图21是根据第五实施例的照相机的截面图；
[0033]图22是示出根据第五实施例的查看状态的图；
[0034]图23是根据第五实施例的照相机的框图；
[0035]图24是示出根据第五实施例的眼睛图像的图；
[0036]图25A～25C是示出根据第五实施例的查看状态的图；
[0037]图26是示出根据第五实施例的重像产生原理的图；
[0038]图27A～27C是示出根据第五实施例的眼睛图像的图；
[0039]图28A和28B是根据第五实施例的照相机的背面立体图；
[0040]图29是根据第五实施例的照相机操作的流程图；以及
[0041]图30A和30B是示出根据第五实施例的眼睛图像的图。
具体实施方式
[0042]如上所述，在现有技术中，在诸如眼睛图像上的瞳孔图像和Purkinje图像进行大的平移运动的情况等的情况下，不能以高精度估计视点(视线位置)。特别地，在佩戴眼镜的用户等透过照相机的取景器进行观看的情况下，通常不能使眼球足够靠近取景器，结果通常不能以高精度估计视点。更具体地，在眼球没有足够靠近取景器的状态下，视线可能被取景器的目镜窗框等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子装置，其能够通过拍摄经由眼睛窗框观看显示单元的画面的眼睛的图像来获取眼睛图像，所述电子装置包括：第一估计单元，其被配置为基于所述眼睛图像来估计所述画面上的所述眼睛的视点；以及检测单元，其被配置为基于所述眼睛图像上的瞳孔图像或者普尔钦图像即Purkinje图像的位置，来检测在所述眼睛图像上所述眼睛相对于与所述画面的中心相对应的位置发生偏移的偏移查看状态。2.根据权利要求1所述的电子装置，其中，所述检测单元将满足包括如下条件的预定条件的状态检测为所述偏移查看状态：所述瞳孔图像或者所述Purkinje图像的位置和与所述画面的中心相对应的位置之间的差大于预定阈值。3.根据权利要求1或2所述的电子装置，其中，能够经由所述眼睛窗框和目镜光学系统来查看所述画面，以及与所述画面的中心相对应的位置是与所述目镜光学系统的光轴相对应的位置。4.根据权利要求1或2所述的电子装置，还包括：所述显示单元、所述眼睛窗框、以及被配置为拍摄所述眼睛的图像的摄像单元。5.根据权利要求1或2所述的电子装置，其中，在所述画面上，在改变所述眼睛要观看的指标的位置的同时显示所述指标，以及所述检测单元将满足包括如下条件的预定条件的状态检测为所述偏移查看状态：在所述眼睛图像上，从与所述画面的中心相对应的位置向着所述瞳孔图像或者所述Purkinje图像行进的方向和从与所述画面的中心相对应的位置向着显示所述指标的位置行进的方向相反。6.根据权利要求1或2所述的电子装置，其中，在所述画面上显示所述眼睛要观看的多个指标，所述多个指标包括夹持所述画面的中心的两个指标，以及所述检测单元将满足包括如下条件的预定条件的状态检测为所述偏移查看状态：在观看所述两个指标中的一个指标的情况下从与所述画面的中心相对应的位置向着所述瞳孔图像或者所述Purkinje图像行进的方向和在观看所述两个指标中的另一指标的情况下从与所述画面的中心相对应的位置向着所述瞳孔图像或者所述Purkinje图像行进的方向相反。7.根据权利要求1或2所述的电子装置，其中，所述检测单元在用于获取用以估计所述视点的参数的校准操作期间检测所述偏移查看状态。8.根据权利要求1或2所述的电子装置，还包括：处理单元，其被配置为在检测到所述偏移查看状态的情况下，进行预定处理。9.根据权利要求8所述的电子装置，其中，所述预定处理是用于提示用户消除所述偏移查看状态的处理。10.根据权利要求8所述的电子装置，其中，所述预定处理是预定通知。
11.根据权利要求8所述的电子装置，其中，所述预定处理是缩小所述画面上所显示的图像。12.根据权利要求8所述的电子装置，其中，在所述画面上显示所述眼睛要观看的指标，以及所述预定处理是用于使所述指标的位置移动得更靠近所述画面的中心的处理。13.根据权利要求8所述的电子装置，其中，所述预定处理是用于基于所述检测单元所检测到的偏移查看状态来确定图像显示范围的处理，其中所述图像...

【专利技术属性】
技术研发人员：内田武志，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：