便携式电子设备和控制便携式电子设备的方法技术

便携式电子设备(1)，包括被构造成在时间区间内跟踪用户的眼睛注视方向的注视跟踪装置(2)。便携式电子设备包括处理装置(4)，该处理装置(4)耦接到注视跟踪装置(2)并且被构造成生成针对眼睛注视方向的热点图数据、生成针对用户的视场的显著图数据、并且基于该热点图数据和该显著图数据两者标识视场中的至少一个关注点。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的实施方式涉及便携式电子设备，并且涉及控制便携式电子设备的方法。本专利技术的实施方式具体来说涉及包括可操作以跟踪便携式电子设备的用户的眼睛注视方向的注视跟踪装置的便携式电子设备、以及操作这样的便携式电子设备的方法。
技术介绍
基于注视的控制继续证明了多种多样的电子装置的日益流行。在专用的特殊应用装置中，诸如在飞机或监视应用中的基于注视的控制，专用的注视跟踪装置可以可操作以高精确度确定眼睛注视方向。对于很多便携式电子装置，诸如手持型蜂窝通信终端或头戴式装置，注视跟踪会是不太精确的。其原因是高度精确的、专用的注视跟踪装置可以由于与这样的装置相关联的成本和安装空间要求而对于便携式电子设备来说没有吸引力。便携式电子设备中的注视跟踪的当前的低成本解决方案可以实现的注视跟踪的空间分辨率会容易导致对用户实际上感关注的对象的错误标识。尽管如此，存在显著数量的潜在有用应用用于便携式电子设备中的基于注视的控制，所述便携式电子设备包括手持型通信终端或头戴式显示器。示例包括当使用便携式电子设备作为摄像头时对象的优先化，或在图形用户界面上向用户显示的菜单项目中的优先化。传统的、便宜的注视跟踪装置的低分辨率会降低用户体验，因为在检测关注点时容易导致错误，而较精确的专用注视跟踪装置会以使它们对于很多用户来说较没有吸引力的方式增加设备成本。
技术实现思路
本领域存在对于减少这些缺点中的至少一些的便携式电子设备和控制便携式电子设备的方法的需求。具体来说，本领域存在对于即使当注视跟踪装置具有小分辨率时也可以较可靠地确定用户的关注点的便携式电子设备和控制便携式电子设备的方法的需求。根据本专利技术的实施方式，提供了便携式电子设备和控制便携式电子设备的方法。便携式电子设备包括注视跟踪装置。注视跟踪装置捕捉到的数据被处理并且与针对用户的视场的显著图数据结合。通过生成显著图数据并且结合地使用显著图数据和关于眼睛注视方向的信息，即使当注视跟踪装置具有低分辨率时，也可以较可靠地确定用户注视的关注点。注视跟踪装置可以包括被布置成当便携式电子设备在使用时朝向用户的视频摄像头。这样的视频摄像头的示例是便携式电话的低分辨率视频摄像头。通过将视频摄像头用于注视跟踪，不必须提供独立的、专用的注视跟踪器。便携式电子设备可以包括图像捕捉装置。图像捕捉装置和视频摄像头可以被布置以从不相交的立体角区段中捕捉图像数据。图像捕捉装置的设置可以基于通过将显著图数据与被注视跟踪装置捕捉的数据结合所确定的关注点被控制。根据实施方式的便携式电子设备包括被构造成在时间区间内跟踪用户的眼睛注视方向的注视跟踪装置。便携式电子设备包括耦接到注视跟踪装置的处理装置。处理装置被构造成生成眼睛注视方向的热点图。处理装置被构造成生成用户视场的显著图数据。处理装置构造成基于热点图数据和显著图数据两者来标识视场中的至少一个关注点。热点图数据可以提供关于注视点指向点或区域的时间区间片段的空间分辨信息，点或区域例如在便携式电子设备的显示器上。显著图数据不需要对于用户的全视场来生成，而是可以对于视场的指定部分来生成。为了例示，当便携式电子设备将显示器定位在用户的视场中时，可以针对在显示器上输出的图像计算显著图。显著图数据可以以依赖于空间的方式来定义图像区域的显著性。处理装置可以被构造成通过分析颜色、指向、边缘存在或其他标准中的一项或多项来计算显著图，其被应用以确定随着位置变化的显著性的变化。另选地或附加地，处理装置可以被构造成根据用户视场中的图形元素的已知位置确定显著图，例如从在便携式电子设备的显示器上显示的图形用户界面元素、增强现实元素、或游戏图形的已知位置。便携式电子设备可以包括被构造成捕捉用户视场的至少一个图像的图像捕捉装置。该图像捕捉装置可以具有布置在便携式电子设备的外壳的与用户相对面上的孔径的主摄像头。该图像捕捉装置可以具有布置在便携式电子设备的外壳的一面上的孔径的主摄像头，所述外壳的一面与布置显示器的一面相反。处理装置可以被构造成处理视场的至少一个图像以生成显著图数据。处理装置可以被构造成基于所标识的至少一个关注点来控制图像捕捉装置。这允许便携式电子设备的摄像头或视频摄像头应用由注视方向控制。处理装置可以被构造成基于所标识的至少一个关注点设置图像捕捉装置的焦点。处理装置可以被构造成控制图像捕捉装置的至少一个光学组件以基于所标识的至少一个关注点来设置焦距。处理装置可以被构造成设置图像捕捉装置的参数，该参数从包含焦距、图像捕捉装置的图像传感器的积分时间、ISO敏感度的组中选择。注视跟踪装置可以包括具有比图像捕捉装置低的分辨率的图像传感器。注视跟踪装置可以是或可以包括视频摄像头，所述视频摄像头布置在便携式电子设备上以当便携式电子设备使用时朝向用户。注视跟踪装置的图像传感器和图像捕捉装置可以朝向不相交的立体角区段。注视跟踪装置的图像传感器和图像捕捉装置可以朝向相反方向。便携式电子设备可以包括被构造成输出图像捕捉装置捕捉的至少一个图像的光学输出装置。处理装置可以被构造成生成在显示器上的注视点的热点图数据。这允许用户通过注视在光学输出装置上显示的至少一个图像来选择真实世界的对象。光学输出装置可以是显示器。处理装置可以被构造成控制光学输出装置以在用户视场中输出图形元素，并且在图形元素被光学装置输出的坐标上生成基于显著图的数据。处理装置可以被构造成基于热点图数据和显著图数据确定图形元素中的作为至少一个关注点的图形元素。处理装置可以被构造成响应于作为至少一个关注点的图形元素来控制由便携式电子设备执行的至少一个应用。图形元素可以是增强现实元素。另选地或附加地，图形元素可以是用户界面元素。另选地或附加地，图形元素可以是游戏图形。处理装置可以被构造成处理注视跟踪装置的输出以确定注视轨迹并且从注视轨迹生成热点图数据。处理装置可以被构造成计算注视轨迹与非常数函数的卷积以生成热点图数据。该非常数函数可以是二维高斯函数或另外的在空域具有与通过注视跟踪装置的注视方向确定中的不确定性相对应的宽度的二维函数。处理系统可以被构造成标识由热点图数据定义的热点图与由显著图数据定义的显著图之间的交叠。处理装置可以被构造成将热点图数据和显著图数据相互配准。处理装置可以被构造成执行k近邻技术、逻辑回归技术、朴素贝叶斯技术、或另外的技术中的一项或多项以将热点图数据与显著图数据相互配准。处理装置可以被构造成通过将热点图数据与显著图数据结合来标识最可能的注视点，并且/或者通过将热点图数据与显著图数据结合来对多个关注点划定优先级。便携式电子设备可以是手持型通信终端。便携式电子设备可以包括被配置用于与蜂窝通信网络的通信的无线接口。便携式电子设备可以是蜂窝电话、个人数字助理、或手持型计算机。便携式电子设备可以是头戴式装置。便携式电子设备可以是头戴式显示器。根据另一实施方式，提供了包括根据实施方式的便携式电子设备和蜂窝通信网络的系统，该便携式电子设备连接到蜂窝通信网络的至少一个基站。控制便携式电子设备的方法包括在时间区间内监测用户的眼睛注视方向。生成针对眼睛注视方向的热点图数据。生成针对用户的视场的显著图数据。基于热点图数据和显著图数据两者在视场中标识至少一个关注点。依赖于所标识的至少一个关注点控制便携式电子设备。便携式电子设备可以包括图像捕捉装本文档来自技高网...

【技术保护点】
一种便携式电子设备，该便携式电子设备包括：注视跟踪装置(2)，该注视跟踪装置(2)被构造成在时间区间内跟踪用户的眼睛注视方向；处理装置(4)，该处理装置(4)耦接到所述注视跟踪装置(2)并且被构造成生成针对所述眼睛注视方向的热点图数据(50)；生成针对所述用户的视场的显著图数据(60)；以及基于所述热点图数据(50)和所述显著图数据(60)两者标识所述视场中的至少一个关注点(41)。

【技术特征摘要】
【国外来华专利技术】1.一种便携式电子设备，该便携式电子设备包括：注视跟踪装置(2)，该注视跟踪装置(2)被构造成在时间区间内跟踪用户的眼睛注视方向；处理装置(4)，该处理装置(4)耦接到所述注视跟踪装置(2)并且被构造成生成针对所述眼睛注视方向的热点图数据(50)；生成针对所述用户的视场的显著图数据(60)；以及基于所述热点图数据(50)和所述显著图数据(60)两者标识所述视场中的至少一个关注点(41)。2.根据权利要求1的便携式电子设备，所述便携式电子设备还包括：图像捕捉装置(3)，该图像捕捉装置(3)被构造成捕捉所述用户的所述视场的至少一个图像，其中，所述处理装置(4)被构造成处理所述视场的所述至少一个图像以生成所述显著图数据(60)。3.根据权利要求2所述的便携式电子设备，其中，所述处理装置(4)被构造成基于所标识的至少一个关注点(41)来控制所述图像捕捉装置(3)。4.根据权利要求3所述的便携式电子设备，其中，所述处理装置(4)被构造成基于所标识的至少一个关注点(41)来设置所述图像捕捉装置(3)的焦点。5.根据权利要求2到4中的任一项所述的便携式电子设备，其中，所述注视跟踪装置(2)包括图像传感器(12)，该图像传感器(12)具有比所述图像捕捉装置(3)低的分辨率。6.根据权利要求2到5中的任一项所述的便携式电子设备，所述便携式电子设备还包括：光学输出装置(5；84、85)，该光学输出装置(5；84、85)被构造成输出由所述图像捕捉装置(3)捕捉的所述至少一个图像，其中，所述处理装置(4)被构造成生成针对在所述显示器上的注视点的所述热点图数据(50)。7.根据以上权利要求中的任一项所述的便携式电子设备，其中，所述便携式电子设备(1；81)包括光学输出装置(5；84、85)，并且其中，所述处理装置(4)被构造成控制所述光学输出装置(5；84、85)以在所述用户的所述视场中输出图形元素(91-93；101、102)，并且...

【专利技术属性】
技术研发人员：O·索恩，PA·阿龙松，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP