【技术实现步骤摘要】
【国外来华专利技术】
本说明书涉及确定用户的眼睛注视指向的显示器的区域。
技术介绍
1、一些增强现实(ar)系统跟踪眼睛注视方向，即，用户的眼睛被取向的方向。例如，ar系统可以包括用于在透明显示器上向用户显示内容的智能眼镜。一些智能眼镜包括眼镜框架上的相机，该相机被配置为产生用户的眼睛的图像以用于跟踪眼睛注视方向。
2、这样的ar系统可以跟踪眼睛注视方向以启用透明显示器上的用户界面。例如，可以在透明显示器上渲染第一内容和第二内容。ar系统可以通过确定用户的眼睛注视方向来推断用户正在观看第一内容还是第二内容。
技术实现思路
1、本文公开的实施方式提供了一种用于跟踪用户相对于显示器的注视的改进的技术。在一些实施方式中，显示器是透明显示器，诸如嵌入在ar系统中使用的智能眼镜中的透明显示器。在一些实施方式中，显示器是在例如智能电话、平板计算机等的移动计算系统中使用的显示器。然而，改进的技术涉及确定用户的注视指向显示器的哪个区域，而不是跟踪用户对显示器上的特定点的注视。通过确定区域而不是点，当区域对应于用户界面的元素时，改进的技术使得系统能够激活所确定的区域被选择到的元素。在一些实施方式中，系统使用包括卷积神经网络的分类引擎进行确定；这样的引擎将用户的眼睛的图像作为输入并输出注视指向区域中的每个区域的概率的列表。
2、在一个一般方面中，一种方法可以包括接收表示在一时刻观看显示器的用户的眼睛的至少一个图像的图像数据，该显示器包括多个区域并且被配置为在增强现实(ar)应用中操作，该多个区域中的
3、在另一个一般方面，一种计算机程序产品包括非暂时性存储介质，该计算机程序产品包括代码，该代码在由计算设备的处理电路执行时使处理电路执行一种方法。该方法可以包括接收表示在一时刻观看显示器的用户的眼睛的至少一个图像的图像数据，该显示器包括多个区域并且被配置为在增强现实(ar)应用中操作，该多个区域中的每个区域包括多个像素并且对应于用户界面的相应元素。该方法还可以包括基于图像数据来识别显示器的多个区域中在该时刻用户的注视指向的区域，该识别包括将用户的眼睛的至少一个图像输入到分类引擎中，该分类引擎被配置为将注视分类为指向多个区域中的一个区域。该方法还可以包括激活用户界面的与所识别的区域对应的元素。
4、在另一个一般方面中，一种电子装置包括存储器和耦合到存储器的控制电路。控制电路可以被配置为接收表示在一时刻观看显示器的用户的眼睛的至少一个图像的图像数据，该显示器包括多个区域并且被配置为在增强现实(ar)应用中操作，该多个区域中的每个区域包括多个像素并且对应于用户界面的相应元素。控制电路还可以被配置为基于图像数据来识别显示器的多个区域中在该时刻用户的注视指向的区域，该识别包括将用户的眼睛的至少一个图像输入到分类引擎中，该分类引擎被配置为将注视分类为指向多个区域中的一个区域。控制电路还可以被配置为激活用户界面的与所识别的区域对应的元素。
5、在附图和下面的描述中阐述了一个或多个实施方式的细节。根据说明书和附图以及根据权利要求，其他特征将是显而易见的。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述分类引擎包括表示卷积神经网络(CNN)的第一分支。
3.根据权利要求1所述的方法，其中所述分类引擎被配置为产生具有与所述多个区域中的区域的数量相等的数量的元素的向量作为输出，所述向量的每个元素包括对应于所述多个区域中的相应区域的数字，所述数字表示所述用户的所述注视指向与所述数字对应的所述区域的可能性。
4.根据权利要求3所述的方法，其中所述分类引擎包括softmax层，所述softmax层被配置为产生零和一之间的概率作为所述分类引擎的输出，作为对应于所述多个区域中的每个区域的所述可能性，并且
5.根据权利要求3所述的方法，
6.根据权利要求1所述的方法，还包括：
7.根据权利要求1所述的方法，其中所述显示器是嵌入在智能眼镜中的透明显示器。
8.根据权利要求7所述的方法，其中所述分类引擎还包括表示神经网络的第二分支，并且
9.根据权利要求8所述的方法，其中所述分类引擎包括注意力层，并且
10.根据权利要求1所述的方法
11.根据权利要求1所述的方法，其中所述用户是第一用户，
12.根据权利要求1所述的方法，其中所述用户是第一用户，
13.一种计算机程序产品，包括非传递存储介质，所述计算机程序产品包括代码，所述代码在由处理电路执行时使所述处理电路执行一种方法，所述方法包括：
14.根据权利要求13所述的计算机程序产品，其中所述分类引擎包括表示卷积神经网络(CNN)的第一分支。
15.根据权利要求13所述的计算机程序产品，其中所述分类引擎被配置为产生对应于所述多个区域中的每个区域的数字作为输出，所述数字表示所述用户的所述注视指向与所述数字对应的所述区域的可能性。
16.根据权利要求13所述的计算机程序产品，其中所述方法还包括：
17.根据权利要求13所述的计算机程序产品，其中所述显示器是嵌入在智能眼镜中的透明显示器。
18.根据权利要求17所述的计算机程序产品，其中所述分类引擎还包括表示神经网络的第二分支，并且
19.根据权利要求18所述的计算机程序产品，其中所述分类引擎包括注意力层，并且
20.一种电子装置，所述电子装置包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述分类引擎包括表示卷积神经网络(cnn)的第一分支。
3.根据权利要求1所述的方法，其中所述分类引擎被配置为产生具有与所述多个区域中的区域的数量相等的数量的元素的向量作为输出，所述向量的每个元素包括对应于所述多个区域中的相应区域的数字，所述数字表示所述用户的所述注视指向与所述数字对应的所述区域的可能性。
4.根据权利要求3所述的方法，其中所述分类引擎包括softmax层，所述softmax层被配置为产生零和一之间的概率作为所述分类引擎的输出，作为对应于所述多个区域中的每个区域的所述可能性，并且
5.根据权利要求3所述的方法，
6.根据权利要求1所述的方法，还包括：
7.根据权利要求1所述的方法，其中所述显示器是嵌入在智能眼镜中的透明显示器。
8.根据权利要求7所述的方法，其中所述分类引擎还包括表示神经网络的第二分支，并且
9.根据权利要求8所述的方法，其中所述分类引擎包括注意力层，并且
10.根据权利要求1所述的方法，其中所述用户是第一用户，
...
【专利技术属性】
技术研发人员：伊万纳·托希克·罗杰斯，肖恩·瑞安·弗朗切斯科·法内洛，索芬·布阿齐兹，罗希特·库马尔·潘迪，埃里克·阿布苏安，阿达尔什·普拉卡什·穆尔蒂·寇德莱，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。