【技术实现步骤摘要】
本公开的示例总体上涉及用于眼睛追踪的方法、装置和计算机程序产品，并且具体涉及包括多个单像素检测器和作为空间光调制器的数字微镜器件(digital micro-mirror device，dmd)的眼睛追踪器的压缩感知(compressive sensing)。
技术介绍
1、人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，人工现实例如可以包括虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。ar、vr、mr和混合现实设备通常通过视觉手段(例如，通过头戴式视图器(headset)，例如眼镜)提供内容。
2、许多人工现实设备利用摄像头以呈现信息，在物理世界之上渲染附加信息和/或内容，并执行各种ar操作和模拟。例如，人工现实设备可以显示覆盖在屏幕或显示器上面的全息图。
3、眼睛追踪指的是检测用户注视方向的过程，这可以包括检测眼睛在三维空间中的角度取向。眼睛追踪还可以包括检测眼睛的位置(例如，眼睛的中心)、眼睛的扭转(即，眼睛绕瞳孔轴的转动)、眼睛的形状、眼睛的当前焦距、瞳孔的扩大、眼睛状态的其它特征或其某种组合。
4、眼睛追踪是在人工现实应用中使用的各种系统(例如，头戴式显示器(head-mounted display，hmd)系统)的重要特征。传统的眼睛追踪系统追踪人眼的特征，并且通常受到光路质量的限制。这些传统系
5、因此，需要改进眼睛追踪和处理技术以解决人工现实应用不断增加的尺寸要求和/或成本要求。
技术实现思路
1、为了应对所描述的挑战，本公开提供了使用用于眼睛追踪器的压缩感知进行眼睛追踪的系统、方法、设备和计算机程序产品，所述眼睛追踪器包括多个单像素检测器和作为空间光调制器(spatial light modulator，slm)的数字微镜器件(dmd)。例如，可以使用两个或更多个单像素检测器和dmd设备来执行视网膜的三维(3d)重建。各种方面和示例可以在一系列人工现实设备和应用上使用，这些人工现实设备和应用包括但不限于可穿戴设备、头戴式系统、头戴式视图器、眼镜、头盔、护目镜、游戏设备和智能设备。
2、根据一些方面，dmd设备可以向用户的瞳孔或视网膜呈现内容(例如，二值图像或灰度图像)。多个单像素检测器中的每一个单像素检测器可以采集用户视网膜上所呈现的内容的信号(例如，光)。例如，通过逆傅里叶变换，每个像素检测器可以恢复用户视网膜的灰度图像。可以通过在多个恢复的像素中使用立体3d重建技术来构建视网膜的3d形状。此外，可以基于恢复的图像或3d形状来确定眼睛的运动或特征。
3、在本公开的一个示例中，提供了一种用于促进眼睛追踪的装置。该装置可以包括一个或多个处理器和包括计算机程序代码指令的存储器。该装置可以包括至少一个数字微镜器件，该至少一个数字微镜器件被配置成将光出射到用户的至少一只眼睛上，该光包括一个或多个二值图像或一个或多个灰度图像。该装置还可以包括多个单像素检测器，该多个单像素检测器被配置成确定该光的从该至少一只眼睛的反射。该多个单像素检测器还被配置成，通过该多个单像素检测器中的第一单像素检测器确定与该光的从该至少一只眼睛的视网膜的反射相关联的第一信号。该多个单像素检测器还被配置成，通过该多个单像素检测器中的第二单像素检测器确定与该光的从该至少一只眼睛的视网膜的反射相关联的第二信号。该存储器和计算机程序代码指令还被配置成利用该一个或多个处理器使该装置对该第一信号和该第二信号执行转换以确定视网膜的至少一个灰度图像。该存储器和计算机程序代码指令还被配置成利用该一个或多个处理器使该装置基于执行与该视网膜的灰度图像的一个或多个像素相关联的至少一个3d重建来确定该视网膜的至少一个3d形状。在一些示例中，该存储器和计算机程序代码指令被配置成利用该一个或多个处理器使该装置至少执行一个或多个其它操作。在一些示例中，该装置可以是或包括头戴式显示设备。在一些实例中，当该一个或多个处理器进一步执行所述指令时，该装置还被配置成执行所确定的瞳孔的位置。
4、在本公开的另一示例中，提供了一种用于促进眼睛追踪的方法。该方法可以包括通过至少一个数字微镜器件将光出射到用户的至少一只眼睛上，该光包括一个或多个二值图像或一个或多个灰度图像。该方法还可以包括通过多个单像素检测器确定该光的从该至少一只眼睛的反射。该方法还可以包括通过该多个单像素检测器中的第一单像素检测器确定与该光的从该至少一只眼睛的视网膜的反射相关联的第一信号。该方法还可以包括通过该多个单像素检测器中的第二单像素检测器确定与该光的从该至少一只眼睛的视网膜的反射相关联的第二信号。该方法还可以包括通过该至少一个数字微镜器件对该第一信号和该第二信号执行转换以确定该视网膜的至少一个灰度图像。该方法还可以包括通过该至少一个数字微镜器件基于执行与视网膜的灰度图像的一个或多个像素相关联的至少一个3d重建来确定视网膜的至少一个3d形状。在一些示例中，该方法还包括通过该多个单像素检测器中的至少一个单像素检测器执行所确定的所述瞳孔的位置。
5、在本公开的又一示例中，提供了一种用于促进眼睛追踪的计算机程序产品。该计算机程序产品包括其中存储有计算机可执行程序代码指令的至少一个计算机可读存储介质。这些计算机可执行程序代码指令可以包括程序代码指令，这些程序代码指令被配置成，通过至少一个数字微镜器件将光出射到用户的至少一只眼睛上，该光包括一个或多个二值图像或一个或多个灰度图像。该计算机程序产品还可以包括如下程序代码指令：这些程序代码指令被配置成通过多个单像素检测器确定该光的从该至少一只眼睛的反射。该计算机程序产品还可以包括如下程序代码指令：这些程序代码指令被配置成通过该多个单像素检测器中的第一单像素检测器确定与该光的从该至少一只眼睛的视网膜的反射相关联的第一信号。该计算机程序产品还可以包括以下程序代码指令：这些程序代码指令被配置成通过该多个单像素检测器中的第二单像素检测器确定与该光的从该至少一只眼睛的视网膜的反射相关联的第二信号。该计算机程序产品还可以包括如下程序代码指令：这些程序代码指令被配置成通过该至少一个数字微镜器件对该第一信号和该第二信号执行转换，以确定该视网膜的至少一个灰度图像。该计算机程序产品还可以包括如下程序代码指令：这些程序代码指令被配置成通过该至少一个数字微镜器件基于执行与该视网膜的灰度图像的一个或多个像素相关联的至少一个3d重建来确定该视网膜的至少一个3d形状。
6、附加的优点将在后面本文档来自技高网...
【技术保护点】
1.一种装置，所述装置包括：
2.根据权利要求1所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置被配置成：
3.根据权利要求2所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置被配置成：
4.根据权利要求3所述的装置，其中，所述一个或多个眼睛追踪参数包括以下中的至少一者：所述至少一只眼睛的眼睛注视角度、所述至少一只眼睛的扭转、所述至少一只眼睛的形状、所述至少一只眼睛的当前焦距、所述至少一只眼睛的瞳孔扩大、所述至少一只眼睛与所述用户的第二只眼睛的瞳孔间距离、所述至少一只眼睛的平移、所述至少一只眼睛的调节、所述至少一只眼睛的状态的其它特征或其组合。
5.根据权利要求1所述的装置，其中，在执行所述转换之前，所述至少一个数字微镜器件还被配置成：
6.根据权利要求1所述的装置，其中，所述至少一个数字微镜器件进一步被配置成：
7.根据权利要求6所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置还被配置成：
8.根据权利要求6所述的装置，所述装置还包
9.根据权利要求1所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置被配置成：
10.一种方法，所述方法包括：
11.根据权利要求10所述的方法，所述方法还包括：
12.根据权利要求11所述的方法，所述方法还包括：
13.根据权利要求12所述的方法，其中，所述一个或多个眼睛追踪参数包括以下中的至少一者：所述至少一只眼睛的眼睛注视角度、所述至少一只眼睛的扭转、所述至少一只眼睛的形状、所述至少一只眼睛的当前焦距、所述至少一只眼睛的瞳孔扩大、所述至少一只眼睛与所述用户的第二只眼睛的瞳孔间距离、所述至少一只眼睛的平移、所述至少一只眼睛的调节、所述至少一只眼睛的状态的其它特征或其组合。
14.根据权利要求10所述的方法，其中，在执行所述转换之前，所述方法还包括：
15.根据权利要求10所述的方法，所述方法还包括：
16.根据权利要求15所述的方法，所述方法还包括：
17.根据权利要求15所述的方法，所述方法还包括：
18.根据权利要求10所述的方法，所述方法还包括：
19.一种计算机可读存储介质，所述计算机可读存储介质存储计算机可执行指令，所述计算机可执行指令在被执行时使得：
20.根据权利要求19所述的计算机可读存储介质，其中，所述计算机可执行指令在被执行时还使得：
...【技术特征摘要】
1.一种装置，所述装置包括：
2.根据权利要求1所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置被配置成：
3.根据权利要求2所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置被配置成：
4.根据权利要求3所述的装置，其中，所述一个或多个眼睛追踪参数包括以下中的至少一者：所述至少一只眼睛的眼睛注视角度、所述至少一只眼睛的扭转、所述至少一只眼睛的形状、所述至少一只眼睛的当前焦距、所述至少一只眼睛的瞳孔扩大、所述至少一只眼睛与所述用户的第二只眼睛的瞳孔间距离、所述至少一只眼睛的平移、所述至少一只眼睛的调节、所述至少一只眼睛的状态的其它特征或其组合。
5.根据权利要求1所述的装置，其中，在执行所述转换之前，所述至少一个数字微镜器件还被配置成：
6.根据权利要求1所述的装置，其中，所述至少一个数字微镜器件进一步被配置成：
7.根据权利要求6所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置还被配置成：
8.根据权利要求6所述的装置，所述装置还包括：
9.根据权利要求1所述的装置，其中，当所述一个或多个处理器进一步执行所述指令时，所述装置被配置成：
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。