提升用户体验和注视互动准确度的光学系统和相关方法技术方案

本发明专利技术公开了一种提升用户体验和注视互动准确度的光学系统和相关方法，其中在眼动追踪运作中，首先捕捉用户的一个或多个眼睛影像，再依据用户的一个或多个眼睛影像来计算用户的一个或多个注视点。接着，依据用户的一个或多个注视点来提供包含一个或多个用户界面元素的一用户界面，依据用户的一个或多个眼睛影像来求出眼动追踪运作的一表现图，并依据眼动追踪仪的表现图来调整一个或多个用户界面元素中至少一用户界面元素。元素中至少一用户界面元素。元素中至少一用户界面元素。

【技术实现步骤摘要】
提升用户体验和注视互动准确度的光学系统和相关方法


[0001]本专利技术涉及一种提升用户体验和注视互动准确度的光学系统和相关方法，尤其涉及一种能在交互式虚拟环境中提升用户体验和注视互动准确度的光学系统和相关方法。

技术介绍

[0002]虚拟现实(virtual reality,VR)是利用计算机技术模拟出一个立体且高拟真的三维空间，当用户穿戴特殊显示装置执行VR应用时会产生好像处在现实中的错觉。扩增现实(augmented reality,AR)是一种将虚拟信息扩增到现实空间中的技术，相较于取代现实空间的VR，AR是在现实空间中添加虚拟元素。混合现实(mixed reality,MR)则是把现实世界与虚拟世界合并在一起，从而建立出一个新的环境以及符合一般视觉上所认知的虚拟影像，其中现实世界中的元素能够与数位世界中的元素共同存在并且实时的产生互动。现有VR/AR/MR的应用多半是通过双手控制摇杆或是触控面板来操作，但在不同场所需要随时携带这些控制装置，在使用上并不便利。若是将眼动追踪(eye
‑
tracking)的技术应用在VR/AR/MR领域，用户可轻易地将眼睛变成操作界面，通过眼睛注视点、聚焦点和特定细微动作即可完成选取或点击元素的动作。
[0003]眼动追踪是一种能通过测量眼睛的注视位置或眼球相对头部的运动，来追踪用户眼球运动的技术。现有计算机会在显示屏幕上呈现一用户界面(user interface)，以提供用户各种视觉资料。用户界面一般包含复数个用户界面元素(UI element)，每一用户界面元素包含一图像元素(graphic element)和一命中框(hit box)。图像元素可决定相对应用户界面元素的外观，而命中框为用户看不见的虚拟元素，其连结至相对应事件处理器。当用户的注视指令触发时一用户界面元素的命中框时，会执行对应被触发用户界面元素的一预定动作。
[0004]在用户和光学系统之间基于眼动凝视技术的交互式虚拟环境中，眼动追踪的表现和呈现用户界面方式非常重要。因此，需要一种能提升用户体验和注视互动准确度的光学系统和方法。

技术实现思路

[0005]本专利技术提供一种提升用户体验和注视互动准确度的光学系统，其包含一眼动追踪仪和一头戴式显示器。该眼动追踪仪包含一传感器模块，用来捕捉一用户的一个或多个眼睛影像。该头戴式显示器包含一处理器和一显示屏幕。该处理器用来依据该用户的一个或多个注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面元素，且该用户的该一个或多个注视点依据该用户的该一个或多个眼睛影像来计算出；依据该用户的该一个或多个眼睛影像来求出该眼动追踪仪的一表现图；以及依据该眼动追踪仪的该表现图来调整该一个或多个用户界面元素中至少一用户界面元素。该显示屏幕用来呈现该用户界面。
[0006]本专利技术还提供一种提升用户体验和注视互动准确度的方法，其包含在一眼动追踪
运作中捕捉一用户的一个或多个眼睛影像；依据该用户的该一个或多个眼睛影像来计算出该用户的一个或多个注视点；依据该用户的该一个或多个注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面元素；依据该用户的该一个或多个眼睛影像来求出该眼动追踪运作的一表现图；以及依据该眼动追踪仪的该表现图来调整该一个或多个用户界面元素中至少一用户界面元素。
附图说明
[0007]图1为本专利技术实施例中一种可提升用户体验和注视互动准确度的光学系统的功能方块图。图2为本专利技术另一实施例中一种可提升用户体验和注视互动准确度的光学系统的功能方块图。图3为本专利技术实施例中可提升用户体验和注视互动准确度的光学系统运作时的方法流程图。图4为本专利技术实施例中在光学系统运作时所呈现的用户界面的示意图。图5为本专利技术实施例所求出眼动追踪仪的表现图的示意图。图6A和6B为本专利技术实施例中评估眼动追踪仪的表现图的信心值时的示意图。图7A
‑
7B、8A
‑
8B和9A
‑
9B为本专利技术实施例中调整用户界面元素设定时的示意图。图10A
‑
10B和11A
‑
11B为本专利技术实施例中调整用户界面元素设定时的示意图。图12A
‑
12B和13A
‑
13B为本专利技术实施例中调整用户界面元素布局时的示意图。图14A
‑
14D为本专利技术实施例中将眼动追踪仪的低表现告知用户的方式的示意图。
[0008]附图标号说明：10：头戴式显示器12、22：处理器14：显示屏幕16、26：传感器模块18：输入/输出装置19：用户界面20：眼动追踪仪24：照明模块30：用户100、200：光学系统310
‑
420：步骤UIE1‑
UIE
N
：用户界面元素GZ1、GZ2：注视点d1、d2：距离
具体实施方式
[0009]图1为本专利技术实施例中一种可提升用户体验和注视互动准确度的光学系统100的功能方块图。图2为本专利技术另一实施例中一种可提升用户体验和注视互动准确度的光学系
统200的功能方块图。
[0010]在图1所示的实施例中，光学系统100包含一头戴式显示器(head
‑
mounted display,HMD)10和一眼动追踪仪20。头戴式显示器10包含一处理器12、一显示屏幕14、一传感器模块16、一输入/输出装置18，以及一用户界面19。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
[0011]在图2所示的实施例中，光学系统200为一头戴式显示器10，其包含一处理器12、一显示屏幕14、一传感器模块16、一输入/输出装置18、一用户界面19，以及一眼动追踪仪20。眼动追踪仪20包含一处理器22、一照明模块24，以及一传感器模块26。处理器12可控制头戴式显示器10的运作，而处理器22可控制眼动追踪仪20的运作。
[0012]在本专利技术其它实施例中，光学系统100和200可省略处理器22。更详细地说，头戴式显示器10和眼动追踪仪20可共享同一处理器12，并由处理器12来控制头戴式显示器10和眼动追踪仪20的运作。
[0013]图3为本专利技术实施例中可提升用户体验和注视互动准确度的光学系统100和200运作时的方法流程图。图3所示的方法流程图包含下列步骤：
[0014]步骤310：捕捉用户的一个或多个眼睛影像；执行步骤320。
[0015]步骤320：依据用户的一个或多个眼睛影像来计算出用户的一个或多个注视点；执行步骤330。
[0016]步骤330：依据用户的一个或多个注视点来提供包含一个或多个用户界面元素的用户界面19；执行步骤340和370。
[0017]步骤340：依据用户界面19的信息和用户的一个或多个注视点来从一个或多个用户界面元素中辨识出和用户进行互动的一特定用户界面元素；执行步骤35本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升用户体验和注视互动准确度的光学系统，其特征在于，包含：一眼动追踪仪，包含：一第一传感器模块，用来捕捉一用户的一个或多个眼睛影像；以及一头戴式显示器，包含：一第一处理器，用来：依据该用户的一个或多个注视点来提供一用户界面，其中该用户界面包含一个或多个用户界面元素，且该用户的该一个或多个注视点依据该用户的该一个或多个眼睛影像来计算出；依据该用户的该一个或多个眼睛影像来求出该眼动追踪仪的一表现图；以及依据该眼动追踪仪的该表现图来调整该一个或多个用户界面元素中至少一用户界面元素；以及一显示屏幕，用来呈现该用户界面。2.如权利要求1所述的光学系统，其特征在于：该眼动追踪仪还包含一第二处理器，用来：接收该第一传感器模块所捕捉的该一个或多个眼睛影像；以及依据该一个或多个眼睛影像来计算出该用户的该一个或多个注视点；且该第一处理器还用来从该第二处理器接收该用户的该一个或多个注视点。3.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：接收该第一传感器模块所捕捉的该一个或多个眼睛影像；以及依据该一个或多个眼睛影像来计算出该用户的该一个或多个注视点。4.如权利要求1所述的光学系统，其特征在于：每一用户界面元素包含一图像元素和一命中框；且该第一处理器调整该至少一用户界面元素包含依据该眼动追踪仪的该表现图来调整该至少一用户界面元素的一相对应图像元素的大小、调整该至少一用户界面元素的一相对应命中框的大小，及/或调整该至少一用户界面元素的该相对应命中框的一凝视时段。5.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：依据该眼动追踪仪的该表现图来调整两相邻用户界面元素之间的距离、调整该多个用户界面元素的布局，及/或调整每一用户界面元素的大小。6.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：依据该用户界面的信息和该用户的该一个或多个注视点来从该一个或多个用户界面元素中辨识出和该用户进行互动的一特定用户界面元素；判断该特定用户界面元素是否被与该用户相关的该一个或多个注视点的一注视指令所触发；以及当该特定用户界面元素被该注视指令触发时，执行对应该特定用户界面元素的一预定动作。7.如权利要求6所述的光学系统，其特征在于：每一用户界面元素包含一图像元素和一命中框；且该第一处理器还用来：当该特定用户界面元素对应至该眼动追踪仪的该表现图上一高信心值时，增加该特定
用户界面元素的一相对应图像元素的大小、缩小该特定用户界面元素的一相对应命中框的大小，及/或缩短该特定用户界面元素的该相对应命中框的一凝视时段；或当该特定用户界面元素对应至该眼动追踪仪的该表现图上一低信心值时，缩小该特定用户界面元素的一相对应图像元素的大小、增加该特定用户界面元素的一相对应命中框的大小，及/或增加该特定用户界面元素的该相对应命中框的一凝视时段。8.如权利要求6所述的光学系统，其特征在于，该第一处理器还用来：当该多个用户界面元素对应至该眼动追踪仪的该表现图上一低信心值时，增加该特定用户界面元素和一相邻用户界面元素之间的距离或调整该多个用户界面元素的布局，以增加该多个用户界面元素在该用户界面上的分布面积。9.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：判断该眼动追踪仪的该表现图的一信心值是否高于一第一临界值；判断该眼动追踪仪的该表现图的该信心值是否高于一第二临界值，其中该第二临界值小于该第一临界值；以及当判定该眼动追踪仪的该表现图的该信心值在该第一临界值和该第二临界值之间时，依据该眼动追踪仪的该表现图来调整该至少一用户界面元素。10.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：当判定该眼动追踪仪的该表现图的该信心值不高于该第二临界值时，将该眼动追踪仪的低表现通知该用户。11.如权利要求10所述的光学系统，其特征在于，该第一处理器还用来：在将该眼动追踪仪的低表现通知该用户后，关闭每一用户界面元素的凝视互动功能及/或要求该用户重新校正该眼动追踪仪。12.如权利要求1所述的光学系统，其特征在于，该第一处理器还用来：依据该眼动追踪仪的一准...

【专利技术属性】
技术研发人员：刘冠麟，邱柏榕，吴奕亨，李魁安，简韶逸，
申请(专利权)人：见臻科技股份有限公司，
类型：发明
国别省市：