通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置制造方法及图纸

本发明专利技术的方法及装置目标涉及一种通过以简单的交互技术为特征的眼睛控制使用通用软件应用的系统，所述交互技术最小化操纵软件所需的用户的认知努力并允许克服由眼睛跟踪系统的固有的准确性问题产生的问题。事实上，这种技术不提供使用通过凝视移动的鼠标的指针控制各种软件应用而是使用通过合适的交互技术的使用是舒适的并且不涉及通过用户更加努力的专注的不同的应用。事实上已经做出还通过使用视觉反馈简化在用户和机器之间的交互过程的尝试，所述视觉反馈允许由用户执行鼠标的相同操作而没有由于眼睛跟踪器件的准确性问题产生典型的用户挫败。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及通过眼睛跟踪器件，即通过使用眼睛移动，控制通用软件应用的系统及方法的领域。没有机会使用鼠标访问软件应用，用户应该利用允许他/她通过眼睛移动执行可以使用鼠标执行的相同操作的技术。为此，已开发了允许用户显著减少将要进行的认知努力的技术和设计。现有技术的状态眼睛移动的跟踪潜在地向用户提供了通过简单地看着其显示器控制个人计算机的软件的可能性。然而，在使用用于控制个人计算机的软件的眼睛移动的跟踪系统-或眼睛跟踪系统期间存在使用户感到挫败的问题。特别地，眼睛应该同时表现为输入和输出器件，即它们应该探索并执行正确的动作。而且，眼睛跟踪器件遭受在测量屏幕上的凝视的位置方面的固有的准确性问题。因此，考虑到许多软件程序需要几毫米的准确度，以及其他的软件程序也需要就像素而言可估计的准确度，传感器的准确性总是受到误差(在显示器上的当前光标位置与由用户想要的光标位置相比较之间的差异)的影响且这使得不能容易地控制大部分的软件应用。因此眼睛跟踪系统的使用一般局限于专为残障用户制作的需要低指向精度的软件。事实上，用户应该从一系列相对较大的单元中做出他/她的选择，在相对较大的单元中准确性的误差影响较小。相反，在通用软件应用的领域中，用于控制应用的眼睛跟踪系统的使用，例如，通过跟随凝视的方向每秒被更新许多次的光标的移动，对于需要显著的专注的努力的用户来说——他们很快产生疲劳，准确性的误差使用户的任务十分困难。由用户做出的通过朝向光标应该被放置的位置重定向他/她的凝视以纠正误差的任何尝试只不过使光标的使用越来越有问题且累人。在现有技术状态中使用的一些解决方案通过放大个人计算机的显示器的一部分提供了解决上述问题的方法，为的是提高在光标的位置方面的准确性。然而，因为在这些情况下还存在补偿误差，所以这种方法是不充分的，从而继续使用户感到挫败，而且暗示着增加的界面的复杂性，这可能造成混乱和分心。当前可用的其他的解决方案暗示“离屏”菜单的出现，其允许用户通过仿真可以利用鼠标执行的不同操作(单击、双击、右击、拖放)选择要执行哪个动作。而且，在一些情况下，可以通过将凝视指向设置在薄的涂塑纸板带上的图标激活想要的功能，所述涂塑纸板被定位在监视器的垂直周边上因此眼睛应该在图标上或在想要的功能上激活功能之前选择到其的外部功能，然后将将通过凝视控制的光标移向想要的图标或应用。在另外的其他的情况下，还可能控制与眼睛跟踪系统连接的第二 PC，第二 PC的监视器应该被安装在眼动跟踪仪的监视器的旁边以给用户容易地观察鼠标对应用的控制的机会。利用在屏幕视图上的凝视，鼠标指针的方向被激活在眼睛跟踪器件的监视器上， 并且一旦选择方向，在另一 PC上可观察到该效果；只要凝视从想要控制的PC上移开，指针停止以及可以选择想要的命令。因此，可以利用眼睛跟踪系统通过鼠标的仿真控制连接的第二 PC。原则上，我们可以断言，与迄今为止所实现的那些相反，具有在其上所描绘的元素不过多地干预软件的正常使用的显示器是可行的，其原因如下用户的注意力随着在屏幕上描绘的元素数量的逐渐增加指数下降，用户通常不大熟悉眼睛跟踪器件，而且可能受到认知障碍的影响使得对眼睛跟踪器件的利用望而却步。由于上述原因，本专利技术的目标是提供一种用于通过能够克服上面列出的缺陷的眼睛跟踪系统控制个人计算机的方法。一个主要要求仍然是通过确保界面接受“自然的”输入和“自然地”响应并容易理解以最小化操纵软件所需的认知努力。由于此原因，将有必要开发一个使用交互技术的对于用户没有压力的界面。考虑到许多输入是无意的，系统应该正确地解释它们而不产生由非自愿的动作所造成的未经请求的响应。因此，如果不是他/她打算发出的命令，这种系统应该能够区分用户的真正意愿同时让他/她安然地观察界面；另一方面，用户应该能够评估系统的当前状态是什么，以意识到他/她的意图是否被正确地解释以避免非自愿命令的执行。还应该强调的是，虽然现有技术状态的系统通过经由眼睛控制的鼠标的仿真(凝视的移动转换成光标的移动)控制操作系统，本专利技术的目标是在修改的并使得适于通过眼睛控制选择模式的新交互器中提供一种个人计算机的操作系统的“原始的”本地交互器的新映射(光标等)。因此，本专利技术建立一种“直接通道”，因为光标的仿真通过以下事实克服本地交互器被那些修改过的并适应于需要使用凝视作为输入系统的交互器所取代。而且，虚拟机的使用提供了进一步的优势，其允许管理并建立虚拟环境以执行具有相关的软件应用的进一步的操作系统以及用户可以一开始同时使用虚拟机。优势之一是安全性虚拟机是完全孤立且独立的以及虚拟机的突然崩溃不涉及主机操作系统的崩溃； 因此不需要重启计算机而只终止虚拟机并再次启动它同时避免损坏例如文件系统。由于依据本专利技术的方法被集成在一个通信套件中，通过使用虚拟机可能简单地、 快速地且安全地通过以下描述的控制技术从使用经典的PC应用移动(通过暂停虚拟机) 至专门设计用于通过眼睛控制被使用的通信套件，从而克服现有技术状态中的系统问题， 现有技术状态中的系统提供了从一种模式移动至另一种模式的相当复杂的程序。同时，用户可以通过合适的快捷方式直接选择执行在通信套件内部的一些预定义的应用，从而克服直接从操作系统执行的可能的问题。附图简述附图说明图1示出了依据本专利技术的方法的结构框图。图2示出了依据本专利技术的方法的流程图。图3示出了关于过滤来自眼睛跟踪器件的粗糙数据的模块的流程图。图4示出了关于应用控制模块的流程图。图5示出了关于坐标映射模块的流程图。图6示出了关于与在屏幕视图中的交互器相关的数据恢复策略的流程图。图7-10通过非限制性实施例的方式示出了本专利技术的应用目标的图形界面的可能的实施方式。专利技术_既述本专利技术的目标由通过眼睛控制使用通用操作系统和与其连接的通用软件应用的方法和装置组成。本专利技术的其他目标由通过交互技术开发的合适的交互方法和如在权利要求中描述的直观且易于使用的用户界面组成，权利要求构成本说明书的不可分割的一部分。因此本专利技术的方法目标描绘了一种基于选择性的且自然的输入，例如凝视，的辅助技术的可能的实施方式，在通用操作系统和与其连接的应用的控制方面极具创新性。本专利技术的详细描述在本专利技术的优选实施方式中，本专利技术的装置目标包括数据及信息处理的电子设备、存储所述数据及信息的设备和用户界面设备。所述电子数据及信息处理设备包括合适的控制部分，优选地基于至少一个微处理器，以及例如可以由个人计算机提供。所述存储设备优选地包括硬盘和闪存类型的存储器件。所述用户界面设备优选地包括数据可视化设备，例如显示器、监视器或模拟外部输出单元和适应于解释用户的凝视方向的眼睛跟踪器件。所述微处理器优选地配备有操作系统、通过虚拟机的使用和通过实现图1中描述的方法结构的合适的软件程序建立的合适的虚拟环境，包括以下模块，依次包括适应于执行具体任务的一系列指令过滤模块10，在过滤模块10中处理用户的凝视的坐标以使来自所使用的眼睛跟踪器件的粗糙数据更加稳定；一种模块，即操作系统/应用控制模块11，负责控制操作系统及与此相关联的应用并负责运行开发应用图形界面，所述界面包含关于在屏幕视图中的交互器的信息并执行与由用户在那一刻注视的交互器相关联的本地动作，所述交互器是在界面中的可激活的元素图标、弹出下拉式菜单、复选框等本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.09.11 IT FI2009A0001981.一种通过眼睛控制来使用通用软件应用的方法，包括以下步骤a)在与合适的数据处理设备相关联的合适的给定的可视化设备上可视化00)控制用户界面以允许用户控制操作系统以及所述数据处理设备的相关联的应用程序；b)通过包括在与所述数据处理设备相关联的合适的用户界面设备中的眼睛跟踪器件 21 (眼动跟踪仪)检测以粗糙数据形式的用户的凝视的坐标，即关于每一用户的眼睛的凝视的坐标的采样；c)对所述粗糙数据进行过滤0 以使其稳定且适于提供关于用户的注视的指示，即在某些周围内的用户的凝视的数量；d)将经过过滤的表示成注视点的x，y坐标的数据发送至操作系统/应用控制模块(11)，所述操作系统/应用控制模块(11)通过定义要执行的动作和要在所述控制用户界面上要引入的改变来处理所述数据；所述操作系统/应用控制模块(11)包括一套指令以控制操作系统和相关的应用以及运行开发应用图形界面，所述开发应用图形界面包含关于在屏幕视图中出现的交互器的信息并执行与由用户在那一刻注视的所述交互器相关联的本地动作；e)执行由前述步骤03)确定的动作以及，在必要的情况下，依据所发生的动作适当地修改所述控制用户界面；f)重复从步骤b)开始的序列直到用户决定退出他正在使用的应用程序。2.如权利要求1所述的方法，其中依据前述步骤c)的粗糙数据的过滤程序通过以下步骤执行g)通过使用统计标准检测和剔除非有效的采样来预过滤(30)所述粗糙数据；h)在可能是由用户注视的一个点处将右眼的凝视的坐标和左眼的凝视的坐标结合 (31)；i)计算(3 与期望的采样数量(依据预先考虑的采样数量定义)比较时的平均值和标准偏差；j)为估算值定义(33)公差；k)选择(34)可接受的数据，依据在前述步骤i)和步骤j)中所阐述的，在与那些将被丢弃的数据比较的情况下，区分出所述可接受的数据。3.如权利要求1-2所述的方法，其中依据步骤d)的从所述操作系统/应用控制模块 (11)接收的数据的处理依据以下的步骤序列执行1)通过界面管理模块(13A)分析用户想通过眼睛控制来控制的应用程序或操作系统的屏幕视图以及将关于所述屏幕视图和在实际用户界面中出现的所述交互器的信息发送 (40)至坐标映射模块(12A)；所述界面管理模块(13A)包括一套能够分析所述屏幕视图并能够检测关于所述屏幕视图及相关的所述交互器的信息的指令；所述坐标映射模块(12A) 包括一套能够执行关于所述屏幕视图及相关的所述交互器的坐标的新映射的指令；m)通过与关于来自所述眼动跟踪仪的用户的凝视的数据的比较通过所述坐标映射模块(12A)执行关于所述屏幕视图及相关的所述交互器的坐标的新映射(41)，如果与具有与定义来自所述眼动跟踪仪的凝视的坐标的系统不同的原点的轴的另一系统比较，所述新映射允许定义来自客户端模块(1 的关于在所述屏幕视图中的所述交互器的位置的坐标； 所述客户端模块(1 包括一套能够定义在实际屏幕视图中出现的所述交互器的位置和功能的指令；η)交互器管理模块(12Β)再次取出0 在所检测的凝视的周围中出现的所述交互器， 在所述界面上适当地显示它们并可能地修改它们，所述交互器管理模块(12B)包括一套能够执行输入的“凝视”的控制的指令以限定哪些交互器由用户限...

【专利技术属性】
技术研发人员：保罗·因韦尔尼齐，
申请(专利权)人：SR兰博斯有限责任公司，
类型：发明
国别省市：