自动调整用户界面以用于免提交互制造技术

本发明专利技术公开了一种用于诸如虚拟助理之类的系统的用户界面，所述用户界面被自动调整以用于免提使用。通过自动或手动部件来检测免提情境，并且所述系统对复杂交互系统的多个阶段进行调整以修改所述用户体验从而反映此类情境的特定限制。本发明专利技术的所述系统因此允许诸如虚拟助理之类的复杂系统的单个具体实施，以动态地提供用户界面元素并更改用户界面行为，从而在不妨碍所述相同系统的针对手持使用的用户体验的情况下允许免提使用。

【技术实现步骤摘要】
【国外来华专利技术】自动调整用户界面以用于免提交互
本专利技术涉及多模态用户界面，并且更具体地讲，涉及包括基于语音的模态和视觉模态这两者的用户界面。
技术介绍
许多现有操作系统和设备使用语音输入作为用户可借以控制操作的模态。一个实例为语音命令系统，其将具体言语命令映射成操作，例如以通过讲出人名来发起电话号码的拨号。另一个实例为交互式语音响应(IVR)系统，其允许人们通过诸如自动电话服务台之类的电话来访问静态信息。许多语音命令和IVR系统在范围上相对狭窄且仅可处理预定的一组语音命令。此夕卜，其输出通常获自固定的一组响应。一种智能自动助理，在本文中也称为虚拟助理，能够在人与计算机之间提供改进的接口，包括自然语言输入的处理。此类助理可如2011年I月10日提交的相关美国实用专利申请序列号12/987,982的“Intelligent Automated Assistant”所述来实施,所述申请的全部公开内容以引用方式并入本文，此类助理允许用户使用自然语言(以语音和/或文本的形式)与设备或系统交互。此类助理解译用户输入，将用户的意图实施为任务以及这些任务的参数，执行服务以支持这些任务，并产生对用户而言可理解的输出。虚拟助理能够使用通用语音和自然语言理解技术以识别更大范围的输入，从而能够生成与用户的对话。一些虚拟助理可以模式的组合生成输出，所述模式包括言语反应和书面文本，并且所述虚拟助理还可提供允许屏幕上元素的直接操控的图形用户界面(GUI)。然而，用户可能无法始终处于他/或她可利用此类视觉输出或直接操控界面的情况。例如，用户可能正在驾驶或操作机械，或者可能具有视力残疾，或者可能只是对视觉界面不适应或不熟悉。用户阅读屏幕或通过接触(包括使用键盘、鼠标、触摸屏、指向设备等)与设备进行交互的能力的缺失或限制的任何情况在本文中称为“免提情境”。例如，在用户试图在驾驶的同时操作设备的情况下，如上文所提及，用户可听到语音输出并使用其声音进行响应，但出于安全原因，不应阅读小号字体，触击菜单，或输入文本。免提情境对诸如虚拟助理之类的复杂系统的构建者提出了特殊挑战。用户要求无论是否在免提情境下均全面获取设备的特征。然而，如果未考虑免提操作中固有的特定限制，则可引起设备或系统的实用性和可用性两者受到限制的情况，并且可甚至通过使用户从诸如操作车辆的主要任务中分心而妨碍安全性。
技术实现思路
根据本专利技术的各种实施例，诸如虚拟助理之类的系统的用户界面被自动调整以适于免提使用。通过自动或手动部件来检测免提情境，并且所述系统对复杂的交互系统的各个阶段进行调整以修改用户体验以反映此类情境的特定限制。本专利技术的系统因此允许虚拟助理或其他复杂系统的单个具体实施以动态地提供用户界面元素并更改用户界面行为，以在不妨碍相同系统的针对手持使用的用户体验的情况下允许免提使用。例如，在各种实施例中，本专利技术的系统提供用于调节虚拟助理的操作的机制，使得该系统以允许用户完成其任务而不必阅读屏幕上的细节的方式提供输出。此外，在各种实施例中，虚拟助理可提供用于接收语音输入的机制，以作为阅读、轻敲、点击、键入或执行通常使用图形用户界面实现的其他功能的替代形式。在各种实施例中，本专利技术的系统在允许与免提情境相关的特定要求和限制的同时提供与常规图形用户界面的基础功能性相同(或近似)的基础功能性。更一般地讲，本专利技术的系统在有利于免提情境中的操作的同时允许核心功能性保持基本上相同。在一些实施例中，根据本专利技术的技术构建的系统允许用户在单个会话中的一些情况下在免提模式与常规(“手持”)模式之间自由选择。例如，可将相同界面制作成可适应于办公室环境和移动车辆这两者，其中系统随着环境变化而动态地对用户界面行为做出必要的更改。根据本专利技术的各种实施例，可实施任何数量的机制以用于针对免提情境调整虚拟助理的操作。在各种实施例中，虚拟助理是如2011年I月10日提交的美国实用专利申请序列号为12/987，982的“Intelligent Automated Assistant”的智能自动助理,所述申请的全部公开内容以引用的方式并入本文。此类助理使用自然语言对话以整合的会话方式与用户交互，并在适合获取信息或执行各种动作时调用外部服务。根据本专利技术的各种实施例，虚拟助理可被配置为、设计为和/或可操作以检测免提情境并在执行各种不同类型的操作、功能性和/或特征的过程中相应地调节其操作，和/或对其上安装有虚拟助理的电子设备的多个特征、操作和应用程序进行组合。在一些实施例中，本专利技术的虚拟助理可检测免提情境并在接收输入、提供输出、参与用户的对话、和/或基于所辨识的意图执行(或发起)动作时相应地调节其操作。可例如通过激活和/或与电子设备上可用的任何应用程序或服务以及通过诸如互联网之类的电子网络而可用的服务交互来执行动作。在各种实施例中，可通过应用程序编程接口(API)或由任何其他合适的一个或多个机制执行外部服务的此类激活。以此方式，根据本专利技术的各种实施例实施的虚拟助理可针对电子设备的多种不同应用程序和功能并相对于通过互联网而可用的服务提供免提使用环境。如在上文所引用的相关专利申请中所述，此类虚拟助理的使用可为用户减轻以下负担:了解哪种功能性在设备上以及在联网型服务上可用；如何与此类服务交互以获取他/或她所想要的内容；以及如何解译从此类服务接收的输出；相反，本专利技术的助理可充当用户与此类多样化服务之间的媒介。此外，在各种实施例中，本专利技术的虚拟助理提供一种会话界面，用户可发现该会话界面比常规图形用户界面更直观且更简洁。用户可部分地根据免提或手持情境是否激活来使用多个可用输入和输出机制中的任一者以会话对话的形式与助理交互。此类输入和输出机制的实例不受限制地包括语音、图形用户界面(按钮和链接)、文本输入等。可使用多个不同平台中的任一者实施该系统，所述平台为诸如设备AP1、web、电子邮件等或它们的任何组合。可在以听觉和/或视觉的方式呈现会话的情境中向用户呈现附加输入请求。可采用短期和长期存储器，使得可鉴于给定会话内的先前事件和通信以及关于用户的历史和简况信息而在正确的情境中解译用户输入。在各种实施例中，本专利技术的虚拟助理可控制电子设备的各种特征和操作。例如，虚拟助理可通过API或通过其他手段调用与设备上的功能性和应用程序交互的服务，以执行换句话讲可能使用设备上的常规用户界面发起的功能和操作。此类功能和操作可包括例如设置警报、拨打电话、发送文本信息或电子邮件信息、添加日历事件，等等。此类功能和操作可作为插件功能在用户与助理之间的会话对话的情境中执行。此类功能和操作可由用户在此类对话的情境中指定，或者它们可基于对话的情境而自动执行。本领域的技术人员将认识到，助理可由此被用作发起和控制电子设备上的各种操作的机制。通过收集造成与用户当前情况有关的干扰的情境证据，并通过相应地调节用户界面的操作，本专利技术的系统能够呈现用于启用虚拟助理的免提操作的机制以实施用于控制所述设备的此类机制。根据一些实施例，一种方法包括在处理器处检测免提情境是否激活。该方法还包括在输出设备处提示用户进行输入。该方法还包括在输入设备处接收用户输入。该方法还包括在处理器处解译所接收的用户输入以获得用户意图的表示；至少部分地基于所获得的用户意图的表示来识别至少一个任务以及所述本文档来自技高网...

【技术保护点】
一种用于解译用户输入以在具有至少一个处理器的计算设备上执行任务的计算机实现的方法，包括：在处理器处，检测免提情境是否激活；在输出设备处，提示用户进行输入；在输入设备处，接收用户输入；在所述处理器处，解译所接收的用户输入以得到用户意图的表示；在所述处理器处，至少部分地基于所得到的用户意图的表示，识别至少一个任务和所述任务的至少一个参数；在所述处理器处，使用所述至少一个参数执行所述至少一个任务，以得到结果；在所述处理器处，基于所得到的结果生成对话响应；以及在所述输出设备处，输出所生成的对话响应；其中，响应于检测到所述设备在免提情境中，以与跟所述免提情境相关的限制相一致的方式执行以下步骤中的至少一者：提示所述用户进行输入，接收用户输入，解译所述接收用户输入，识别所述至少一个任务和所述任务的至少一个参数，以及生成所述对话响应。

【技术特征摘要】
【国外来华专利技术】2011.09.30 US 13/250,9471.一种用于解译用户输入以在具有至少一个处理器的计算设备上执行任务的计算机实现的方法，包括: 在处理器处，检测免提情境是否激活； 在输出设备处，提示用户进行输入； 在输入设备处，接收用户输入； 在所述处理器处，解译所接收的用户输入以得到用户意图的表示； 在所述处理器处，至少部分地基于所得到的用户意图的表示，识别至少一个任务和所述任务的至少一个参数； 在所述处理器处，使用所述至少一个参数执行所述至少一个任务，以得到结果； 在所述 处理器处，基于所得到的结果生成对话响应；以及 在所述输出设备处，输出所生成的对话响应； 其中，响应于检测到所述设备在免提情境中，以与跟所述免提情境相关的限制相一致的方式执行以下步骤中的至少一者:提示所述用户进行输入，接收用户输入，解译所述接收用户输入，识别所述至少一个任务和所述任务的至少一个参数，以及生成所述对话响应。2.根据权利要求1所述的方法，其中至少两个交互模式可用于用户与所述计算设备进行交互，并且其中: 响应于检测到所述设备在免提情境中，使用适于免提操作的第一交互模式执行以下步骤中的至少一者:提示所述用户进行输入，接收用户输入，解译所述接收用户输入，识别所述至少一个任务和所述任务的至少一个参数，以及生成所述对话响应；以及 响应于检测到所述设备不在免提情境中，使用不适于免提操作的第二交互模式执行以下步骤中的至少一者:提示所述用户进行输入，接收用户输入，解译所述接收用户输入，识别所述至少一个任务和所述任务的至少一个参数，以及生成所述对话响应。3.根据权利要求1-2中任一项所述的方法，其中，检测免提情境是否激活包括检测指示选自在以下各项的至少一者中的限制的状况: 用户查看由所述计算设备呈现的视觉输出的能力； 用户与由所述计算设备呈现的图形用户界面交互的能力； 用户使用所述计算设备的物理组件的能力； 用户在所述计算设备上执行触摸输入的能力； 用户在所述计算设备上激活开关的能力；和 用户在所述计算设备上使用键盘的能力。4.根据权利要求1-3中任一项所述的方法，其中，提示所述用户进行输入包括: 响应于检测到所述设备不在免提情境中，通过不适于所述免提情境的第一输出模式提示所述用户；以及 响应于检测到所述设备在免提情境中，通过适于所述免提情境的第二输出模式提示所述用户。5.根据权利要求4所述的方法，其中: 通过第一输出模式提示所述用户包括通过视觉输出模式提示所述用户；以及 通过第二输出模式提示所述用户包括通过听觉输出模式提示所述用户。6.根据权利要求5所述的方法，其中:通过视觉输出模式提示所述用户包括在显示屏上显示提示；以及 通过听觉输出模式提示所述用户包括输出语音提示。7.根据权利要求1-6中任一项所述的方法，其中，解译所接收的用户输入包括: 响应于检测到所述设备在免提情境中，使用与免提操作相关的词汇表解译所接收的用户输入。8.根据权利要求1-7中任一项所述的方法，其中，识别至少一个任务和所述任务的至少一个参数包括:响应于检测到所述设备在免提情境中，执行与免提操作相关的至少一个任务流程识别步骤。9.根据权利要求8所述的方法，其中，执行与免提操作相关的至少一个任务流程识别步骤包括通过基于语音的界面来提示所述用户检查和确认输入的内容。10.根据权利要求8-9中任一项所述的方法，其中，执行与免提操作相关的至少一个任务流程识别步骤包括使用听觉输出执行至少一个任务流程步骤。11.根据权利要求8-10中任一项所述的方法，其中，执行与免提操作相关的至少一个任务流程识别步骤包括执行从适用于所述免提情境的一组有限的可用任务流程步骤中选择的至少一个任务流程步骤。12.根据权利要求1-11中任一项所述的方法，其中，生成对话响应包括:响应于检测到所述设备在免提情境中，以基于语音的输出模式生成对话响应。13.根据权利要求12所述的方法，其中，以基于语音的输出模式生成对话响应包括以语音形式改述所述用户输入的至少一部分。14.根据权利要求13所述的方法，其中，以基于语音的输出模式生成对话响应还包括使用多个嗓音区分所改述的用户输入与其他语音输出来生成语音。15.根据权利要求13-14中任一项所述的方法，其中，以基于语音的输出模式生成对话响应包括将对话模板与个人数据的至少一项进行组合。16.根据权利要求1所述的方法，其中，检测免提情境是否激活包括选自以下各项中的至少一者: 接收指定免提情境的用户输入； 从至少一个传感器接收指示与免提情境相关的环境状况的数据； 检测与免提情境相关的外围设备的连接； 检测与免提情境不相关的外围设备的断开； 检测与车辆的车载系统的通信； 检测当前位置；以及 检测当前速度。17.根据权利要求1-16中任一项所述的方法，其中: 提示所述用户包括通过会话界面提示所述用户；并且 接收用户输入包括通过所述会话界面接收用户输入。18.根据权利要求1-17中任一项所述的方法，其中，接收用户输入包括: 接收语音输入；以及 将所述语音输入转换为文本表不。19.根据权利要求1-18中任一项所述的方法，其中，所述计算设备包括选自以下各项中的至少一者: 电话； 智能手机； 平板电脑； 膝上型计算机； 个人数字助理； 台式计算机； ?目息亨; 消费电子设备； 消费娱乐设备； 音乐播放器； 照相机； 电视； 电子游戏单元；和 机顶盒。20.一种用于解译用户输入以在具有至少一个处理器的计算设备上执行任务的计算机程序产品，包括: 非暂时性计算机可读存储介质；和 在所述介质上编码的计算机程序代码，所述计算机程序代码被 配置为使至少一个处理器执行以下步骤: 检测免提情境是否激活； 使输出设备提示用户进行输入； 通过输入设备接收用户输入； 解译所接收的用户输入以得到用户意图的表示； 至少部分地基于所得到的用户意图的表示来识别至少一个任务和所述任务的至少一个参数； 使用所述至少一个参数执行所述至少一个任务，以得到结果； 基于所得到的结果生成对话响应；以及 使所述输出设备输出所生成的对话响应； 其中，响应于检测到所述设备在免提情境中，所述计算机程序代码被配置为使至少一个处理器以与跟所述免提情境相关的限制相一致的方式执行以下步骤中的至少一者:提示所述用户进行输入，接收用户输入，解译所述接收用户输入，识别所述至少一个任务和所述任务的至少一个参数，以及生成所述对话响应。21.根据权利要求20所述的计算机程序产品，其中，至少两个交互模式可用于用户与所述计算设备进行交互，并且其中: 响应于检测到所述设备在免提情境中，所述计算机程序代码被配置为使至少一个处理器使用适于免提操作的第一交互模式执行以下步骤中的至少一者:提示所述用户进行输入，接收用户输入，解译所述接收用户输入，识别所述至少一个任务和所述任务的至少一个参数，以及生成所述对话响应；以及响应于检测到所述设备不在免提情境中，所述计算机程序代码被配置为使至少一个处理器使用不适于免提操作的第二交互模式执行以下步骤中的至少一者:提示所述用户进行输入，接收用户输入，解译所述接收用户输入，识别所述至少一个任务和所述任务的至少一个参数，以及生成所述对话响应。22.根据权利要求20-21中任一项所述的计算机程序产品，其中，被配置为使至少一个处理器检测免提情境是否激活的所述计算机程序代码包括被配置为使至少一个处理器检测指示选自在以下各项中的至少一者中的限制的状况的计算机程序代码: 用户查看由所述计算设备呈现的视觉输出的能力； 用户与由所述计算设备呈现的图形用户界面交互的能力； 用户使用所述计算设备的物理组件的能力； 用户在所述计算设备上执行触摸输入的能力； 用户在所述计算设备上激活开关的能力；和 用户在所述计算设备上使用键盘的能力。23.根据权利要求20-22中任一项所述的计算机程序产品，其中，被配置为使输出设备提示用户进行输入的所述计算机程序代码包括: 被配置为使输出设备响应于检测到所述设备不在免提情境中来通过不适于所述免提情境的第一输出模式提示所述用户的计算机程序代码；和 被配置为使输出设备响应于检测到所述设备在免提情境中来通过适于所述免提情境的第二输出模式提示所述用户的计算机程序代码。24.根据权利要求20-23中任一项所述的计算机程序产品，其中，被配置为使至少一个处理器解译所接收的用户输入的所述计算机程序代码包括: 被配置为使至少一个处理器响应于检测到所述设备在免提情境中来使用与免提操作相关的词汇表解译所接收的用户输入的计算机程序代码。25.根据权利要求20-24中任一项所述的计算机程序产品，其中，被配置为使至少一个处理器识别至少一个任务和所述任务的至少一个参数的所述计算机程序代码包括被配置为使至少一个处理器响应于检测到所述设备在免提情境中来执行与免提操作相关的至少一个任务流程识别步骤的计算机程序代码。26.根据权利要求20-25中任一项所述的计算机程序产品，其中，被配置为使至少一个处理器生成对话响应的所述计算机程序代码包括被配置为使至少一个处理器响应于检测到所述设备在免提情境中而以基于语音的输出模式生成对话响应的计算机程序代码。27.根据权利要求20所述的计算机程序产品，其中，被配置为使至少一个处理器检测免提情境是否激活的所述计算机程序代码包括被配置为使至少一个处理器执行选自以下各项中的至少一者的计算机程序代码: 接收指定免提情境的用户输入； 从至少一个传感器接收指示与免提情境相关的环境状况的数据； 检测与免提情境相关的外围设备的连接； 检测与免提情境不相关的外围设备的断开； 检测与车辆的车载系统的通信； 检测当前位置；以及检测当前速度。28.根据权利要求20-27中任一项所述的计算机程序产品，其中: 被配置为使输出设备提示所述用户的所述计算机程序代码包括被配置为使输出设备通过会话界面提示所述用户的计算机程序代码；并且 被配置为使至少一个处理器接收用户输入的所述计算机程序代码包括被配置为使至少一个处理器通过所述会话界面接收用户输入的计算机程序代码。29.根据权利要求20-28中任一项所述的计算机程序产品，其中，被配置为使至少一个处理器接收用户输入的所述计算机程序代码包括: 被配置为使至少一个处理器接收语音输入的计算机程序代码；和 被配置为使至少一 个处理器将所述语音输入转换为文本表示的计算机程序代码。30.根据权利要求20-29中任一项所述的计算机程序产品，其中，所述计算设备包括选自以下各项的至少一者: 电话； 智能手机； 平板电脑； 膝上型计算机； 个人数字助理； 台式计算机； ?目息亨; 消费电子设备； 消费娱乐设备； 音乐播放器； 照相机； 电视； 电子游戏单元；和 机顶盒。31.一种用于解译用户输入以在计算设备上执行任务的系统，包括: 输出设备，所述输出设备被配置为提示用户进行输入； 输入设备，所述输入设备被配置为接收用户输入； 至少一个处理器，所述处理器通信地耦接到所述输出设备和所述输入设备并被配置为执行以下步骤: 检测免提情境是否激活； 解译所接收的用户输入以得到用户意图的表示； 至少部分地基于所得到的用户意图的表示来识别至少一个任务和所述任务的至少一个参数； 使用所述至少一个参数执行所述至少一个任务，以得到结果；以及 基于所得到的结果生成对话响应；并且 其中，所述输出设备进一步被配置为输出所生成的对话响应； 并且其中，响应于检测到所述设备在免提情境中，以与跟所述免提情境相关的限制相...

【专利技术属性】
技术研发人员：托马斯·罗伯特·格鲁贝尔，哈里·J·萨德勒，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US