使用执行块提供辅助用户界面制造技术

本文描述的实施方式涉及提供辅助用户界面的方法、系统和计算机可读介质。在一些实施方式中，一种提供辅助用户界面的计算机实现的方法包括通过分析包括用户交互数据的数据识别用户旅程，该用户旅程包括执行计算机介导任务的多个操作。该方法还包括分析多个软件应用的应用编程接口(API)定义或多个软件应用的用户界面(UI)元素中的一个或多个以识别多个可执行单元。该方法还包括基于用户旅程和多个可执行单元生成定义多个可执行单元中的两个或更多个的序列的执行块。该执行块的执行完成计算机介导任务。该方法还包括提供包括执行块的辅助用户界面。辅助用户界面。辅助用户界面。

【技术实现步骤摘要】
【国外来华专利技术】使用执行块提供辅助用户界面

技术介绍

[0001]诸如电话、平板计算机、膝上型计算机和台式计算机、可穿戴设备、智能扬声器、智能电器、车载设备等的用户计算设备包括供用户进行娱乐、处理文档、进行金融交易、参与社交互动、导航到目的地等的功能。这样的功能由在用户计算设备和/或从用户计算设备访问的服务器上提供的各种软件应用提供。
[0002]许多计算机介导(mediate)的任务需要用户使用用户计算设备执行操作，以例如通过提供选择输入来导航用户界面；提供文本、音频和/或图像输入；等等。许多任务还需要用户与多个软件应用交互，每个软件应用具有相应的用户界面，或者用户与多个用户计算设备交互。这样的用户交互可能需要用户拥有某些认知和/或运动技能。
[0003]此处提供的背景描述是为了概括地呈现本公开的情境的目的。当前指名的专利技术人的工作，就其在本背景部分中描述的范围而言，以及描述的在提交申请时可能不适格作为现有技术的方面，均未明示或暗示承认为本公开的现有技术。

技术实现思路

[0004]本文描述的实施方式涉及提供辅助用户界面的方法、系统和计算机可读介质。在一些实施方式中，提供辅助用户界面的计算机实现的方法包括通过分析包括用户交互数据的数据识别用户旅程(journey)，该用户旅程包括执行计算机介导任务的多个操作。该方法还包括分析多个软件应用的应用编程接口(API)定义或多个软件应用的用户界面(UI)元素中的一个或多个以识别多个可执行单元。该方法还包括基于用户旅程和多个可执行单元生成定义多个可执行单元中的两个或更多个的序列的执行块。该执行块的执行完成计算机介导任务。该方法还包括提供包括执行块的辅助用户界面。
[0005]在一些实施方式中，该方法还包括接收指示执行块的激活的用户输入并响应于用户输入运行执行块。在一些实施方式中，该方法还包括提供提示以请求用于序列的特定可执行单元的参数并接收包括该参数的用户响应。
[0006]在一些实施方式中，辅助用户界面由虚拟助理应用提供，并且其中，执行块的执行包括由虚拟助理应用调用与多个可执行单元中的两个或更多个中的每一个关联的相应软件应用。在一些实施方式中，该调用包括由虚拟助理应用使用相应软件应用的API定义来执行API调用。在一些实施方式中，该调用包括由虚拟助理应用自动导航由相应软件应用提供的用户界面。在一些实施方式中，自动导航用户界面包括识别由相应软件应用提供的用户界面，并且基于该识别，自动向相应软件应用提供点击输入、触摸输入、语音输入或键盘输入中的一个或多个。
[0007]在一些实施方式中，生成执行块包括将用户旅程的多个操作中的每一个映射到多个可执行单元中的特定可执行单元。
[0008]在一些实施方式中，分析多个软件应用的API定义包括获得与每个API定义关联的语义注释。在这些实施方式中，该方法还包括基于语义注释将与API定义关联的API映射到多个可执行单元中的特定可执行单元。
[0009]在一些实施方式中，分析多个软件应用的UI元素包括将每个UI元素映射到多个可执行单元中的特定可执行单元。在一些实施方式中，UI元素包括显示UI元素。在这些实施方式中，分析显示UI元素包括识别每个显示UI元素的形状、大小、放置、文本或图形内容中的一个或多个。在这些实施方式中，该方法还包括基于对显示UI元素的形状、大小、放置、文本或图形内容的识别，将显示UI元素与特定可执行单元匹配。
[0010]在一些实施方式中，UI元素包括音频UI元素。在这些实施方式中，分析UI元素包括利用语音识别技术来检测音频UI元素的音调或音频UI元素的文本中的一个或多个。在这些实施方式中，该方法还包括基于音调或文本将音频UI元素与特定可执行单元匹配。
[0011]在一些实施方式中，用户交互数据包括多个用户交互事件，并且分析用户交互数据包括将多个用户交互事件分类为多个事件聚类。在这些实施方式中，该方法还包括基于多个事件聚类将多个用户交互事件中的每一个映射到多个可执行单元中的特定可执行单元。在一些实施方式中，多个用户交互事件包括指示计算机介导任务开始的开始事件和指示计算机介导任务结束的结束事件。在一些实施方式中，多个用户交互事件包括与多个软件应用中的第一软件应用和第二软件应用中的每一个关联的至少一个事件。
[0012]在一些实施方式中，辅助用户界面辅助用户界面还包括一个或多个其他执行块，每个其他执行块与相应的计算机介导任务关联。在这些实施方式中，提供辅助用户界面包括基于客户端计算设备的系统状态或与客户端计算设备关联的使用模式中的一个或多个来确定使用情境。在这些实施方式中，提供辅助用户界面还包括确定计算机介导任务和相应的计算机介导任务匹配计算设备的使用情境。
[0013]一些实施方式包括计算设备，该计算设备包括处理器和联接到该处理器的存储器。存储器具有存储在其上的指令，当由处理器执行时，该指令使处理器执行操作，该操作包括通过分析包括用户交互数据的数据识别用户旅程，该用户旅程包括执行计算机介导任务的多个操作。操作还包括分析多个软件应用的应用编程接口(API)定义或多个软件应用的用户界面(UI)元素一个或多个以识别多个可执行单元。该操作还包括基于用户旅程和多个可执行单元生成定义多个可执行单元中的两个或更多个的序列的执行块。执行块的执行，例如，由处理器执行，完成计算机介导任务。该操作还包括提供包括执行块的辅助用户界面。
[0014]在一些实施方式中，分析多个软件应用的API定义的操作包括获得与API定义的每个API定义关联的语义注释，并基于语义注释将与API定义关联的API映射到多个可执行单元中的特定可执行单元。
[0015]在一些实施方式中，用户交互数据包括多个用户交互事件。在这些实施方式中，分析用户交互数据的操作包括将多个用户交互事件分类为多个事件聚类。分析用户交互数据的操作还包括基于多个事件聚类将多个用户交互事件中的每一个映射到多个可执行单元中的特定可执行单元。
[0016]在一些实施方式中，计算设备是服务器并且辅助用户界面还包括一个或多个其他执行块，每个其他执行块与相应的计算机介导任务关联。在这些实施方式中，提供辅助用户界面包括使辅助用户界面由不同于服务器的客户端计算设备显示；基于客户端计算设备的系统状态或与客户端计算设备关联的使用模式中的一个或多个来确定客户端计算设备的使用情境；和确定计算机介导任务和相应的计算机介导任务匹配客户端计算设备的使用情
境。
[0017]一些实施方式包括其上存储有指令的非暂时性计算机可读介质，当由处理器执行时，该指令使处理器执行操作，该操作包括通过分析包括用户交互数据的数据识别用户旅程，该用户旅程包括执行计算机介导任务的多个操作。该操作还包括分析以下中的一个或多个：多个软件应用的应用编程接口(API)定义或多个软件应用的用户界面(UI)元素，以识别多个可执行单元。该操作还包括基于用户旅程和多个可执行单元生成定义多个可执行单元中的两个或更多个的序列的执行块。执行块的执行完成计算机介导任务。该操作还包括提供包括执行块的辅助用户界面。在一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种提供辅助用户界面的计算机实现的方法，所述方法包括：通过分析包括用户交互数据的数据来识别用户旅程，所述用户旅程包括执行计算机介导任务的多个操作；分析以下中的一个或多个：多个软件应用的应用编程接口(API)定义或所述多个软件应用的用户界面(UI)元素，以识别多个可执行单元；基于所述用户旅程和所述多个可执行单元，生成定义所述多个可执行单元中的两个或更多个的序列的执行块，并且其中，所述执行块的执行完成所述计算机介导任务；和提供包括所述执行块的所述辅助用户界面。2.根据权利要求1所述的计算机实现的方法，还包括：接收指示所述执行块的激活的用户输入；和响应于所述用户输入，运行所述执行块。3.根据权利要求2所述的计算机实现的方法，还包括：提供请求用于所述序列的特定可执行单元的参数的提示；和接收包括所述参数的用户响应。4.根据权利要求2所述的计算机实现的方法，其中，所述辅助用户界面由虚拟助理应用提供，并且其中，所述执行块的执行包括由所述虚拟助理应用调用与所述多个可执行单元中的所述两个或更多个中的每一个关联的相应软件应用。5.根据权利要求4所述的计算机实现的方法，其中，所述调用包括：由所述虚拟助理应用使用所述相应软件应用的所述API定义执行API调用；或由所述虚拟助理应用自动导航由相应的软件应用提供的用户界面，其中，所述自动导航包括：识别由所述相应软件应用提供的所述用户界面；和基于所述识别，自动向所述相应软件应用提供以下中的一个或多个：点击输入、触摸输入、语音输入或键盘输入。6.根据权利要求1所述的计算机实现的方法，其中，生成所述执行块包括将所述用户旅程的所述多个操作中的每一个映射到所述多个可执行单元中的特定可执行单元。7.根据权利要求1所述的计算机实现的方法，其中，分析所述多个软件应用的API定义包括对于每个API定义：获得与所述API定义关联的语义注释；和基于所述语义注释，将与所述API定义关联的API映射到所述多个可执行单元中的特定可执行单元。8.根据权利要求1所述的计算机实现的方法，其中，分析所述多个软件应用的UI元素包括将每个UI元素映射到所述多个可执行单元中的特定可执行单元。9.根据权利要求8所述的计算机实现的方法，其中，所述UI元素包括显示UI元素，并且其中，分析所述显示UI元素包括：识别以下中的一个或多个：每个显示UI元素的形状、大小、放置、文本或图形内容；和基于所述识别将所述显示UI元素与所述特定可执行单元匹配。10.根据权利要求8所述的计算机实现的方法，其中，所述UI元素包括音频UI元素，并且其中，分析所述UI元素包括，对于每个音频UI元素：
利用语音识别技术来检测以下中的一个或多个：音频UI元素的音调或音频UI元素的文本；和基于所述音调或所述文本将所述音频UI元素与所述特定可执行单元匹配。11.根据权利要求1所述的计算机实现的方法，其中，所述用户交互数据包括多个用户交互事件，并且分析所述用户交互数据包括：将所述多个用户交互事件分类为多个事件聚类；和基于所述多个事件聚类，将所述多个用户交互事件中的每一个映射到所述多个可执行单元中的特定可执行单元。12.根据权利要求11所述的计算机实现的方法，其中，所述多个用户交互事件包括指示所述计算机介导任务的开始的开始事件和指示所述计算机介导任务的结束的结束事件。1...

【专利技术属性】
技术研发人员：A纳拉亚南，K戈尔德曼，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：