要经由自动助理执行的一系列所请求的动作的协调执行制造技术

本文中阐述了用于经由对自动助理的口头话语创建用户所请求的动作的执行顺序的实施方式。所请求的动作的执行顺序可以是基于每个所请求的动作如何能够或被预测影响其他所请求的动作。在一些实施方式中，可以基于机器学习模型的输出来确定一系列动作的执行顺序，所述机器学习模型诸如是根据监督学习而已训练的模型。至少相对于其他可能的执行顺序，可以选择特定的执行顺序来减轻处理、内存和网络资源的浪费。使用表征自动助理的过去执行的交互数据，可以随时间适应某些执行顺序，从而允许自动助理从与一个或多个用户的过去交互中进行学习。行学习。行学习。

【技术实现步骤摘要】
【国外来华专利技术】要经由自动助理执行的一系列所请求的动作的协调执行

技术介绍

[0001]人类可以使用本文称为“自动助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“会话代理”等)来参与人机对话。例如，人类(当他们与自动助理交互时可以称为“用户”)可以使用在一些情况下可以被转换为文本并且然后进行处理的口头自然语言输入(即，话语)和/或通过提供文本(例如，键入的)自然语言输入来向自动助理提供命令和/或请求。自动助理通过提供响应的用户界面输出来响应请求，该用户界面输出可以包括可听和/或可视的用户界面输出。
[0002]在许多情况下，自动助理可以根据用户在指定所请求的动作时阐述的顺序来排他地执行动作。这能够证明是有问题的，特别是当用户提供包括对要执行的多个不同动作的请求的单个自然语言输入时。例如，用户能够按照用户在讲出请求之前可能尚未充分地考虑的顺序阐述对要执行的一系列动作的请求。结果，可能无意地延迟否则可能被相对较快地执行的某些动作，从而将等待时间和其他计算低效引入到自动助理的某些性能方面中。
[0003]作为一个示例，如果用户请求提供媒体流并执行web搜索，则自动助理可以因此优先考虑提供媒体流，从而延迟web查询的执行—其在许多情况下否则能够被相对较快地执行。如果当正在提供连续媒体回放时用户忘记web查询，则用户可以随后重新发出同一请求，从而在处理重复请求上浪费计算资源。此外，当自动助理排他地依靠用户指示要执行的动作序列的顺序时，可能不顺序地安排诸如下载、缓存和/或渲染数据的某些过程以便以最佳方式执行。

技术实现思路

[0004]本文描述的是与用于为多个所请求的自动助理动作创建执行顺序的系统、方法和装置有关的实现方式。具体地，用户能够经由单个口头话语来请求动作，并且能够根据每个所请求的动作能够或被预测为如何影响另一所请求的动作来安排动作的执行顺序。例如，口头话语能够包括对要执行的多个动作的请求，并且多个动作中的至少一个动作能够对应于对话发起查询。如果要在其他多个动作之前优先考虑对话发起查询，则其他动作的执行将被推迟直到用户与自动助理之间的对话完成了为止。因此，为了减轻动作的请求和执行之间的延迟时间，能够将对话发起查询指配为多个所请求的动作中的要完成的最后动作。用户因此能够将命令提交给设备或系统，这些命令然后被解释以得到更高效的性能。也就是说，由于执行顺序能够由系统、方法或装置确定，所以用户不需要将最高效形式的命令输入与最高效形式的命令执行相协调。因此提高了交互的容易和效率。
[0005]作为一个示例，用户能够提供诸如“Assistant,set an alarm for tomorrow and also could you tell me the weather for tomorrow？(助理，设置明天的闹钟并且你还能告诉我明天的天气吗？)”的口头话语。自动助理能够接收该口头话语并且确定该口头话语包括用于设置闹钟的第一请求和用于提供天气报告的第二请求。此外，自动助理能够确定设置闹钟需要用户提供补充信息，并且因此，需要处理进一步对话。例如，自动助理可能必须生成包括对闹钟的时间的请求的自然语言输出，并且自动助理可能必须处理来自用户
的标识闹钟的时间的后续输入。附加地，自动助理能够确定提供天气报告需要通过互联网提交请求、作为响应接收天气数据并且将天气数据转换为用于用户的自然语言输出。因此，至少基于第一请求需要来自用户的进一步信息而第二请求不需要与用户进行任何进一步对话，自动助理能够通过在履行第一请求之前履行第二请求来命令动作的执行。换句话说，至少基于闹钟的设置需要来自用户的进一步信息，用户将在参与用于设置闹钟的对话会话之前接收天气报告。
[0006]在一些实现方式中，能够根据所请求的动作中的一个或多个导致持续输出还是被预测为相对于其他请求动作导致持续输出来安排由用户执行的所请求的动作。换句话说，能够根据所请求的动作中的一个或多个是否会导致来自特定模态的会干扰其他请求动作中的一个或多个的执行的输出来安排要应用户请求而执行的动作。例如，用户能够提供诸如“Assistant,play my morning playlist and tell me the weather(助理，播放我的早晨播放列表并告诉我天气)”的口头话语。响应于自动助理接收到该口头话语，自动助理能够标识播放早晨播放列表的第一请求动作和给用户提供天气报告的第二请求动作。此外，自动助理能够确定提供天气报告将导致在第一时间段内提供可听的天气报告，而播放早晨播放列表将导致在第二时间段内提供可听的音乐。附加地，自动助理能够确定第二时间段大于第一时间段，因此，自动助理能够命令动作的执行，使得在第一请求动作之前执行第二请求动作。换句话说，因为将天气报告提供给用户与提供早晨播放列表相比会花费更少的时间，所以自动助理能够使天气报告优先于播放早晨播放列表的音乐。以这种方式，动作的优先化能够基于一个特定动作的执行时间的估计量是否超出另一特定动作的执行时间的估计量。
[0007]在一些实现方式中，当用户提供了包括要回放多个媒体项的请求的口头话语时，能够根据在该口头话语中指定的顺序来安排用于回放媒体项的动作的顺序。例如，当用户提供诸如“Assistant,play the songs
‘
For Once in My Life
’
and
‘
I Was Made to Love Her
’
(助理，播放歌曲
‘
For Once in My Life
’
和
‘
I Was Made to Love Her
’
)”的口头话语时。作为响应，自动助理能够按照用户指定的顺序播放两首歌曲中的每一首，而无论用户是否有意指定了顺序。然而，在一些实现方式中，用户能够显式地指定在一个或多个媒体项的回放之后执行一个或多个动作。例如，用户能够提供诸如“Assistant,play the song
‘
Superstition
’
and then remind me to set up the security alarm(助理，播放歌曲
‘
Superstition
’
然后提醒我设置安全闹钟)”的口头话语。作为响应，因为用户为动作的执行指定了特定条件，所以自动助理能够接收此口头话语并且使得回放所指定的媒体项，然后向用户提供要设置其安全闹钟的提醒。
[0008]在一些实现方式中，当用户提供包括调度特定任务或事件的第一动作以及至少部分地取决于第一动作完成的结果的第二动作的口头话语时，自动助理能够延迟第二动作直到第一动作完成为止。例如，用户能够提供诸如“Assistant,book me a ticket for a movie this Friday,and then book a table at a restaurant after the movie(助理，为本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个处理器实现的方法，所述方法包括：从用户接收表征口头话语的音频数据，其中，所述口头话语包括对要经由自动助理执行的多个动作的请求，并且在计算设备的自动助理界面处接收所述口头话语；基于表征所述口头话语的所述音频数据，标识由所述用户请求的要经由所述自动助理执行的所述多个动作中的每个动作，其中，对要执行的所述多个动作的请求根据第一动作顺序在所述口头话语中被提出；基于标识所述多个动作中的每个动作，确定所述多个动作中的每个动作的执行特性，其中，当所述多个动作由一个或多个计算设备根据所述第一动作顺序来执行时所述多个动作中的动作的特定执行特性影响所述多个动作的执行的时间方面，并且其中，确定所述多个动作中的每个动作的执行特性包括访问在所述计算设备和/或单独的计算设备处基于所述多个动作中的一个或多个动作的过去执行来生成的数据；基于所述多个动作中的动作的特定执行特性，确定用于执行所述多个动作的第二动作顺序，其中，所述第二动作顺序在由所述一个或多个计算设备执行时使所述一个或多个计算设备展出所述多个动作的执行的不同时间方面；以及基于确定所述第二动作顺序，使所述自动助理根据所述第二动作顺序来初始化所述多个动作中的一个或多个动作的执行。2.根据权利要求1所述的方法，其中，确定第二动作顺序包括：处理来自经训练的神经网络模型的输出数据，所述经训练的神经网络模型已使用表征所述用户与所述自动助理之间的至少一个或多个先前交互的历史交互数据来训练。3.根据权利要求2所述的方法，其中，所述历史交互数据进一步表征涉及先前已与所述自动助理交互以促进使所述自动助理执行各种动作序列的其他用户的多个交互。4.根据权利要求2所述的方法，其中，所述历史交互数据进一步表征由所述用户提供给所述自动助理以便影响先前请求的动作的执行顺序的反馈。5.根据前述权利要求中的任一项所述的方法，其中，所述多个动作中的动作的特定执行特性将该动作表征为对话发起动作，并且其中，将在所述用户与所述自动助理之间发生补充对话会话以便所述用户标识要指配给所述动作的参数的值。6.根据权利要求5所述的方法，其中，根据所述第一动作顺序的所述多个动作的执行的时间方面包括至少所述多个动作中的一个或多个动作的估计执行时间，并且其中，所述方法进一步包括：当根据所述第一动作顺序执行所述多个动作时确定所述补充对话会话被预测延长所述一个或多个动作的估计执行时间。7.根据权利要求5和6中的任一项所述的方法，其中，所述多个动作中的另一动作包括提供连续媒体回放，并且其中，所述第二动作顺序使所述对话发起动作优先于包括提供所述连续媒体回放的其他动作。8.根据权利要求5所述的方法，其中，使所述自动助理根据所述第二动作顺序来初始化所述多个动作中的至少一个动作的执行包括：生成向所述用户提供已根据所述第二动作顺序初始化了所述多个动作中的所述至少一个动作的指示的自然语言输出。
9.一种由一个或者多个处理器实现的方法，所述方法包括：处理表征来自用户的请求自动助理执行多个动作的口头话语的音频数据，其中，所述多个动作由所述用户根据第一动作顺序表征在所述口头话语中；基于处理所述音频数据，确定用于由所述用户请求的所述多个动作中的每个动作的动作分类，其中，所述多个动作中的特定动作的特定动作分类包括根据至少一个参数执行的对话发起动作；确定所述用户是否在所述口头话语中指定了所述至少一个参数的值；以及当在所述口头话语中未指定所述至少一个参数的值时：生成用于所述多个动作的第二动作顺序，其中，所述第二动作顺序使所述对话发起动作基于在所述口头话语中未指定至少一个参数的所述值而相对于所述多个动作中的另一动作具有降低的优先级。10.根据权利要求9所述的方法，进一步包括：当在所述口头话语中指定了所述至少一个参数时：生成用于所述多个动作的第三动作顺序，其中，所述第三动作顺序使所述对话发起动作具有不受所述用户在所述口头话语中指定至少一个参数的值影响的优先级。11.根据权利要求10所述的方法，...

【专利技术属性】
技术研发人员：穆古雷尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：