基于声音输入执行与列表数据有关的操作制造技术

本申请中描述的是与基于声音输入而针对列表数据执行操作有关的各种方法。ASR系统包括基于列表数据的内容而定制的语言模型。ASR系统接收表示用户语言的声音输入。ASR系统基于利用列表数据的内容而定制的ASR来创建声音信号的转录。基于声音信号的转录而执行针对列表数据的操作。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】基于声音输入执行与列表数据有关的操作
技术介绍
计算机可执行的电子表格应用一般被配置成允许其用户组织并分析列表数据。一 般而言，计算机可执行的电子表格应用的电子表格包括排列成行和列的单元。上述单元可 以包括相应的文本串，其中文本串可以是或包括数值、文本字符、符号、或其一些组合。此 外，可以向单元分配函数，使得可以基于电子表格中的其他单元的值来确定该单元的值。电 子表格应用的用户可以选择单元，并且例如通过改变该单元中的字符或修改分配给该单元 的函数来手动地修改其内容。 常规的电子表格应用非常适合组织和操作列表数据，尤其是在电子表格应用的用 户熟悉由电子表格应用原生支持的函数和调用这些函数的命令的情况下。在示例中，通过 选择单元、在文本输入字段中说明文本命令（例如，"求和（SUM)"）、并选择若干单元（例 如，通过图形用户界面或文本输入的方式），电子表格应用的用户可以使得若干单元中的值 被求和，其中所产生的和在特定的单元中示出。 虽然新手用户一般可以相对迅速地学习电子表格应用所支持的基本函数，但是新 手用户经常发现难以执行列表数据的更复杂或细微的操作。此外，用户经常难以记住或知 道针对不同的电子表格环境的正确语法（即使当用户是专家时），这是因为不同的电子表 格环境具有其自身各自的细微差别。例如，常规电子表格应用的新手用户可能难以执行针 对在电子表格应用中加载的列表数据的某些类型的排序操作。在另一示例中，新手用户可 能难以创建电子表格应用所支持的用于重新组织列表数据的命令序列。在一些情形下，例 如，新手用户将承担手动拷贝单元值并将其放置在期望的位置的艰巨任务而不是构造可以 自动执行该重组织的宏。 此外，一些类型的电子表格相关的操作在移动计算设备上可能是困难的，这是由 在这些设备上相对小的显示基板面引起的。为了克服与较小显示器关联的问题，用户可以 扩大在显示器上的视图，这提供了对电子表格的一部分的"放大"视图。然而，这可能阻止了 用户获得列表数据的更全局的视图，潜在地不利地影响了利用电子表格应用的用户体验。
技术实现思路
下文是对在本申请中更详细描述的主题的简要概述。该
技术实现思路
并不意在对权利 要求保护范围进行限制。 本申请中描述的是通过语音输入的方式来促成对操作列表数据的操作的各种技 术。例如，一种应用可以被配置成显示列表数据，例如词处理应用、电子表格应用、网络浏览 器等。该应用可以在其中加载列表数据，其中列表数据可以包括在特定的语言中一般不使 用的值、用户定制的值（例如，人名、用户定义的缩略词等）。该应用可以进一步包括被配 置成识别由应用的用户提供的口头查询的自动语音识别（ASR)系统或与该自动语音识别 (ASR)系统进行通信。在示例性的实施例中，可以基于加载到电子表格应用中的数据来定 制ASR系统。例如，列表数据可以包括条目"0T付款"，其中短语元素"0T"是"超时"的缩略 词，且短语元素"付款"具有其常规的语义。然而，短语"0T付款"不是在英语语言中典型使 用的短语；因此，常规的ASR系统（即使大词汇量的ASR系统）可能难以正确重组由用户提 供的口头表达中的短语"0T付款"。例如，常规的ASR系统可以确定口头表达包括短语"旧 的假发"而不是"0T付款"。 根据本申请中描述的方面，在应用中包含的或该应用可访问的ASR系统可以基于 列表数据来进行定制。例如，ASR系统可以包括声学模型、词典模型、以及语言模型，其中声 学模型以特定的语言对音素建模，词典模型对元素建模（例如，诸如词语或三音素之类的 音素序列），且语言模型对元素的序列建模。依照一示例，词典模型或语言模型中的一个或 多个可以基于列表数据被更新。继续上文给出的示例，可以将语言模型定制成包括元素序 列"0T付款"。 在更多的特性与语言模型相关的情况下，可以基于当与应用交互时已经被观测到 在历史上被用户采用的查询、命令等来构造语言模型。即，语言模型可以包括多个部分完成 的短语，其中针对短语中的元素序列定义统计概率。例如，语言模型可以包括部分完成的短 语"多少_"。该部分完成的短语可以基于列表数据的内容来完成。例如，字符序列"0T付 款"可以被插入到上述记载的空白区域中，从而形成了完整的短语"多少0T付款"。这有效 地限制了对ASR系统的搜索，使得当用户给出口语表达"我们公司去年付了多少0T付款" 时，ASR系统可以识别用户指的是列表数据中的特定条目或条目组（例如，举例而言，标记 了 "0T付款"的列头部）。 因此，该应用可以被配置成响应于接收语音命令而针对列表数据执行操作。这样 的操作可以包括但是不限于数据排序、针对数据的数学函数、列表数据的扩充、列表数据的 可视化等。再一次，当基于列表数据的内容限制搜索空间时，ASR系统可以相对准确地对由 应用的用户提供的口头命令进行解码。 上面的
技术实现思路
呈现了简化的
技术实现思路
以提供对本申请中讨论的系统和/或方 法的一些方面的基本理解。该
技术实现思路
不是对本申请中讨论的系统和/或方法的广泛概 述。其并不意在标识关键的/重要的元素或描绘这样的系统和/或方法的范围。其唯一目 的在于以简单的形式将一些概念呈现为稍后呈现的更具体描述的前序。 附图简要说明 图1是促成基于加载到电子表格应用中的列表数据对口头表达进行解码的示例 性系统的功能框图。 图2是可以基于加载到应用中的列表数据而定制的示例性自动语音识别（ASR)系 统的功能框图。 图3是可以基于自然语言查询而修改加载到应用中的列表数据的示例性表格操 作系统的功能框图。 图4是促成构造对网络可访问的表格进行索引的索引的示例性系统的功能框图。 图5是可以针对对表格进行索引的索引执行查询并且基于该查询而输出表格的 排序列表的示例性数据取回组件的功能框图。 图6是用于基于对表示用户的口头表达的声音信号的解码而执行针对列表数据 的计算操作的示例性方法的流程图。 图7是用于基于加载到应用中的列表数据的内容而更新ASR系统中的语言模型的 示例性方法的流程图。 图8至24示出了电子表格应用的示例性图形用户界面。 图25是示例性计算系统。【具体实施方式】 现在参考附图描述涉及基于语音输入针对列表数据执行操作的各种技术，其中贯 穿全文相同的附图标记用于指相同的元件。在下文的描述中，为了解释的目的，给出了各种 具体的细节以提供对一个或多个方面的透彻理解。然而，可能显然的是可以在没有这些具 体细节的情况下实践这样的方面。在其他实例中，以框图形式示出公知的结构和设备以促 成描述一个或多个方面。此外，应理解的是，被描述为由某些系统组件执行的功能可以被多 个组件执行。类似地，例如，一个组件可以被配置成执行被描述为由多个组件执行的功能。 此外，术语"或"意在指包含性的"或"而不是排他性的"或"。即，除非明确指定之 外，或从上下文清晰的，短语"X利用A或B"意在指自然的包含性排列中的任何一个。即， 以下实例中的任何一个满足短语"X利用A或B":X利用A;X利用B;或X利用A和B两者。 此外，除非明确指定或从上下文清楚是针对单数形式之外，如本申请和所附权利要求中使 用的冠词"一"和"一个"一般应该被解释为指"一个或多个"。 此外，如在本申请中所使用的，术语"组件"和"系统本文档来自技高网...

【技术保护点】
一种计算设备，包括：处理器；以及存储器，其包括由所述处理器执行的应用，所述应用包括：被加载到所述应用中的列表数据，所述列表数据包括文本字符串；执行器系统，其执行有关于所述列表数据的计算操作，所述执行器组件包括：自动语音识别(ASR)系统，其是基于在所述列表数据中包括的所述文本字符串而被定制的，所述ASR系统接收表示到所述应用的声音输入的声音信号，所述声音输入包括对所述文本字符串的提及，所述ASR系统生成对所述声音信号的转录；以及表格操作系统，其与所述ASR系统通信，所述表格操作系统从所述ASR系统接收对所述声音信号的转录并基于对所述声音信号的转录而执行有关于所述列表数据的所述计算操作。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：P·辛格，K·甘贾姆，S·古尔瓦尼，M·马龙，YC·鞠，K·查克拉巴蒂，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US