一种通用语音指令生成方法、装置和增强现实显示设备制造方法及图纸

本公开涉及一种语音指令生成方法及装置，该方法包括：获取应用程序的显示界面的View树内容；遍历所述View树内容中各信息节点，并根据信息节点的属性，为不同的信息节点配置不同的语音指令；将显示界面内的所有的语音指令汇总，并进行指令混合和过滤，以形成最终语音指令集合。

【技术实现步骤摘要】
一种通用语音指令生成方法、装置和增强现实显示设备
本公开涉及软件
,特别是涉及一种通用语音指令生成方法及装置。
技术介绍
增强现实显示设备通常不具备可直接触控屏幕的人机交互界面，因此语音交互成为增强现实显示设备的首选交互方式。现有的语音指令设置需要应用先集成指令插件SDK，然后通过SDK来设置当前页面的各种语音指令及功能回调实现，同时实现操控提示UI及帮助UI。系统自有应用集成语音插件SDK较为容易，但第三方开发者及第三方应用集成使用起来较为繁琐，同时也难以将语音控制推广运用到广大第三方横屏应用中，集成语音插件SDK常常需要对第三方应用进行代码入侵，也无法实现根据不同语音指令操控不同控件。
技术实现思路
本公开的目的在于提供一种通用语音指令生成方法以及装置。本公开的目的是采用以下的技术方案来实现的。依据本公开提出的一种通用语音指令生成方法包括：获取应用程序的显示界面的View树内容；遍历所述View树内容中各信息节点，并根据信息节点的属性，为不同的信息节点配置不同的语音指令；将显示界面内的所有的语音指令汇总，并进行指令混合和过滤，以形成最终语音指令集合。本公开的目的还可以采用以下的技术措施来进一步实现。前述的通用语音指令生成方法，所述获取应用程序的显示界面的View树内容通过Android系统无障碍服务功能实现。前述的通用语音指令生成方法，其中所述遍历所述View树内容中各信息节点，并根据信息节点的属性，为不同的信息节点配置不同的语音指令包括：逐级逐节点递归遍历所述View树内容中的各信息节点，并在遍历过程中，对每个信息节点给与每个策略挑选器逐个挑选；将经过挑选后生成的指令存储在所述每个策略挑选器中，并配置相应的语音指令类型。前述的通用语音指令生成方法，其中所述策略挑选器包括：点击策略挑选器、文字策略挑选器、列表策略挑选器、遥控器策略挑选器、以及自定义协议策略挑选器。前述的通用语音指令生成方法，其中采用点击策略挑选器、文字策略挑选器、列表策略挑选器、遥控器策略挑选器、自定义协议策略挑选器的顺序依次对所述View树内容进行遍历。前述的通用语音指令生成方法，其中所述将显示界面内的所有的语音指令汇总，并进行指令混合和过滤，以形成最终语音指令集合包括：对重复的语音指令采用“占位优先原则”进行去重，即，先遍历出的语音指令被保留，后遍历出的语音指令被过滤。前述的通用语音指令生成方法，其中所述将显示界面内的所有的语音指令汇总，并进行指令混合和过滤，以形成最终语音指令集合还包括：将所述最终语音指令集合与上一次设置的语音指令集合进行比对，若所述最终语音指令集合没有变化，则视为无效设置；否则，将所述最终语音指令集合发送至语音助手，以完成语音指令集合设置。前述的通用语音指令生成方法，其中还包括：根据用户发出的语音指令做具体的功能执行。前述的通用语音指令生成方法，其中所述根据用户发出的语音指令做具体的功能执行包括：对用户进行语音指令提示，并对用户发出的语音指令进行命中判定，并根据判定结果做具体的功能执行。前述的通用语音指令生成方法，其中，所述对用户进行语音指令提示包括：在设备显示视图最上层添加轻量级系统浮层，根据每个语音指令的指令类型来进行指令提示。本公开的目的还采用以下技术方案来实现。依据本公开提出的语音指令生成装置，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，执行前述的任一种语音指令生成方法。本公开的目的还可以采用以下的技术方案来进一步实现。依据本公开提出的增强现实显示设备，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，执行前述的任一种语音指令生成方法。本专利技术的有益效果至少包括：不会对第三方应用做任何代码侵入即可为第三方应用在系统上运行时附加各种语音指令控制功能，方便用户通过语音使用第三方应用，此外，无代码入侵的方式更加快捷、方便，能够提升系统应用开发效率，扩大系统应用市场应用收入范围，完善系统全语音控制应用场景，方便硬件推广；本方案支持不同类型的策略挑选器，方便后续定制更各种类型的复杂指令，同时整体架构预留出不同类型的指令提示、指令功能实现，并且能够根据不同语音指令类型实现例如，点击、滑动等不同控件操控。上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。附图说明图1是本公开一个实施例的一种通用语音指令生成方法的流程示意图；图2是本公开一个实施例的View节点树概念图；图3是本公开一个实施例的策略挑选中心指令探索逻辑图。具体实施方式为更进一步阐述本公开为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本公开提出的一种通用语音指令生成方法及装置的具体实施方式、结构、特征及其功效，详细说明如后。图1为本公开的一个实施例的一种通用语音指令生成方法的流程示意图；图2是本公开一个实施例的View节点树概念图；图3是本公开一个实施例的策略挑选中心指令探索逻辑图。请参阅图1，本公开示例的一种通用语音指令生成方法，主要包括以下步骤：步骤S11，获取应用程序的显示界面的View树内容。具体地，通过Android系统无障碍服务功能获取应用程序的显示界面的View树内容，该Android系统无障碍服务功能具有辅助功能(Accessbility),此功能是Android官方推出帮助身体不便或者操作不灵活的人来辅助操作设备的。本申请中通过辅助功能接收设备中应用程序的显示界面的View树(也即，控件树)内容。设备当前显示界面的View树内容为节点树的形式，View节点树的概念如图2所示。需要说明的是，View树内容包括根信息节点(RootNodeInfo)、以及每个ViewGroup下的各种信息节点(NodeInfo)，各种信息节点(NodeInfo)具有属性，例如，带有可点击属性的AccessibilityNodeInfo、带有可点击属性并且text内容不为空的AccessibilityNodeInfo、继承ListView、GridView、RecyclerView的AccessibilityNodeInfo、带有可聚焦属性的AccessibilityNodeInfo等，此后处理进入步骤S12。步骤S12，遍历所述View树内容中各信息节点，并根据信息节点的属性，为不同的信息节点配置不同的语音指令。具体地，在后台辅助服务进程内部建立一个指令创建中心，用于遍历View树内容中各信息节点，并通过策略管理中心的各个策略挑选器对各信息节点的各种策略挑选，以生成语音指令。其中，策略管理中心的策略挑选器采用组合遍历模式，跟随指令创建中心一起创建。如图3所示，该指令创建中心从根信息节点(Root本文档来自技高网...

【技术保护点】
1.一种通用语音指令生成方法，所述方法包括：/n获取应用程序的显示界面的View树内容；/n遍历所述View树内容中各信息节点，并根据信息节点的属性，为不同的信息节点配置不同的语音指令；/n将显示界面内的所有的语音指令汇总，并进行指令混合和过滤，以形成最终语音指令集合。/n

【技术特征摘要】
1.一种通用语音指令生成方法，所述方法包括：
获取应用程序的显示界面的View树内容；
遍历所述View树内容中各信息节点，并根据信息节点的属性，为不同的信息节点配置不同的语音指令；
将显示界面内的所有的语音指令汇总，并进行指令混合和过滤，以形成最终语音指令集合。


2.根据权利要求1所述的通用语音指令生成方法，其中，所述获取应用程序的显示界面的View树内容通过Android系统无障碍服务功能实现。


3.根据权利要求1所述的通用语音指令生成方法，其中，所述遍历所述View树内容中各信息节点，并根据信息节点的属性，为不同的信息节点配置不同的语音指令包括：
逐级逐节点递归遍历所述View树内容中的各信息节点，并在遍历过程中，对每个信息节点给与每个策略挑选器逐个挑选；
将经过挑选后生成的指令存储在所述每个策略挑选器中，并配置相应的语音指令类型。


4.根据权利要求3所述的通用语音指令生成方法，其中，所述策略挑选器包括：点击策略挑选器、文字策略挑选器、列表策略挑选器、遥控器策略挑选器、以及自定义协议策略挑选器。


5.根据权利要求4所述的通用语音指令生成方法，其中，采用点击策略挑选器、文字策略挑选器、列表策略挑选器、遥控器策略挑选器、自定义协议策略挑选器的顺序依次对所述View树内容进行遍历。


6.根据权利要求1所述的通用语音指令生成方法，其中，所述将显示界面内的所有的语音指令汇总，并进行指令混合和过滤，以形成最终语音指令集合包括：对...

【专利技术属性】
技术研发人员：刘伟明，
申请(专利权)人：杭州灵伴科技有限公司，
类型：发明
国别省市：浙江;33