用于有屏设备的控制方法及有屏设备技术

本申请公开了一种用于有屏设备的控制方法及有屏设备，涉及智能设备的操作系统领域，旨在解决现有的支持语音控制的带屏设备包括带屏智能音箱

【技术实现步骤摘要】
用于有屏设备的控制方法及有屏设备


[0001]本申请涉及智能设备的操作系统领域，具体而言，涉及一种用于有屏设备的控制方法及有屏设备
。

技术介绍

[0002]可见即可说的意思是，带屏设备界面上能看到什么界面元素
/
有什么交互手势，只要说出它的名字
/
表达对应的意图，系统就会通过类似模拟点击的方式操作该元素
。
例如界面上有一个音量调节视觉控件，你只要说“调高音量”或者“调低音量”，系统就会模拟点击音量调整的热区，使系统音量发生变化，可以通过语音随时随地操控当前界面上的元素
。
[0003]现有的支持语音控制的带屏设备包括带屏智能音箱
、
手机等，这些设备可以通过语音技能辅助完成用户意图的实现，如搜索内容，播放歌曲，但仅支持控制部分技能，对于一些自研应用或者无法通过应用商店直接下载的冷门应用
、
未上架应用商店的应用等
(
例如针对盲人的特殊对口类型的应用
、
机床车床等特殊产品的特定应用，由于其无盈利需求而未进行上架应用商店，直接提供免费网页下载安装的应用
)
，界面元素
、
交互手势以及其他应用操作无法直接通过语音控制完成
。
[0004]相应地，本领域需要提出一种新的用于有屏设备的控制方法以及有屏设备来解决上述问题
。

技术实现思路

[0005]本专利技术旨在解决上述问题，即，解决现有的支持语音控制的带屏设备包括带屏智能音箱
、
手机等，可以通过语音技能辅助完成用户意图的实现，如搜索内容，播放歌曲，但仅支持控制部分功能，对于一些自研应用或者无法通过应用商店直接下载的应用，例如特殊产品的对口应用等，界面元素或者其他应用操作无法直接通过语音控制完成的问题
。
[0006]在第一方面，本专利技术提供一种用于有屏设备的控制方法，所述有屏设备包括显示屏
、
应用程序和多模态交互框架，所述控制方法包括：响应于用户对应用程序的调用指令，基于所述多模态交互框架中预存的所述应用程序的注册回调信息，将所述调用指令发送给所述应用程序，控制所述应用程序执行与所述调用指令对应的操作
。
[0007]在上述用于有屏设备的控制方法的具体实施方式中，执行所述调用指令包括接收通知
、
参与执行和多线程操作中的任一个
。
[0008]在上述用于有屏设备的控制方法的具体实施方式中，所述多模态交互框架包括语音识别软件开发工具包，所述调用指令为用户语音指令，“控制所述应用程序执行与所述调用指令对应的操作”的步骤进一步包括：若目标应用程序已启动，则发送用户语音指令给对应的应用程序
。
[0009]在上述用于有屏设备的控制方法的具体实施方式中，所述多模态交互框架包括语音识别软件开发工具包，所述调用指令为用户语音指令，“控制所述应用程序执行与所述调用指令对应的操作”的步骤进一步包括：若目标应用程序未启动，则发送广播拉起目标应用
程序并发送用户语音指令
。
[0010]在上述用于有屏设备的控制方法的具体实施方式中，所述多模态交互框架还包括手势识别软件开发工具包，所述调用指令还包括用户手势指令，“控制所述应用程序执行与所述调用指令对应的操作”的步骤还包括：若目标应用程序已启动，则发送用户语音指令或者用户手势指令给对应的应用程序
。
[0011]在上述用于有屏设备的控制方法的具体实施方式中，所述多模态交互框架还包括手势识别软件开发工具包，所述调用指令还包括用户手势指令，“控制所述应用程序执行与所述调用指令对应的操作”的步骤还包括：若目标应用程序未启动，则通过用户手势指令唤醒目标应用程序，然后发送用户语音指令或者用户手势指令给对应的应用程序
。
[0012]在上述用于有屏设备的控制方法的具体实施方式中，所述控制方法还包括：将多个所述应用程序在所述多模态交互框架内进行反注册
。
[0013]在上述用于有屏设备的控制方法的具体实施方式中，所述广播为无序广播，注册所述广播接收端的方式为静态注册
。
[0014]在上述用于有屏设备的控制方法的具体实施方式中，所述多模态交互框架还包括优先级策略选择器，“控制所述应用程序执行与所述调用指令对应的操作”的步骤还包括：若存在多个能响应调用指令的所述应用程序，则发送调用指令给当前已启动的应用程序
。
[0015]在第二方面，本专利技术还提供一种有屏设备，所述有屏设备包括显示屏
、
应用程序和多模态交互框架，所述有屏设备能够执行上述技术方案中任一项所述的用于有屏设备的控制方法
。
[0016]在采用上述技术方案的情况下，本专利技术能够通过语音指令唤醒有屏设备上的所有应用程序，具体地，在用户对有屏设备上的应用程序进行操作的过程中，控制器首先获取到多个可能会用到的应用程序在多模态交互框架内进行注册回调的信息，注册回调完成的应用程序已经能够接收用户所发出的调用指令并做出响应，此时控制器等待用户对其中某一个应用程序发送调用指令，当控制器接收到用户发出的对某一个应用程序的调用指令后，控制器控制多模态交互框架通过注册回调信息对该应用程序进行调用指令发送，从而能够控制该应用程序执行相应的调用指令
。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理
。
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，例如，本专利技术中为了节省附图的篇幅并未将图1与图
2、
图1与图
3、
图1与图4整合到一起，而是将其分开进行展示，因此，本领域的技术人员还可以将图1分别与图
2、
图
3、
图4整合后进行展示，这些简单的叠加与本专利技术的附图并不存在实质上的分别
。
[0019]图1是本申请实施例的一种有屏设备的控制方法的主要流程图；
[0020]图2是本申请的实施例一的流程图；
[0021]图3是本申请的实施例二的流程图；
[0022]图4是本申请的实施例三的流程图
。
具体实施方式
[0023]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于有屏设备的控制方法，其特征在于，所述有屏设备包括显示屏
、
应用程序和多模态交互框架，所述控制方法包括：响应于用户对应用程序的调用指令；基于所述多模态交互框架中预存的所述应用程序的注册回调信息，将所述调用指令发送给所述应用程序；控制所述应用程序执行与所述调用指令对应的操作
。2.
根据权利要求1所述的用于有屏设备的控制方法，其特征在于，所述多模态交互框架包括语音识别软件开发工具包，所述调用指令为用户语音指令，“控制所述应用程序执行与所述调用指令对应的操作”的步骤进一步包括：若目标应用程序已启动，则发送用户语音指令给对应的应用程序
。3.
根据权利要求1所述的用于有屏设备的控制方法，其特征在于，所述多模态交互框架包括语音识别软件开发工具包，所述调用指令为用户语音指令，“控制所述应用程序执行与所述调用指令对应的操作”的步骤进一步包括：若目标应用程序未启动，则发送广播拉起目标应用程序并发送用户语音指令
。4.
根据权利要求2所述的用于有屏设备的控制方法，其特征在于，所述多模态交互框架还包括手势识别软件开发工具包，所述调用指令还包括用户手势指令，“控制所述应用程序执行与所述调用指令对应的操作”的步骤还包括：若目标应用程序已启动，则发送用户语音指令或者用户手势指令给对应的应用程序
。5.
根据权利要求2所述的用于有屏...

【专利技术属性】
技术研发人员：郝丁，
申请(专利权)人：海尔优家智能科技北京有限公司海尔智家股份有限公司，
类型：发明
国别省市：