System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及语音控制,具体涉及一种用于触控屏的语音控制方法、触控屏及计算机可读存储介质。
技术介绍
1、在教学、会议等场景中,为了提高触控屏交互的效率和多样性,很多触控屏提供了语音控制的方式,即通过语音控制软件对触控屏上的应用程序实现语音控制。现有技术中的实现方式基本上都需要语音控制软件与应用程序进行深度融合,即应用程序方事先和语音控制软件方制定协议,应用程序提供大量操作接口给语音控制软件,即一个应用程序的各界面的各控件均需要向语音控制软件提供一个接口,语音控制软件指定相关指令和对应的接口对接,即指令与应用程序的借口是一一对应的,语音软件识别到语音指令后,调用该应用接口完成控制命令。
2、现有的这种方式,一个系统内,如果有多个应用程序都要使用语音控制,需要每个应用程序都预先和语音控制程序制定协议,将协议指令和该应用程序的接口对应,造成对应的协议太多,前期需要投入的工作量太大,且需要应用程序方与语音控制程序方相互配合才能够实现,若一方需要增加或者修改指令或者接口,另一方也需要进行相应的增加或者修改,且每增加一个应用程序,就需要语音控制软件与其重新配合调整,可见这种方式的灵活性较低;更为不利的是,这种方式由于应用程序需要向另一个应用程序(即语音控制程序)开放接口,因此,私密性较差,会有被其他应用程序恶意调用的风险,安全性较低。
技术实现思路
1、基于上述现状,本申请的主要目的在于提供一种用于触控屏的语音控制方法、触控屏及计算机可读存储介质,能够降低语音控制程序前期投入的工作量
2、为实现上述目的,本申请采用的技术方案如下:
3、本申请的第一方面提供了一种用于触控屏的语音控制方法,所述触控屏包括相互连接的系统主板和触控模组,所述系统主板包括触控响应模块和语音控制模块;所述语音控制方法包括:
4、触控请求生成步骤:语音控制模块当接收到输入的语音信息时,识别所述语音信息中包含的识别词,并将其作为命令词,在关系库中查找与所述命令词对应的控件坐标,将其作为当前坐标,之后向触控模组发送所述当前坐标的触控请求;
5、其中,所述关系库中存储有多组命令词与控件坐标的对应关系,同一组对应关系中,控件坐标为待语音控制的应用程序中的控件在触控操作时的触控坐标,命令词为该控件通过语音控制时待识别的识别词;
6、上报步骤:触控模组当接收到所述触控请求时,解析并提取所述当前坐标,生成所述当前坐标对应的触控命令,之后发送给触控响应模块;
7、响应步骤:触控响应模块当接收到所述触控命令时生成触控事件,并控制所述命令词对应的应用程序的对应控件响应所述触控事件。
8、优选地,所述关系库采用下述方式获取:
9、所述语音控制模块获取待语音控制的应用程序的各显示界面上各控件在触控屏上的位置坐标;
10、所述语音控制模块将每一所述控件的所述位置坐标作为所述控件坐标,并将其与该控件的命令词的对应关系存储于所述关系库。
11、优选地,所述方法还包括关系库更新步骤:
12、输入语音步骤:所述语音控制模块进入语音校准更新模式,当接收到语音信息时,识别所述语音信息中的识别词,并提示点击待校准控件或者待增加控件;
13、校准更新步骤:所述语音控制模块获取所述待校准控件或者待增加控件的触控坐标,将所述待校准控件或者待增加控件对应的所述触控坐标作为控件坐标、识别词作为命令词,并将二者作为一组对应关系存储于所述关系库中。
14、优选地,所述校准更新步骤包括:
15、所述语音控制模块获取所述待校准控件或者待增加控件的触控坐标;
16、所述语音控制模块判断所述关系库中是否存在所述识别词,若所述关系库中不存在所识别词,则将所述待校准控件或者待增加控件对应的触控坐标作为控件坐标、识别词作为命令词,并将二者作为一组对应关系存储于关系库中;若所述关系库中存在所述识别词,则使用所述触控坐标更新关系库中该识别词对应的控件坐标。
17、优选地,所述关系库中存储有多个应用程序的多个控件的控件坐标与命令词的对应关系,对应于同一个应用程序的多组命令词与控件坐标的对应关系形成一个作用域;所述触控请求生成步骤中,
18、所述语音控制模块当接收到输入的语音信息时,先识别所述语音信息控制的作用域,之后识别所述语音信息中包含的识别词,并将其作为命令词在关系库中对应的所述作用域查找与所述命令词对应的控件坐标。
19、优选地,所述触控请求生成步骤中,所述触控请求包括触控按下和触控抬起事件、仅触控按下事件、仅触控抬起事件;
20、所述触控模组接收到所述触控请求时若解析得到包括触控按下和触控抬起事件,则分别生成所述当前坐标对应的触控按下命令和触控抬起命令,并依次发送给系统。
21、优选地,所述响应步骤包括:当接收到所述触控命令时先模拟触控点击动作点击对应的应用程序的对应控件,之后显示对所述控件操作后的界面。
22、本申请的第二方面提供了一种触控屏,包括相互连接的系统主板和触控模组,所述系统主板包括触控响应模块和上述所述的语音控制模块,
23、所述语音控制模块用于当接收到输入的语音信息时,识别所述语音信息中包含的识别词,并将其作为命令词,在关系库中查找与所述命令词对应的控件坐标,将其作为当前坐标,之后向触控模组发送所述当前坐标的触控请求;
24、其中,所述关系库中存储有多组命令词与控件坐标的对应关系,同一组对应关系中,控件坐标为待语音控制的应用程序中的控件在触控操作时的触控坐标,命令词为该控件通过语音控制时待识别的识别词;
25、所述触控响应模块用于当系统接收到所述触控命令时生成触控事件,并控制所述命令词对应的应用程序的对应控件响应所述触控事件;
26、所述触控模组用于当接收到所述触控请求时,解析并提取所述当前坐标,生成所述当前坐标对应的触控命令,之后发送给系统。
27、优选地,所述语音控制模块具有语音控制模式和语音校准模式,
28、在语音控制模式,语音控制模块当接收到输入的语音信息时,识别所述语音信息中包含的识别词,并将其作为命令词,在关系库中查找与所述命令词对应的控件坐标,将其作为当前坐标,之后向触控模组发送所述当前坐标的触控请求,以请求触控触控模组向系统发送当前坐标的触控命令,进而使系统控制所述命令词对应的应用程序的对应控件响应根据所述触控命令生成的触控事件;
29、在语音校准模式,语音控制模块当接收到待语音控制的控件的语音信息时,识别所述语音信息中的识别词,并提示点击待校准控件或者待增加控件;获取所述待校准控件或者待增加控件的触控坐标,将该控件对应的所述触控坐标作为控件坐标、识别词作为命令词,并将二者作为一组对应关系存储于所述关系库中。
30、本申请的第三方面提供了一种计算机可读存储介质,所述本文档来自技高网...
【技术保护点】
1.一种用于触控屏的语音控制方法,其特征在于,所述触控屏包括相互连接的系统主板和触控模组,所述系统主板包括触控响应模块和语音控制模块;所述语音控制方法包括:
2.根据权利要求1所述的语音控制方法,其特征在于,所述关系库采用下述方式获取:
3.根据权利要求1所述的语音控制方法,其特征在于,所述方法还包括关系库更新步骤:
4.根据权利要求3所述的语音控制方法,其特征在于,所述校准更新步骤包括:
5.根据权利要求1所述的语音控制方法,其特征在于,所述关系库中存储有多个应用程序的多个控件的控件坐标与命令词的对应关系,对应于同一个应用程序的多组命令词与控件坐标的对应关系形成一个作用域;所述触控请求生成步骤中,
6.根据权利要求1所述的语音控制方法,其特征在于,所述触控请求生成步骤中,所述触控请求包括触控按下和触控抬起事件、仅触控按下事件、仅触控抬起事件;
7.根据权利要求1所述的语音控制方法,其特征在于,所述响应步骤包括:所述触控响应模块当接收到所述触控命令时先模拟触控点击动作点击对应的应用程序的对应控件,之后显示对所
8.一种触控屏,其特征在于,包括相互连接的系统主板和触控模组,所述系统主板包括触控响应模块和语音控制模块,
9.根据权利要求8所述的触控屏,其特征在于,所述语音控制模块具有语音控制模式和语音校准模式,
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-7任一项所述的语音控制方法。
...【技术特征摘要】
1.一种用于触控屏的语音控制方法,其特征在于,所述触控屏包括相互连接的系统主板和触控模组,所述系统主板包括触控响应模块和语音控制模块;所述语音控制方法包括:
2.根据权利要求1所述的语音控制方法,其特征在于,所述关系库采用下述方式获取:
3.根据权利要求1所述的语音控制方法,其特征在于,所述方法还包括关系库更新步骤:
4.根据权利要求3所述的语音控制方法,其特征在于,所述校准更新步骤包括:
5.根据权利要求1所述的语音控制方法,其特征在于,所述关系库中存储有多个应用程序的多个控件的控件坐标与命令词的对应关系,对应于同一个应用程序的多组命令词与控件坐标的对应关系形成一个作用域;所述触控请求生成步骤中,
6.根据权利要求1所述的语音控制方法,其特征在于,所述...
【专利技术属性】
技术研发人员:徐协增,汪帅,张明华,
申请(专利权)人:深圳市鸿合创新信息技术有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。