System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及控制,特别涉及一种显示控制方法、系统、电子设备和可读存储介质。
技术介绍
1、用户驾驶车辆过程中,可以根据其看到的车载屏幕中的显示画面,以语音的形式控制实现多种功能。车载系统可以识别用户语音中的功能性热词,比如“导航”、“播放”等,并控制车载屏幕显示相应的画面。例如,车载屏幕中显示音乐应用的画面,基于识别到用户语音“播放xxx”,控制车载屏幕显示歌曲“xxx”的播放界面。
2、在一些场景下,车载屏幕的显示区域的80%为各种图片,图标,背景等,而文本信息所占显示区域不超过20%,在用户需要专注路况以保证行车安全的情况下,用户在极短时间内无法准确识别出车载屏幕中的文本信息或者只能识别出部分文本信息,则用户根据识别出的部分文本信息并口述的语音指令准确度不高。因此,车载系统无法根据基于部分文本信息的语音指令准确识别出用户的需求,影响用户的驾乘体验。
技术实现思路
1、为了提高用户的驾乘体验,本申请实施例提供了一种显示控制方法、系统、电子设备和可读存储介质。
2、第一方面,本申请提供一种显示控制方法,应用于第一电子设备,第一电子设备包括屏幕;方法包括:获取第一电子设备的屏幕显示的第一显示画面中显示元素对应的特征信息、第一显示画面中的控件信息;检测到第一用户语音,基于第一显示画面中控件对应的控件描述信息和第一用户语音,获取第一用户语音对应的第一语义信息,其中,控件描述信息基于特征信息以及控件信息确定;基于第一语义信息,确定第一用户语音对应的第一控制事件;执行第
3、可以理解,第一电子设备可以指本申请实施例中提及的车辆00中的智能座舱25等电子设备。第一电子设备的屏幕指本申请实施例中提及的车辆00的屏幕10。
4、基于上述方案,第一电子设备在检测到用户语音时,可以将用户语音与基于第一显示画面中显示元素对应的特征信息以及第一显示画面中的控件信息确定的第一显示画面中各控件对应的控件描述信息进行匹配,确定出用户语音对应的语义信息。进而基于语义信息准确识别出控制事件,即准确识别用户的语音对应的用户需求。如此,提高用户的驾乘体验。
5、在上述第一方面的一种可能实现中,显示元素对应的特征信息包括显示元素的文本描述信息、位置信息、类型信息中的至少一种。
6、可以理解,位置信息可以指本申请实施例中提及的显示画面中的显示元素相对于显示画面的顶部、底部、左侧、右侧的距离。
7、在上述第一方面的一种可能实现中,检测到第一用户语音,基于第一显示画面中控件对应的控件描述信息和第一用户语音,获取第一用户语音对应的第一语义信息,包括:检测到第一用户语音;获取存储的控件描述信息中与第一用户语音匹配的第一控件描述信息;基于第一控件描述信息确定第一用户语音对应的第一语义信息。
8、可以理解,控件描述信息可以在检测到第一用户语音之前就获取并存储的,如此,在检测到第一用户语音后,第一电子设备则可以基于控件描述信息快速获取第一用户语音对应的第一语义信息,进而确定第一控制事件,也即是说预先获取控件描述信息可以提高确定语义信息以及第一控制事件的效率。
9、在上述第一方面的一种可能实现中,检测到第一用户语音,基于第一显示画面中控件对应的控件描述信息和第一用户语音,获取第一用户语音对应的第一语义信息,包括:检测到第一用户语音;基于第一显示画面中显示元素对应的特征信息以及第一显示画面中的控件信息确定第一显示画面中的控件对应的控件描述信息;从控件描述信息中确定与第一用户语音匹配的第一控件描述信息;基于第一控件描述信息确定第一用户语音对应的第一语义信息。
10、可以理解,控件描述信息还可以在检测到第一用户语音后,再基于第一显示画面中显示元素对应的特征信息和第一显示画面的控件信息进行获取,进而再基于获取到的控件描述信息,确定第一用户语音对应的语义信息和对应的第一控制事件。如此,可以避免在检测到第一用户语音前,第一电子设备从第一显示界面切换为第二显示界面的场景下,预先获取第一显示界面的控件描述信息所造成的资源浪费。
11、在上述第一方面的一种可能实现中,基于第一显示画面中显示元素对应的特征信息以及第一显示画面中的控件信息确定第一显示画面中的控件对应的控件描述信息,包括:根据第一显示画面中显示元素对应的特征信息中的位置信息,以及第一显示画面中的控件信息中控件的位置信息,将第一显示画面中显示元素对应的特征信息与第一显示画面中的控件信息进行组合,得到第一显示画面中的控件对应的控件描述信息。
12、在上述第一方面的一种可能实现中,检测到第一用户语音,基于第一显示画面中控件对应的控件描述信息和第一用户语音,获取第一用户语音对应的第一语义信息,包括:检测到第一用户语音,将第一用户语音对应的数据发送至第二电子设备;获取第二电子设备发送的第一语义信息,第一语义信息为第二电子设备基于存储的控件描述信息以及第一用户语音对应的数据确定。
13、可以理解,第一用户语音对应的数据可以指第一用户语音或者第一用户语音对应的第一语音文本,第二电子设备可以指云服务器。通过将第一语音文本发送至云服务器,由云服务器基于其存储的控件描述信息和第一语音文本可以确定出第一控件描述信息,进而确定出第一语义信息。其中,基于用户语音文本可以快速匹配控件描述信息中与之匹配的第一控件描述信息,进而得到第一语义信息,如此可以提高获取第语义信息的效率。
14、在上述第一方面的一种可能实现中,基于第一语义信息,确定第一用户语音对应的第一控制事件,包括:基于第一语义信息确定第一用户语音对应的目标控件信息和控制事件类型,目标控件信息用于确定目标控件,控制事件类型用于确定对目标控件的操作。
15、可以理解,目标控件信息可以指本申请实施例中提及的目标控件的标识,此外,目标控件信息中还可以包括目标控件的类型、位置信息等,在此不作限定。
16、在上述第一方面的一种可能实现中,检测到第一用户语音,基于第一显示画面中控件对应的控件描述信息和第一用户语音,获取第一用户语音对应的第一语义信息,包括:检测到第一用户语音,且对应于第一用户语音的语义为第一语义类型,基于第一显示画面中控件对应的控件描述信息和第一用户语音,获取第一用户语音对应的第一语义信息;其中,第一语义类型为不具有场景化词语的语义类型,场景化词语包括播放音乐、打开车窗中的至少一种。
17、可以理解,第一语义类型可以为本申请实施例中提及的“not support”语义或者“chat”类型语义,在此不作限定。
18、在上述第一方面的一种可能实现中,获取第一电子设备的屏幕显示的第一显示画面中显示元素对应的特征信息,包括:获取摄像设备发送的第一显示画面,第一显示画面基于摄像设备拍摄屏幕获取;基于第一显示画面获取第一显示画面中显示元素对应的特征信息。
19、可以理解,摄像设备可以指本申请实施例中提及的相机24。一方面,第一电子设备可以不需要通过摄像设备获取第一显示本文档来自技高网...
【技术保护点】
1.一种显示控制方法,其特征在于,应用于第一电子设备,所述第一电子设备包括屏幕;
2.根据权利要求1所述的方法,其特征在于,所述显示元素对应的特征信息包括所述显示元素的文本描述信息、位置信息、类型信息中的至少一种。
3.根据权利要求1所述的方法,其特征在于,所述检测到第一用户语音,基于所述第一显示画面中控件对应的控件描述信息和所述第一用户语音,获取所述第一用户语音对应的第一语义信息,包括:
4.根据权利要求1所述的方法,其特征在于,所述检测到第一用户语音,基于所述第一显示画面中控件对应的控件描述信息和所述第一用户语音,获取所述第一用户语音对应的第一语义信息,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一显示画面中显示元素对应的特征信息以及所述第一显示画面中的控件信息确定所述第一显示画面中的控件对应的控件描述信息,包括:
6.根据权利要求1所述的方法,其特征在于,所述检测到第一用户语音,基于所述第一显示画面中控件对应的控件描述信息和所述第一用户语音,获取所述第一用户语音对应的第一语义信息,包括:
...【技术特征摘要】
1.一种显示控制方法,其特征在于,应用于第一电子设备,所述第一电子设备包括屏幕;
2.根据权利要求1所述的方法,其特征在于,所述显示元素对应的特征信息包括所述显示元素的文本描述信息、位置信息、类型信息中的至少一种。
3.根据权利要求1所述的方法,其特征在于,所述检测到第一用户语音,基于所述第一显示画面中控件对应的控件描述信息和所述第一用户语音,获取所述第一用户语音对应的第一语义信息,包括:
4.根据权利要求1所述的方法,其特征在于,所述检测到第一用户语音,基于所述第一显示画面中控件对应的控件描述信息和所述第一用户语音,获取所述第一用户语音对应的第一语义信息,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一显示画面中显示元素对应的特征信息以及所述第一显示画面中的控件信息确定所述第一显示画面中的控件对应的控件描述信息,包括:
6.根据权利要求1所述的方法,其特征在于,所述检测到第一用户语音,基于所述第一显示画面中控件对应的控件描述信息和所述第一用户语音,获取所述第一用户语音对应的第一语义信息,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一语义信息,确定第一用户语音对应的第一控制事件,包括:
8.根据权利要求1所述的方法,其特征在于,所述检测到第一用户语...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。