多屏控制方法、装置及车辆制造方法及图纸

本公开提供了多屏控制方法、装置及车辆，涉及人工智能技术领域，尤其涉及自然语言处理、计算机视觉、语音技术领域。具体实现方案为：获取车辆座舱中的待处理语音，以及待处理语音对应的识别文本和声源位置；根据声源位置，从车辆座舱中车机系统的多个分屏中选择目标分屏；获取目标分屏中的目标窗口，以及目标窗口内的控件信息；根据识别文本以及控件信息，确定目标窗口内的目标控件，以及针对目标控件的目标操作；按照目标操作对目标窗口内的目标控件进行控制处理，能够实现座舱中对象与其他位置的分屏的语音交互处理，提高语音交互效率，进而提高对车机系统的多个分屏的控制效率。率。率。

【技术实现步骤摘要】
多屏控制方法、装置及车辆


[0001]本公开涉及人工智能
，尤其涉及自然语言处理、计算机视觉、语音
，尤其涉及一种多屏控制方法、装置及车辆。

技术介绍

[0002]目前，车辆座舱的车机系统中可以设置有多个分屏。多个分屏可以位于不同的位置，用于显示不同的内容。其中，位置例如，主驾前方、副驾前方等。
[0003]目前的车机场景语音交互技术中，当座舱中对象输出语音时，车机系统默认采用主驾前方的分屏进行响应处理，即，识别语音内容，根据语音内容对主驾前方的分屏进行操作，导致座舱中对象难以与其他位置的分屏进行语音交互处理，语音交互效率差。

技术实现思路

[0004]本公开提供了一种多屏控制方法、装置及车辆。
[0005]根据本公开的一方面，提供了一种多屏控制方法，所述方法包括：获取车辆座舱中的待处理语音，以及所述待处理语音对应的识别文本和声源位置；根据所述声源位置，从所述车辆座舱中车机系统的多个分屏中选择目标分屏；获取所述目标分屏中的目标窗口，以及所述目标窗口内的控件信息；根据所述识别文本以及所述控件信息，确定所述目标窗口内的目标控件，以及针对所述目标控件的目标操作；按照所述目标操作对所述目标窗口内的所述目标控件进行控制处理。
[0006]根据本公开的另一方面，提供了一种多屏控制装置，所述装置包括：第一获取模块，用于获取车辆座舱中的待处理语音，以及所述待处理语音对应的识别文本和声源位置；选择模块，用于根据所述声源位置，从所述车辆座舱中车机系统的多个分屏中选择目标分屏；第二获取模块，用于获取所述目标分屏中的目标窗口，以及所述目标窗口内的控件信息；第一确定模块，用于根据所述识别文本以及所述控件信息，确定所述目标窗口内的目标控件，以及针对所述目标控件的目标操作；处理模块，用于按照所述目标操作对所述目标窗口内的所述目标控件进行控制处理。
[0007]根据本公开的另一方面，提供了一种车辆，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述提出的多屏控制方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开上述提出的多屏控制方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述提出的多屏控制方法的步骤。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开第一实施例的示意图；
[0013]图2是根据本公开第二实施例的示意图；
[0014]图3是根据本公开第三实施例的示意图；
[0015]图4是根据本公开第四实施例的示意图；
[0016]图5是用来实现本公开实施例的多屏控制方法的车辆的框图。
具体实施方式
[0017]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]目前，车辆座舱的车机系统中可以设置有多个分屏。多个分屏可以位于不同的位置，用于显示不同的内容。其中，位置例如，主驾前方、副驾前方等。
[0019]目前的车机场景语音交互技术中，当座舱中对象输出语音时，车机系统默认采用主驾前方的分屏进行响应处理，即，识别语音内容，根据语音内容对主驾前方的分屏进行操作，导致座舱中对象难以与其他位置的分屏进行语音交互处理，语音交互效率差。
[0020]针对上述问题，本公开提出一种多屏控制方法、装置及车辆。
[0021]图1是根据本公开第一实施例的示意图，需要说明的是，本公开实施例的多屏控制方法可应用于多屏控制装置，该装置可以为车辆座舱中的车机系统，或者，嵌入车机系统的语音应用软件等，以使该车机系统可以执行多屏控制功能。以下实施例中以执行主体为车机系统中的语音应用软件为例进行说明。
[0022]其中，多屏控制装置，还可以为与车机系统通信的其他的电子设备。其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(Personal Computer，简称PC)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备、智能音箱等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
[0023]如图1所示，该多屏控制方法可以包括如下步骤：
[0024]步骤101，获取车辆座舱中的待处理语音，以及待处理语音对应的识别文本和声源位置。
[0025]在本公开实施例中，车机系统中的语音应用软件执行步骤101的过程例如可以为，获取车辆座舱中的待处理语音；对待处理语音进行文本识别处理，得到待处理语音对应的识别文本；对待处理语音进行声源定位处理，得到待处理语音对应的声源位置。
[0026]其中，语音应用软件获取车辆座舱中的待处理语音的方式例如可以为，车机系统中的麦克风采集车辆座舱中的语音；语音应用软件与车机系统中麦克风的控制软件进行交互，获取麦克风采集到的语音；将麦克风采集到的语音，作为待处理语音。
[0027]其中，待处理语音的声源，可以为车辆座舱中的对象。其中，车辆座舱中的对象，例如，驾驶员或者乘客等。声源位置，即驾驶员所在的位置，或者，乘客所在的位置。其中，驾驶员所在的位置，以及乘客所在的位置，可以通过座位位置进行表示。
[0028]步骤102，根据声源位置，从车辆座舱中车机系统的多个分屏中选择目标分屏。
[0029]在本公开实施例中，车机系统中的语音应用软件执行步骤102的过程例如可以为，确定车机系统的多个分屏的位置；确定声源位置与多个分屏的位置之间的距离；根据距离从多个分屏中选择目标分屏。
[0030]其中，根据距离从多个分屏中选择目标分屏的方式例如可以为，获取多个距离中的最小距离；将最小距离对应的分屏，确定为目标分屏。
[0031]在本公开实施例中，车机系统中的分屏，可以包括主驾分屏，以及以下至少一种分屏：副驾分屏、后座分屏。其中，后座分屏可以包括：后座左侧分屏，和/或，后座右侧分屏。其中，主驾分屏，可以位于驾驶员所在的座位的前方，即，主驾前方。副驾分屏，可以位于副驾驶员所在的座位的前方，即，副驾前方。后座分屏，可以位于后座乘客所在的座位的前方，即，后座前方。
[0032]步骤103，获取目标分屏中的目标窗口，以及目标窗口内的控件信息。...

【技术保护点】

【技术特征摘要】
1.一种多屏控制方法，所述方法包括：获取车辆座舱中的待处理语音，以及所述待处理语音对应的识别文本和声源位置；根据所述声源位置，从所述车辆座舱中车机系统的多个分屏中选择目标分屏；获取所述目标分屏中的目标窗口，以及所述目标窗口内的控件信息；根据所述识别文本以及所述控件信息，确定所述目标窗口内的目标控件，以及针对所述目标控件的目标操作；按照所述目标操作对所述目标窗口内的所述目标控件进行控制处理。2.根据权利要求1所述的方法，其中，所述根据所述声源位置，从所述车辆座舱中车机系统的多个分屏中选择目标分屏，包括：根据所述声源位置查询第一配置表，获取所述第一配置表中与所述声源位置匹配的第一座位位置，以及所述第一座位位置对应的至少一个分屏的分屏标识；从至少一个所述分屏标识中选择一个分屏标识；将选择的所述分屏标识对应的分屏，确定为所述目标分屏。3.根据权利要求2所述的方法，其中，所述分屏包括：主驾分屏、副驾分屏、后座分屏；所述从至少一个所述分屏标识中选择一个分屏标识，包括：在至少一个所述分屏标识中存在所述主驾分屏的分屏标识的情况下，选择所述主驾分屏的分屏标识；在至少一个所述分屏标识中未存在所述主驾分屏的分屏标识，且存在所述副驾分屏的分屏标识的情况下，选择所述副驾分屏的分屏标识；在至少一个所述分屏标识中未存在所述主驾分屏的分屏标识，且未存在所述副驾分屏的分屏标识的情况下，选择所述后座分屏的分屏标识。4.根据权利要求2所述的方法，其中，所述方法还包括：确定所述车辆座舱中的多个座位，以及多个所述座位的座位位置以及周边区域；针对每个座位，确定所述车辆座舱中位于所述座位的周边区域内的第一分屏的分屏标识；建立所述座位的座位位置与所述第一分屏的分屏标识之间的对应关系；根据所述对应关系，生成所述第一配置表。5.根据权利要求1所述的方法，其中，所述获取所述目标分屏中的目标窗口，以及所述目标窗口内的控件信息，包括：获取所述目标分屏中的至少一个窗口，以及至少一个所述窗口的窗口信息；所述窗口信息包括以下至少一种：窗口类型、窗口是否处于激活状态、窗口是否获取有焦点；根据至少一个所述窗口的窗口信息，从至少一个所述窗口中选择所述目标窗口；获取所述目标窗口内的控件信息。6.根据权利要求5所述的方法，其中，所述窗口信息包括：窗口类型、窗口是否处于激活状态以及窗口是否获取有焦点；所述根据至少一个所述窗口的窗口信息，从至少一个所述窗口中选择所述目标窗口，包括：根据至少一个所述窗口的窗口信息，获取至少一个所述窗口中的第一窗口，并将所述第一窗口作为所述目标窗口；所述第一窗口的窗口类型为应用类型，且所述第一窗口处于激活状态，且所述第一窗口获取有焦点；
在未获取到所述第一窗口的情况下，获取至少一个所述窗口中的第二窗口，并将所述第二窗口作为所述目标窗口；所述第二窗口的窗口类型为应用类型，且所述第二窗口处于激活状态；在未获取到所述第一窗口，且未获取到所述第二窗口的情况下，获取至少一个所述窗口中的第三窗口，并将所述第三窗口作为所述目标窗口；所述第三窗口的窗口类型为应用类型。7.根据权利要求1所述的方法，其中，所述根据所述识别文本以及所述控件信息，确定所述目标窗口内的目标控件，以及针对所述目标控件的目标操作，包括：对所述识别文本进行提取处理，获取所述识别文本中的操作相关词语；根据所述操作相关词语，查询所述控件信息内控件的各个操作对应的操作词语，确定与所述操作相关词语匹配的第一操作词语，以及所述第一操作词语对应的操作以及控件；将所述第一操作词语对应的控件，确定为所述目标控件；将所述第一操作词语对应的操作，确定为针对所述目标控件的目标操作。8.根据权利要求1所述的方法，其中，所述按照所述目标操作对所述目标窗口内的所述目标控件进行控制处理，包括：获取所述目标控件的标识、所述目标窗口的标识以及所述目标分屏的标识；向所述车机系统发送携带所述目标操作、所述目标控件的标识、所述目标窗口的标识以及所述目标分屏的标识的处理请求，以使所述车机系统按照所述目标操作对所述目标控件进行控制处理。9.根据权利要求1所述的方法，其中，所述方法还包括：在根据所述识别文本以及所述控件信息未确定所述目标控件的情况下，获取所述识别文本中的控制指令；向所述车机系统发送携带所述控制指令的处理请求，以使所述车机系统根据所述控制指令对所述目标分屏上的显示内容进行控制处理。10.一种多屏控制装置，所述装置包括：第一获取模块，用于获取车辆座舱中的待处理语音，以及所述待处理语音对应的识别文本和声源位置；选择模块，用于根据所述声源位置，从所述车辆座舱中车机系统的多个分屏中选择目标分屏；第二获取模块，用于获取所述目标分屏中的目标窗...

【专利技术属性】
技术研发人员：王洪伟，
申请(专利权)人：阿波罗智行科技广州有限公司，
类型：发明
国别省市：