【技术实现步骤摘要】
本申请涉及车辆，特别涉及一种基于语音识别的车辆控制方法，装置，设备及车辆。
技术介绍
1、随着智能驾驶技术的发展，车载语音控制系统作为现代汽车的重要组成部分，已经得到了广泛的应用，特别是在车辆控制系统中，语音识别技术已成为人机交互的重要方式。
2、相关技术中的车载语音识别控制技术主要是通过识别驾驶员的语音信息实现控制的，这种方式在车辆高速行驶、有噪声干扰或用户语音不清晰时，语音识别的准确性较低，从而导致无法对车辆进行有效控制，进一步对行车安全造成了一定的影响。
技术实现思路
1、本申请实施例的主要目的在于提供一种基于语音识别的车辆控制方法，装置，设备及车辆，旨在提高语音识别的准确性以实现对车辆的有效控制。
2、为实现上述目的，本申请实施例的一方面提出了一种基于语音识别的车辆控制方法，包括以下步骤：
3、获取车辆中驾驶员的语音信息和唇部视频图像信息；
4、基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，所述融合结果包括特征级融合结果和决策级融合结果；
5、通过所述特征级融合结果和所述决策级融合结果确定驾驶员意图；
6、根据所述驾驶员意图控制车辆执行对应的操作。
7、在一些实施例中，所述信息融合包括特征级融合，所述基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，包括：
8、通过所述语音信息提取语音特征；
9、通过所述唇部视频图像信息提取唇语特征
10、将所述语音特征与所述唇语特征进行特征融合，得到所述特征级融合结果。
11、在一些实施例中，所述通过所述语音信息提取语音特征，包括：
12、提取所述语音信息中的声学特征，得到所述语音特征。
13、在一些实施例中，所述通过所述唇部视频图像信息提取唇语特征，包括：
14、提取所述唇部视频图像信息中的唇部运动的视觉特征，得到所述唇语特征。
15、在一些实施例中，所述信息融合包括决策级融合，所述基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，包括：
16、对所述语音信息进行处理和分析，得到语音文本指令；
17、将所述唇部视频图像信息输入唇语识别模型，得到唇语文本指令，所述唇语识别模型通过训练得到；
18、对所述语音文本指令和所述唇语文本指令进行决策级融合，得到决策级融合结果。
19、在一些实施例中，所述对所述语音文本指令和所述唇语文本指令进行决策级融合，得到决策级融合结果，包括：
20、根据所述语音文本指令、所述语音文本指令所对应的置信度、所述唇语文本指令和所述唇语文本指令所对应的置信度通过加权投票或贝叶斯融合进行决策级融合，得到决策级融合结果。
21、在一些实施例中，所述通过所述特征级融合结果和所述决策级融合结果确定驾驶员意图，包括：
22、通过投票机制或者加权平均对所述特征级融合结果和所述决策级融合结果进行决策，以确定驾驶员意图。
23、为实现上述目的，本申请实施例的另一方面提出了一种基于语音识别的车辆控制装置，所述基于语音识别的车辆控制装置包括：
24、获取模块，用于获取车辆中驾驶员的语音信息和唇部视频图像信息；
25、信息融合模块，用于基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，所述融合结果包括特征级融合结果和决策级融合结果；
26、确定模块，用于通过所述特征级融合结果和所述决策级融合结果确定驾驶员意图；
27、控制模块，用于根据所述驾驶员意图控制车辆执行对应的操作。
28、为实现上述目的，本申请实施例的又一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施例的基于语音识别的车辆控制方法。
29、为实现上述目的，本申请实施例的又一方面提出了一种车辆，所述车辆包括上述实施例的一种基于语音识别的车辆控制装置或上述实施例的电子设备。
30、本申请实施例至少包括以下有益效果：
31、本申请提供一种基于语音识别的车辆控制方法，装置，设备及车辆，在本申请实施例中，首先，获取车辆中驾驶员的语音信息和唇部视频图像信息；之后，基于语音信息和唇部视频图像信息进行信息融合，得到融合结果，融合结果包括特征级融合结果和决策级融合结果；然后，通过特征级融合结果和决策级融合结果确定驾驶员意图；最后，根据驾驶员意图控制车辆执行对应的操作。本申请实施例提供的基于语音识别的车辆控制方法中对车辆的控制是基于语音信息和唇部视频图像信息进行信息融合，并进一步根据特征级融合结果和决策级融合结果确定驾驶员意图，之后，根据驾驶员意图实现对车辆的控制的，因此，相较于相关技术中的只是通过识别驾驶员的语音信息实现对车辆的控制，本申请实施例能够提高语音识别的准确性，进而实现对车辆的有效控制。
32、本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
本文档来自技高网...【技术保护点】
1.一种基于语音识别的车辆控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于语音识别的车辆控制方法，其特征在于，所述信息融合包括特征级融合，所述基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，包括：
3.根据权利要求2所述的基于语音识别的车辆控制方法，其特征在于，所述通过所述语音信息提取语音特征，包括：
4.根据权利要求2所述的基于语音识别的车辆控制方法，其特征在于，所述通过所述唇部视频图像信息提取唇语特征，包括：
5.根据权利要求1所述的基于语音识别的车辆控制方法，其特征在于，所述信息融合包括决策级融合，所述基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，包括：
6.根据权利要求5所述的基于语音识别的车辆控制方法，其特征在于，所述对所述语音文本指令和所述唇语文本指令进行决策级融合，得到决策级融合结果，包括：
7.根据权利要求1所述的基于语音识别的车辆控制方法，其特征在于，所述通过所述特征级融合结果和所述决策级融合结果确定驾驶员意图，包括：
8.
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于语音识别的车辆控制方法。
10.一种车辆，其特征在于，所述车辆包括如权利要求8所述的基于语音识别的车辆控制装置或如权利要求9所述的电子设备。
...【技术特征摘要】
1.一种基于语音识别的车辆控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于语音识别的车辆控制方法，其特征在于，所述信息融合包括特征级融合，所述基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，包括：
3.根据权利要求2所述的基于语音识别的车辆控制方法，其特征在于，所述通过所述语音信息提取语音特征，包括：
4.根据权利要求2所述的基于语音识别的车辆控制方法，其特征在于，所述通过所述唇部视频图像信息提取唇语特征，包括：
5.根据权利要求1所述的基于语音识别的车辆控制方法，其特征在于，所述信息融合包括决策级融合，所述基于所述语音信息和所述唇部视频图像信息进行信息融合，得到融合结果，包括：
6....
【专利技术属性】
技术研发人员：田井权，关宇韬，李海霞，杨雪珠，张泽钰，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。