【技术实现步骤摘要】
本专利技术涉及数据处理，尤其是一种智能座舱多模态感知数据融合方法、系统、装置及介质。
技术介绍
1、现阶段，智能座舱大多利用人工智能和车辆控制技术通过分析多种类型的传感器数据对用户的感知信息进行识别和分析，理解用户的需求和意图，实现座舱内通信、感知、娱乐、空调、座椅等系统的协同控制。相关技术中，智能座舱在感知环境与用户信息时，传感器数据普遍受到大量不同类型的数据噪声的干扰，同时由于各传感器采集时序存在显著的差异，使得模型在识别分析这些数据时效率低下，影响了决策控制的准确性，从而影响了智能座舱的用户体验。
技术实现思路
1、本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
2、为此，本专利技术实施例的一个目的在于提供一种智能座舱多模态感知数据融合方法，该方法提高了智能座舱感知数据识别分析的效率以及智能座舱决策控制的准确性，从而提高了智能座舱的用户体验。
3、本专利技术实施例的另一个目的在于提供一种智能座舱多模态感知数据融合系统。
4、为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
5、第一方面，本专利技术实施例提供了一种智能座舱多模态感知数据融合方法，包括以下步骤：
6、获取目标座舱的视频图像信息和音频信息，对所述视频图像信息进行特征提取得到第一图像特征信息，并对所述音频信息进行特征提取到第一音频特征信息；
7、对所述第一图像特征信息进行降噪处理、特征对齐以及特征图转化，得到第一
8、对所述第一音频特征信息进行降噪处理、时域对齐以及特征图转化，得到第二特征图；
9、对所述第一特征图和所述第二特征图进行时序融合，得到目标感知融合数据。
10、进一步地，在本专利技术的一个实施例中，所述获取目标座舱的视频图像信息和音频信息，其具体包括：
11、通过设置在所述目标座舱的多个视觉传感器获取所述视频图像信息；
12、通过设置在所述目标座舱的多个声音传感器获取所述音频数据。
13、进一步地，在本专利技术的一个实施例中，所述对所述第一图像特征信息进行降噪处理、特征对齐以及特征图转化，得到第一特征图，其具体包括：
14、将多个所述第一图像特征信息输入到预先训练好的图像降噪模型进行降噪处理，得到多个第二图像特征信息；
15、对所述第二图像特征信息进行特征对齐，得到第三图像特征信息；
16、对所述第三图像特征信息进行二维特征图转化，得到所述第一特征图。
17、进一步地，在本专利技术的一个实施例中，所述智能座舱多模态感知数据融合方法还包括预先训练所述图像降噪模型的步骤，其具体包括：
18、获取预设的多个第一自然图像，将所述第一自然图像输入到gmm高斯混合模型，得到对应的多个第一噪声图像；
19、根据所述第一噪声图像提取得到噪声图像块，并通过生成对抗网络对所述噪声图像块进行样本扩充，生成多个第二噪声图像；
20、根据所述第二噪声图像和对应的所述第一自然图像生成多个样本图像对，将所述样本图像对输入到卷积神经网络进行训练，得到所述图像降噪模型。
21、进一步地，在本专利技术的一个实施例中，所述对所述第一音频特征信息进行降噪处理、时域对齐以及特征图转化，得到第二特征图，其具体包括：
22、将多个所述第一音频特征信息输入到预先构建的音频降噪模型进行降噪处理，得到多个第二音频特征信息；
23、对所述第二音频特征信息进行时域对齐，得到第三音频特征信息；
24、对所述第三音频特征信息进行二维特征图转化，得到所述第二特征图。
25、进一步地，在本专利技术的一个实施例中，所述音频降噪模型包括第一双层长短期记忆网络、第一全连接网络、第一卷积层、第二双层长短期记忆网络、第二全连接网络以及第二卷积层，所述将多个所述第一音频特征信息输入到预先构建的音频降噪模型进行降噪处理，得到多个第二音频特征信息，其具体包括：
26、对所述第一音频特征信息进行短时傅里叶变换得到第一频域信号，并对所述第一频域信号进行振幅相位对齐，得到第二频域信号；
27、将所述第二频域信号依次输入至所述第一双层长短期记忆网络和所述第一全连接网络，得到第三频域信号，进而将所述第三频域信号与所述第一频域信号进行点乘，得到第四频域信号；
28、对所述第四频域信号进行逆傅里叶变换得到第一时域信号，通过所述第一卷积层对所述第一时域信号进行卷积处理得到第二时域信号，并对所述第二时域信号进行归一化处理得到第三时域信号；
29、将所述第三时域信号依次输入至所述第二双层长短期记忆网络和所述第二全连接网络，得到第四时域信号，进而将所述第四时域信号与所述第二时域信号进行点乘，得到第五时域信号；
30、通过所述第二卷积层对所述第五时域信号进行卷积处理得到第六时域信号，并将所述第六时域信号变换到输入维度进行叠加输出，得到所述第二音频特征信息。
31、进一步地，在本专利技术的一个实施例中，所述对所述第一特征图和所述第二特征图进行时序融合，得到目标感知融合数据，其具体包括：
32、通过detr网络提取所述第一特征图和所述第二特征图的特征帧，并通过先进先出队列将所述特征帧依次存储至预设的存储空间，直至所述存储空间存储的所述特征帧达到预设的时序融合帧数；
33、获取当前时刻的所述特征帧，并从所述存储空间获取历史时刻的所述特征帧，进而对当前时刻的所述特征帧和历史时刻的所述特征帧进行融合，得到当前时刻的所述目标感知融合数据。
34、第二方面，本专利技术实施例提供了一种智能座舱多模态感知数据融合系统，包括：
35、特征提取模块，用于获取目标座舱的视频图像信息和音频信息，对所述视频图像信息进行特征提取得到第一图像特征信息，并对所述音频信息进行特征提取到第一音频特征信息；
36、图像特征处理模块，用于对所述第一图像特征信息进行降噪处理、特征对齐以及特征图转化，得到第一特征图；
37、音频特征处理模块，用于对所述第一音频特征信息进行降噪处理、时域对齐以及特征图转化，得到第二特征图；
38、时序融合模块，用于对所述第一特征图和所述第二特征图进行时序融合，得到目标感知融合数据。
39、第三方面，本专利技术实施例提供了一种智能座舱多模态感知数据融合装置，包括：
40、至少一个处理器；
41、至少一个存储器，用于存储至少一个程序；
42、当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种智能座舱多模态感知数据融合方法。
43、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种智能座舱多模态感知数据融合方法。
44、本专利技术的优点和有益效果本文档来自技高网...
【技术保护点】
1.一种智能座舱多模态感知数据融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述获取目标座舱的视频图像信息和音频信息，其具体包括：
3.根据权利要求1所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述对所述第一图像特征信息进行降噪处理、特征对齐以及特征图转化，得到第一特征图，其具体包括：
4.根据权利要求3所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述智能座舱多模态感知数据融合方法还包括预先训练所述图像降噪模型的步骤，其具体包括：
5.根据权利要求1所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述对所述第一音频特征信息进行降噪处理、时域对齐以及特征图转化，得到第二特征图，其具体包括：
6.根据权利要求5所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述音频降噪模型包括第一双层长短期记忆网络、第一全连接网络、第一卷积层、第二双层长短期记忆网络、第二全连接网络以及第二卷积层，所述将多个所述第一音频特征信息输入到预先构建的音频
7.根据权利要求1至6中任一项所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述对所述第一特征图和所述第二特征图进行时序融合，得到目标感知融合数据，其具体包括：
8.一种智能座舱多模态感知数据融合系统，其特征在于，包括：
9.一种智能座舱多模态感知数据融合装置，其特征在于，包括：
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至7中任一项所述的一种智能座舱多模态感知数据融合方法。
...【技术特征摘要】
1.一种智能座舱多模态感知数据融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述获取目标座舱的视频图像信息和音频信息，其具体包括：
3.根据权利要求1所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述对所述第一图像特征信息进行降噪处理、特征对齐以及特征图转化，得到第一特征图，其具体包括：
4.根据权利要求3所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述智能座舱多模态感知数据融合方法还包括预先训练所述图像降噪模型的步骤，其具体包括：
5.根据权利要求1所述的一种智能座舱多模态感知数据融合方法，其特征在于，所述对所述第一音频特征信息进行降噪处理、时域对齐以及特征图转化，得到第二特征图，其具体包括：
6.根据权利要求5所述的一种智能座舱多模态感...
【专利技术属性】
技术研发人员：林健，张荣培，董凌志，付佳宇，陈海松，
申请(专利权)人：广汽本田汽车有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。