【技术实现步骤摘要】
本申请属于智能驾驶，尤其涉及一种多模态数据的融合处理方法、车辆及计算机可读存储介质。
技术介绍
1、目前，一般基于车辆上设置的雷达传感器、视觉传感器等环境感知部件，均可用于感知车辆周围环境，如检测周围环境中的车辆、行人、道路等。
2、然而，现阶段主要采用对各种感知部件的检测结果进行融合的方式，来得到最终的环境感知结果，即各传感器通过算法处理后分别输出各自的结果，通过一定规则的方式对结果进行融合，该方法缺乏有效的可解释性，且各个传感器之间的特征尺度无法统一，无法保证融合结果的准确性，导致车辆的感知性能较差。
技术实现思路
1、本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种多模态数据的融合处理方法、车辆及计算机可读存储介质。可以将多种模态的数据进行融合，并保证融合结果的准确性，车辆的感知性能较好。
2、本申请提供的多模态数据的融合处理方法，包括：分别对各种模态的数据进行特征提取，以分别得到各种模态的数据各自对应的第一特征向量；对各个所述第一特征向量分别进行特征处理，以得到鸟瞰视角下各个所述第一特征向量各自对应的第二特征向量；对各个所述第二特征向量进行融合处理，以生成融合特征向量。
3、在某些实施方式中，所述多模态数据包括图像数据和点云数据，所述分别对各种模态的数据进行特征提取，以分别得到各种模态的数据各自对应的第一特征向量，包括：对所述图像数据进行特征提取，以得到所述图像数据对应的第一图像特征向量；对所述点云数据进行特征提取，以
4、在某些实施方式中，所述对所述图像数据进行特征提取，以得到所述图像数据对应的第一图像特征向量，包括：基于预设的残差网络，对所述图像数据进行特征提取，以生成对应多个不同图像分辨率的图像特征向量；基于预设的特征图金字塔网络，对多个不同图像分辨率的图像特征向量进行处理，以生成多个不同尺度的所述第一图像特征向量。
5、在某些实施方式中，所述对所述点云数据进行特征提取，以得到所述点云数据对应的点云特征向量，包括：对所述点云数据进行分割，以得到多个点云单元；对各个所述点云单元中的点云进行编码，以分别得到各个所述点云数据对应的张量；对各个所述张量进行解码，以得到点云坐标；基于所述点云坐标，生成所述第一点云特征向量。
6、在某些实施方式中，所述对各个所述第一特征向量分别进行特征处理，以得到鸟瞰视角下的第二特征向量，包括：对所述第一图像特征向量进行特征处理，以得到鸟瞰视角下所述第一图像特征向量对应的第二图像特征向量；对所述第一点云特征向量进行特征处理，以得到鸟瞰视角下所述第一点云特征向量对应的第二点云特征向量。
7、在某些实施方式中，所述对所述第一图像特征向量进行特征处理，以得到鸟瞰视角下所述第一图像特征向量对应的第二图像特征向量，包括：基于各个相机的内参和外参，将各个所述相机对应的所述第一图像特征向量投影到多个预设高度下，以得到各个预设高度下的图像特征；对每个所述相机对应的各个预设高度下的图像特征进行采样，以得到每个所述相机对应的采样图像特征；对各个所述相机对应的所述采样图像特征进行融合，以生成所述第三图像特征向量；基于当前帧的所述第一点云特征向量和上一帧的所述第二图像特征向量，生成第四图像特征向量，第一帧的所述第二图像特征向量等于所述第三图像特征向量；基于所述第四图像特征向量和当前帧的所述第一图像特征向量，生成当前帧的所述第二图像特征向量。
8、在某些实施方式中，所述基于所述第四图像特征向量和当前帧的所述第一图像特征向量，生成当前帧的所述第二图像特征向量，包括：基于注意力机制，对所述第四图像特征向量和当前帧的所述第一图像特征向量进行融合处理，以生成当前帧的所述第二图像特征向量。
9、在某些实施方式中，所述注意力机制用于计算所述点云数据和所述图像数据的关联程度。
10、在某些实施方式中，所述对所述第一点云特征向量进行特征处理，以得到鸟瞰视角下所述第一点云特征向量对应的第二点云特征向量，包括：基于世界坐标系和点云坐标系的预设转换关系，将所述第一点云特征向量转换为所述第二点云特征向量。
11、在某些实施方式中，所述方法还包括：基于多层感知机，对所述融合特征向量进行处理，以输出多个处理结果，所述处理结果包括目标检测结果、全景分割结果、车道线检测结果和环境检测结果中至少一种。
12、本申请提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述多模态数据的融合处理方法。
13、本申请提供的一种车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多模态数据的融合处理方法。
14、本申请实施例提供的多模态数据的融合处理方法、车辆及计算机可读存储介质，通过分别对各种模态的数据进行特征提取，以分别得到各种模态的数据各自对应的第一特征向量，再对各个第一特征向量分别进行特征处理，以将各个第一特征向量转换到鸟瞰视角下，从而得到各个第一特征向量各自对应的第二特征向量，从而使得各个模态的特征尺度统一，各个模态对应的第二特征向量都具有明确的含义和解释性，提高系统的可解释性；最后对各个第二特征向量进行融合处理，以生成融合特征向量，融合特征向量可以包括不同模态捕捉的细节和信息，从而可提高基于融合特征向量进行环境感知的准确性，从而提高车辆的感知性能。
本文档来自技高网...【技术保护点】
1.一种多模态数据的融合处理方法，其特征在于，包括：
2.根据权利要求1所述的多模态数据的融合处理方法，其特征在于，所述多模态数据包括图像数据和点云数据，所述分别对各种模态的数据进行特征提取，以分别得到各种模态的数据各自对应的第一特征向量，包括：
3.根据权利要求2所述的多模态数据的融合处理方法，其特征在于，所述对所述图像数据进行特征提取，以得到所述图像数据对应的第一图像特征向量，包括：
4.根据权利要求2所述的多模态数据的融合处理方法，其特征在于，所述对所述点云数据进行特征提取，以得到所述点云数据对应的点云特征向量，包括：
5.根据权利要求2所述的多模态数据的融合处理方法，其特征在于，所述对各个所述第一特征向量分别进行特征处理，以得到鸟瞰视角下的第二特征向量，包括：
6.根据权利要求5所述的多模态数据的融合处理方法，其特征在于，所述对所述第一图像特征向量进行特征处理，以得到鸟瞰视角下所述第一图像特征向量对应的第二图像特征向量，包括：
7.根据权利要求6所述的多模态数据的融合处理方法，其特征在于，所述基于所述
8.根据权利要求7所述的多模态数据的融合处理方法，其特征在于，所述注意力机制用于计算所述点云数据和所述图像数据的关联程度。
9.根据权利要求5所述的多模态数据的融合处理方法，其特征在于，所述对所述第一点云特征向量进行特征处理，以得到鸟瞰视角下所述第一点云特征向量对应的第二点云特征向量，包括：
10.根据权利要求1所述的多模态数据的融合处理方法，其特征在于，所述方法还包括：
11.一种车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10任一项所述的多模态数据的融合处理方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-10任一项所述的多模态数据的融合处理方法。
...【技术特征摘要】
1.一种多模态数据的融合处理方法，其特征在于，包括：
2.根据权利要求1所述的多模态数据的融合处理方法，其特征在于，所述多模态数据包括图像数据和点云数据，所述分别对各种模态的数据进行特征提取，以分别得到各种模态的数据各自对应的第一特征向量，包括：
3.根据权利要求2所述的多模态数据的融合处理方法，其特征在于，所述对所述图像数据进行特征提取，以得到所述图像数据对应的第一图像特征向量，包括：
4.根据权利要求2所述的多模态数据的融合处理方法，其特征在于，所述对所述点云数据进行特征提取，以得到所述点云数据对应的点云特征向量，包括：
5.根据权利要求2所述的多模态数据的融合处理方法，其特征在于，所述对各个所述第一特征向量分别进行特征处理，以得到鸟瞰视角下的第二特征向量，包括：
6.根据权利要求5所述的多模态数据的融合处理方法，其特征在于，所述对所述第一图像特征向量进行特征处理，以得到鸟瞰视角下所述第一图像特征向量对应的第二图像特征向量，包括：
7.根据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。