【技术实现步骤摘要】
本申请涉及自动驾驶，尤其是涉及环境要素信息驱动的自动驾驶多模态动态融合方法及装置。
技术介绍
1、当前的自动驾驶感知系统主要依赖相机、激光雷达和毫米波雷达等传感器来感知周围环境，这些系统采用了动态训练和静态推理的模型范式。在推理过程中，网络模型的架构和参数是固定不变的。这种方法在特定的、单一的场景感知任务中表现良好，但在面对现实驾驶环境中复杂多变的场景时，效果不佳。
2、实际道路环境是一个多元且复杂的场景，不仅包含车辆、行人等动态目标信息，还包括道路状况、天气变化、光照强度等多种场景状态要素。不同的场景状态下，各种传感器的优势和有效性也存在显著差异。例如，在良好天气条件下，激光雷达可以精确测量距离和形状信息，但在雨雪天气中，激光雷达的有效性会大幅降低。
3、在多模态融合中加入环境要素会提高场景感知的精度，但是目前还未有解决方案。
技术实现思路
1、有鉴于此，本申请提供了环境要素信息驱动的自动驾驶多模态动态融合方法及装置，以解决上述技术问题。
2、第一方面，本申请实施例提供一种环境要素信息驱动的自动驾驶多模态动态融合方法，包括：
3、获取当前时刻自车上多个传感器采集的多模态数据；
4、对所述多模态数据进行数据冗余审查，得到审核通过的多模态数据；
5、从审核通过的多模态数据中提取自车特征、环境特征、图像特征和雷达特征，对自车特征、环境特征、图像特征和雷达特征进行处理，得到场景状态参数向量；
6、利用场景
7、利用解码器对所述第一融合特征进行解码，得到第二融合特征；
8、利用占据栅格网络头对所述第二融合特征进行处理，得到第一感知结果；
9、利用交叉注意力网络对所述第一感知结果进行处理，得到第二感知结果。
10、进一步地，所述第一模态数据至少包括：转向角、速度、加速度、三维位置、气象数据、光照、z方向的振动位移、音频、rgb图像和点云数据。
11、进一步地，对所述多模态数据进行数据冗余审查，得到审核通过的多模态数据，包括：
12、步骤s1：判断所述多模态数据中的各个分量是否存在零值，若为是，则确定所述多模态数据未审核通过；否则，进入步骤s2；
13、步骤s2：将多模态数据划分为主模态数据和非主模态数据，所述主模态数据包括rgb图像和点云数据；所述非主模态数据包括转向角、速度、加速度、三维位置、气象数据、光照、z方向的振动位移和音频；
14、步骤s3：判断所述主模态数据中的各个分量与上一时刻的对应分量是否存在重复值，若为是，则确定所述多模态数据未审核通过；否则，进入步骤s4；
15、步骤s4：依次判断所述非主模态数据的各个分量与所述主模态数据是否均存在关联性，若为是，则确定所述多模态数据审核通过，否则，确定所述多模态数据未审核通过。
16、进一步地，对所述自车特征、环境特征、图像特征和雷达特征进行处理，得到场景状态参数向量，包括：
17、利用傅里叶变换将拼接后的自车特征和环境特征转换为频谱特征；
18、利用3*3卷积层对拼接后的图像特征和雷达特征进行处理，得到第一特征；
19、对频谱特征和第一特征进行拼接，得到第二特征；
20、对第二特征进行全局池化操作，得到第三特征；
21、利用预先训练得到的权重矩阵与第三特征进行单点卷积，得到场景状态参数向量。
22、进一步地，利用场景状态参数向量对所述自车特征、环境特征、图像特征和雷达特征进行融合，得到第一融合特征；包括：
23、将所述自车特征、环境特征、图像特征和雷达特征进行拼接，得到第四特征；
24、将场景状态参数向量与第四特征进行相乘，得到第一融合特征。
25、进一步地，所述解码器采用动态神经网络结构，包括：n层路径空间。
26、进一步地，利用解码器对所述第一融合特征进行解码，得到第二融合特征，包括：
27、利用第一层路径空间对所述第一融合特征进行处理，得到第一中间特征
28、
29、其中，dw(·)为深度可分离卷积，r(·)为relu激活函数，gate(·)为门控函数，为对第一融合特征进行池化得到的分辨率为s/2的特征图，为向量乘积，u(·)为上采样；
30、利用第二层路径空间对所述第一中间特征进行处理，得到第二中间特征
31、
32、其中，为对第一中间特征进行池化得到的分辨率为s/2的特征图；
33、利用第n层路径空间对所述第n-1中间特征进行处理，得到第二中间特征
34、
35、其中，3≤n≤n；为第n-1中间特征进行池化得到的分辨率为s/2的特征图；
36、确定第n中间特征为第二融合特征。
37、第二方面，本申请实施例提供一种环境要素信息驱动的自动驾驶多模态动态融合装置，包括：
38、获取单元，用于获取当前时刻自车上多个传感器采集的多模态数据；
39、审核单元，用于对所述多模态数据进行数据冗余审查，得到审核通过的多模态数据；
40、第一处理单元，用于从审核通过的多模态数据中提取自车特征、环境特征、图像特征和雷达特征，对自车特征、环境特征、图像特征和雷达特征进行处理，得到场景状态参数向量；
41、第二处理单元，用于利用场景状态参数向量对自车特征、环境特征、图像特征和雷达特征进行融合，得到第一融合特征；
42、解码单元，用于利用解码器对所述第一融合特征进行解码，得到第二融合特征；
43、第一感知单元，用于利用占据栅格网络头对所述第二融合特征进行处理，得到第一感知结果；
44、第二感知单元，用于利用交叉注意力网络对所述第一感知结果进行处理，得到第二感知结果。
45、第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的方法。
46、第四方面，本申请实施例一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现本申请实施例的方法。
47、本申请能够在复杂多变的实际驾驶环境中提供更高的感知精度和可靠性。
本文档来自技高网...【技术保护点】
1.一种环境要素信息驱动的自动驾驶多模态动态融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模态数据至少包括：转向角、速度、加速度、三维位置、气象数据、光照、Z方向的振动位移、音频、RGB图像和点云数据。
3.根据权利要求2所述的方法，其特征在于，对所述多模态数据进行数据冗余审查，得到审核通过的多模态数据，包括：
4.根据权利要求1所述的方法，其特征在于，对所述自车特征、环境特征、图像特征和雷达特征进行处理，得到场景状态参数向量，包括：
5.根据权利要求1所述的方法，其特征在于，利用场景状态参数向量对所述自车特征、环境特征、图像特征和雷达特征进行融合，得到第一融合特征；包括：
6.根据权利要求1所述的方法，其特征在于，所述解码器采用动态神经网络结构，包括：N层路径空间。
7.根据权利要求6所述的方法，其特征在于，利用解码器对所述第一融合特征进行解码，得到第二融合特征，包括：
8.一种环境要素信息驱动的自动驾驶多模态动态融合装置，其特征在于，包括：
9.一
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种环境要素信息驱动的自动驾驶多模态动态融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模态数据至少包括：转向角、速度、加速度、三维位置、气象数据、光照、z方向的振动位移、音频、rgb图像和点云数据。
3.根据权利要求2所述的方法，其特征在于，对所述多模态数据进行数据冗余审查，得到审核通过的多模态数据，包括：
4.根据权利要求1所述的方法，其特征在于，对所述自车特征、环境特征、图像特征和雷达特征进行处理，得到场景状态参数向量，包括：
5.根据权利要求1所述的方法，其特征在于，利用场景状态参数向量对所述自车特征、环境特征、图像特征和雷达特征进行融合，得到第一融合特征；包括：...
【专利技术属性】
技术研发人员：张庭祯，李志伟，杨巧宁，程鹏，蔡乐嫣，刘旭东，崔文琪，魏全杰，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。