【技术实现步骤摘要】
本申请涉及自动驾驶，更具体地，涉及一种bev感知融合方法、目标检测方法、设备、介质及车辆。
技术介绍
1、目前，在自动驾驶
中，通常采用多传感器视角融合等方式进行目标识别，但多传感器(例如激光-雷达传感器)融合时存在视角差异协调差、相机到bev的转换效率低、检测鲁棒性差，以及在恶劣环境和天气下适应性低的问题；并且传统的图像检测方案中，提取的特征到bev(鸟瞰视角)特征的转换耗时过大，且深度分布估计不合理，导致无法很好地提供高准确性的识别。例如：现有的激光-雷达融合传感器的感知范围有限，自动驾驶中可获得的信息有限，导致感知效果不佳。
技术实现思路
1、针对现有技术的至少一个缺陷或改进需求，本申请提供了一种bev感知融合方法、目标检测方法、设备、介质及车辆，用于至少解决现有的多传感器融合时存在视角差异协调差、雷达传感器无法实时检测的技术问题。
2、为实现上述目的，第一方面，本申请提供了一种bev感知融合方法，包括：
3、基于获取的可见光图像映射以构建可见光bev空间，基于获取的红外图像映射以构建红外bev空间；
4、将所述可见光bev空间和红外bev空间做拼接融合处理，获取融合的双光bev特征空间。
5、进一步地，所述基于获取的可见光图像映射以构建可见光bev空间，基于获取的红外图像映射以构建红外bev空间；将所述可见光bev空间和红外bev空间做拼接融合处理，获取融合的双光bev特征空间包括：
6、对获取的所述可见光图
7、分别将所述可见光特征数据和红外特征数据通过transformer方法处理，以分别获取所述可见光bev空间和红外bev空间；
8、将所述可见光bev空间和红外bev空间按通道维度进行拼接，再通过卷积层得到所述融合的双光bev特征空间。
9、进一步地，所述对获取的所述可见光图像和红外图像进行特征提取，并分别得到可见光特征数据和红外特征数据包括：
10、通过vgg模型分别对获取的所述可见光图像和红外图像进行特征提取，分别得到可见光特征图和红外特征图；
11、将所述可见光特征图和红外特征图分别输入到fpn中，获取保留更多细节信息的可见光精细特征图与红外精细特征图。
12、进一步地，所述分别将所述可见光特征数据和红外特征数据通过transformer方法处理，以分别获取所述可见光bev空间和红外bev空间包括：
13、分别将各种光精细特征图的每个第一特征点进行q、k和v计算，分别得到有关q、k和v的矩阵；
14、将所述矩阵分别投入到多头自注意力机制模块，使每个第一特征点更新为包含全部特征点信息的第二特征点，从而分别获得相应的图像全局信息；
15、将所述第二特征点分别输入至add&norm层，进行残差连接与归一化，获得第三特征点；
16、将经由add&norm层处理过的所述第三特征点分别输入到ffn中，得到进行编码过的第一bev特征和第二bev特征；
17、基于所述第一bev特征和第二bev特征，通过加权融合的方式，分别获取所述可见光bev空间和红外bev空间；
18、其中，所述光精细特征图包括所述可见光精细特征图与红外精细特征图，两者的transformer方法处理逻辑一致，分别得到所述第一bev特征和第二bev特征。
19、进一步地，所述基于所述第一bev特征和第二bev特征，通过加权融合的方式，分别获取所述可见光bev空间和红外bev空间包括：
20、分别给所述第一bev特征和第二bev特征中的每个特征分配一个融合权重，按照所述融合权重将两者相加获得加权融合结果；
21、生成空白bev空间网格，与上一帧的bev空间进行可变形注意力机制计算，基于所述空白bev空间网格中的每一个点对上一帧的bev空间进行查询，得到初始bev空间；
22、将所述初始bev空间分别与transformer编码器输出的相应的bev特征进行空间交叉自注意力计算，分别将所述初始bev空间中每一点对相应的光精细特征图进行查询，从而得到相应的最终的光bev空间；
23、其中，所述相应的bev特征包括所述第一bev特征和第二bev特征；所述相应的最终的光bev空间包括所述可见光bev空间和红外bev空间。
24、进一步地，所述vgg模型为支持16层的vgg模型。
25、第二方面，本申请提供了一种目标检测方法，基于训练好的目标检测识别模型，对上述任一项所述的bev感知融合方法所获取的融合的双光bev特征空间进行目标识别，得到目标识别结果。
26、第三方面，本申请提供了一种电子设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元能够执行上述任一项所述的bev感知融合方法的步骤，或者能够执行上述的目标检测方法的步骤。
27、第四方面，本申请提供了一种存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备能够执行上述任一项所述的bev感知融合方法的步骤，或者能够执行上述的目标检测方法的步骤。
28、第五方面，本申请提供了一种车辆，存储有一组指令集，所述指令集被所述车辆执行，以实现上述任一项所述的bev感知融合方法的步骤，或者能够实现上述的目标检测方法的步骤。
29、总体而言，通过本申请所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
30、(1)相比于现有的激光-雷达传感器识别方案，本申请的这个统一的融合的双光bev特征空间更易于跨摄像头和多模态的融合，可以克服雷达传感器无法实时检测的技术缺陷。
31、(2)本申请的后融合方案相对于现有的特征级融合方案而言，因其并行计算从而拥有较高的效率，并拥有较高的鲁棒性，不会因一个传感器失效而导致整体系统瘫痪，并且还可以隔离错误与噪声，强化关键信息。
本文档来自技高网...【技术保护点】
1.一种BEV感知融合方法，其特征在于，包括：
2.如权利要求1所述的BEV感知融合方法，其特征在于，所述基于获取的可见光图像映射以构建可见光BEV空间，基于获取的红外图像映射以构建红外BEV空间；将所述可见光BEV空间和红外BEV空间做拼接融合处理，获取融合的双光BEV特征空间包括：
3.如权利要求2所述的BEV感知融合方法，其特征在于，所述对获取的所述可见光图像和红外图像进行特征提取，并分别得到可见光特征数据和红外特征数据包括：
4.如权利要求3所述的BEV感知融合方法，其特征在于，所述分别将所述可见光特征数据和红外特征数据通过Transformer方法处理，以分别获取所述可见光BEV空间和红外BEV空间包括：
5.如权利要求4所述的BEV感知融合方法，其特征在于，所述基于所述第一BEV特征和第二BEV特征，通过加权融合的方式，分别获取所述可见光BEV空间和红外BEV空间包括：
6.如权利要求3-5任一项所述的BEV感知融合方法，其特征在于，所述VGG模型为支持16层的VGG模型。
7.一种目标检测方法，
8.一种电子设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元能够执行权利要求1-6任一项所述的BEV感知融合方法的步骤，或者能够执行权利要求7所述的目标检测方法的步骤。
9.一种存储介质，其特征在于，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备能够执行权利要求1-6任一项所述的BEV感知融合方法的步骤，或者能够执行权利要求7所述的目标检测方法的步骤。
10.一种车辆，其特征在于，存储有一组指令集，所述指令集被所述车辆执行，以实现权利要求1-6任一项所述的BEV感知融合方法的步骤，或者实现权利要求7所述的目标检测方法的步骤。
...【技术特征摘要】
1.一种bev感知融合方法，其特征在于，包括：
2.如权利要求1所述的bev感知融合方法，其特征在于，所述基于获取的可见光图像映射以构建可见光bev空间，基于获取的红外图像映射以构建红外bev空间；将所述可见光bev空间和红外bev空间做拼接融合处理，获取融合的双光bev特征空间包括：
3.如权利要求2所述的bev感知融合方法，其特征在于，所述对获取的所述可见光图像和红外图像进行特征提取，并分别得到可见光特征数据和红外特征数据包括：
4.如权利要求3所述的bev感知融合方法，其特征在于，所述分别将所述可见光特征数据和红外特征数据通过transformer方法处理，以分别获取所述可见光bev空间和红外bev空间包括：
5.如权利要求4所述的bev感知融合方法，其特征在于，所述基于所述第一bev特征和第二bev特征，通过加权融合的方式，分别获取所述可见光bev空间和红外bev空间包括：
6.如权利要求3-5任一项所述的bev感知融合方法，其特征在于，所述vgg模型为支持...
【专利技术属性】
技术研发人员：张道航，姜秋来，王鹏，田鹏，周向，
申请(专利权)人：武汉轩辕智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。