【技术实现步骤摘要】
本申请涉及视频图像处理，具体涉及适用于多视角目标检测的高精地图对齐融合方法及系统。
技术介绍
1、高等级自动驾驶因其能够减轻驾驶员的驾驶负担并提高驾驶安全性而受到广泛关注。作为自动驾驶汽车感知不可或缺的一部分，三维目标检测旨在预测自动驾驶车辆周围主要目标的几何和语义信息。可靠的检测结果对于如目标跟踪、轨迹预测和运动规划等下游任务至关重要。多模态融合捕获多种传感器信号，通过互补提高检测质量，对推动高等级自动驾驶具有重要意义。然而，为自动驾驶而生的高精地图却没有受到足够重视，高精地图与其他传感器，特别是与多视角图像的融合目标检测研究匮乏。
2、高精地图与多视角图像融合(相机地图融合)的研究难点在于二者间的显著差异。两种模态数据处于不同视角、不同语义层级、不同幅值量级，阻碍了一致特征表示的构建。多视角图像与激光雷达的融合(相机雷达融合)发展最为成熟，提出了多种不同阶段、特征表示、算子的双模态融合框架。激光雷达与高精地图的融合(雷达地图融合)得到了初步研究，探索了高精地图的表示、编码、融合策略。
3、尽管如此，不同模态数据间的差异使得已有的多模态框架无法迁移至相机地图融合，另一方面，纯视觉三维目标检测得益于低部署成本得到广泛关注、发展迅速，但不能克服单模态方法固有的局限性；并且目前缺少相机地图融合的方法。
技术实现思路
1、本申请提供一种适用于多视角目标检测的高精地图对齐融合方法及系统，可以解决现有技术中存在的缺少将相机地图融合方法进行三维目标检测的技术问题。>
2、第一方面，本申请提供了一种适用于多视角目标检测的高精地图对齐融合方法，包括以下步骤：
3、获取给定时刻待检测多视角图像的图像特征；
4、获取给定时刻记录的车辆位置和方向的车辆感知范围内的高精地图的地图特征；
5、拼接图像特征和地图特征，获取跨模态特征；
6、对跨模态特征进行幅值调整和地图信息强化处理，获取融合特征；
7、对融合特征进行目标检测，获取目标检测结果。
8、结合第一方面，在一种实施方式中，所述获取给定时刻记录的车辆位置和方向的车辆感知范围内的高精地图的地图特征包括：
9、依据给定时刻记录的车辆位置和方向，从高精地图中裁剪获取车辆感知范围内的局部高精地图；
10、获取局部高精地图的局部地图表示；
11、获取局部地图表示的图像标记信息；
12、追加图像标记信息至局部地图表示中，获取平衡地图表示；
13、空洞卷积处理平衡地图表示为地图特征。
14、结合第一方面，在一种实施方式中，所述获取局部高精地图的局部地图表示包括：
15、栅格化局部高精地图为多个栅格；
16、对局部高精地图的每个语义层，逐层比对每个栅格中心在该层语义层的语义标注范围的范围内存无工况，将包含每个语义层的语义标注范围判定信息的二值图像作为局部地图表示。
17、结合第一方面，在一种实施方式中，所述获取局部地图表示的图像标记信息包括：
18、构建一张新的二值图像；
19、获取局部地图表示中所有语义层图像的位置信息；
20、若局部地图表示中的一图像和新的二值图像同位置，则在新的二值图像中标记该图像的图像标记信息为第一标记；
21、若局部附图表示中的一图像和新的二值图像不同位置，则在新的二值图像中标记该图像的图像标记信息为第二标记。
22、结合第一方面，在一种实施方式中，所述追加图像标记信息至局部地图表示中，获取平衡地图表示包括：
23、拼接局部地图表示中的每个语义层的二值图像和包含图像标记信息的新的二值图像的通道，获取平衡地图表示。
24、结合第一方面，在一种实施方式中，所述空洞卷积处理平衡地图表示为地图特征包括：
25、对平衡地图表示，通过空洞卷积层、se模块、下采样卷积层提取获取第一地图提取特征，其中，空洞卷积层的特征维度为第一空洞卷积特征维度，下采样卷积层的特征维度为第一下采样卷积特征维度；
26、对于第一地图提取特征，通过空洞卷积层、se模块、下采样卷积层提取获取第二地图提取特征，其中，空洞卷积层的特征维度为第二空洞卷积特征维度，下采样卷积层的特征维度为第二下采样卷积特征维度；
27、对于第二地图提取特征，通过空洞卷积层、se模块、局部卷积层提取获取第三地图提取特征，其中，空洞卷积层特征维度为第二空洞卷积特征维度，局部卷积层的特征维度为第二空洞卷积特征维度，获取第三地图提取特征；
28、将第二地图提取特征和第三地图提取特征逐元素相加，获取最终的地图特征；
29、其中，第一空洞卷积特征维度＜第二空洞卷积特征维度＜第三空洞卷积特征维度，第一下采样卷积特征维度＜第二下采样卷积特征维度。结合第一方面，在一种实施方式中，所述对跨模态特征进行幅值调整和地图信息强化处理，获取融合特征包括：
30、对跨模态特征进行幅值调整，获取通道注意力；
31、对跨模态特征进行地图信息强化处理，获取空间注意力；
32、将通道注意力和空间注意力相乘并进行sigmoid归一化处理，获取融合特征。
33、结合第一方面，在一种实施方式中，所述对跨模态特征进行幅值调整，获取通道注意力包括：
34、对跨模态特征进行全局平均池化处理，展平获取为特征向量；
35、通过全连接层压缩特征向量，并进行归一化、relu激活处理，获取压缩后的特征向量；
36、通过全连接层恢复压缩后的特征向量的通道数，获取通道注意力。
37、结合第一方面，在一种实施方式中，所述对跨模态特征进行地图信息强化处理，获取空间注意力包括：
38、对跨模态特征，卷积压缩特征通道并经过归一化、relu激活处理获取第一特征；
39、对于第一特征，进行空洞卷积提取特征，并经过归一化、relu激活处理获取第二特征；
40、对第二特征，进行空洞卷积提取特征，并经过归一化、relu激活处理获取第三特；
41、压缩第三特通道，消除通道维度，获取空间注意力。
42、第二方面，本申请提供了一种适用于多视角目标检测的高精地图对齐融合系统，包括：
43、图像特征获取模块，用于获取给定时刻待检测多视角图像的图像特征；
44、地图特征获取模块，用于获取给定时刻记录的车辆位置和方向的车辆感知范围内的高精地图的地图特征；
45、跨模态特征获取模块，与所述图像特征获取模块和所述地图特征获取模块通信连接，用于拼接图像特征和地图特征，获取跨模态特征；
46、融合特征获取模块，与所述跨模态特征获取模块通信连接，用于对跨模态特征进行幅值调整和地图信息强化处理，获取融合特征；
47、目标检测模块，与所述融合特征获取模块通信连接，用于对融合特征本文档来自技高网...
【技术保护点】
1.一种适用于多视角目标检测的高精地图对齐融合方法，其特征在于，包括以下步骤：
2.如权利要求1所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述获取给定时刻记录的车辆位置和方向的车辆感知范围内的高精地图的地图特征包括：
3.如权利要求2所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述获取局部高精地图的局部地图表示包括：
4.如权利要求2所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述获取局部地图表示的图像标记信息包括：
5.如权利要求4所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述追加图像标记信息至局部地图表示中，获取平衡地图表示包括：
6.如权利要求2所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述空洞卷积处理平衡地图表示为地图特征包括：
7.如权利要求1所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述对跨模态特征进行幅值调整和地图信息强化处理，获取融合特征包括：
8.如权利要求7所述的
9.如权利要求7所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述对跨模态特征进行地图信息强化处理，获取空间注意力包括：
10.一种适用于多视角目标检测的高精地图对齐融合系统，其特征在于，包括：
...【技术特征摘要】
1.一种适用于多视角目标检测的高精地图对齐融合方法，其特征在于，包括以下步骤：
2.如权利要求1所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述获取给定时刻记录的车辆位置和方向的车辆感知范围内的高精地图的地图特征包括：
3.如权利要求2所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述获取局部高精地图的局部地图表示包括：
4.如权利要求2所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述获取局部地图表示的图像标记信息包括：
5.如权利要求4所述的适用于多视角目标检测的高精地图对齐融合方法，其特征在于，所述追加图像标记信息至局部地图表示中，获取平衡地图表示包括：
【专利技术属性】
技术研发人员：肖进胜，王澍瑞，周剑，郭圆，吴婧逸，刘文博，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。