【技术实现步骤摘要】
本公开涉及自动驾驶，尤其涉及一种环境感知方法、装置和无人车。
技术介绍
1、目前，无人驾驶设备用于将人或者物从一个位置自动运送到另一个位置，无人驾驶设备通过设备上的传感器采集环境信息并完成自动运送。基于无人驾驶技术控制的无人配送车进行物流运输，极大地提高了生产生活的便捷性，节约了人力成本。
2、在无人驾驶领域，利用神经网络对周围环境进行理解和识别是一项极为重要的基础研究之一。自动驾驶的感知任务对于处理时间和精度均有着非常严苛的要求。为了满足上述要求，在自动驾驶的感知任务中，往往采用基于多传感器的跨模态信息融合方案，以形成不同模态传感器之间的交叉验证，以此降低单模态传感器的误识别、误感知概率。例如，相比于仅仅利用雷达测量的点云数据进行环境感知，利用相机测量的图像数据与雷达测量的点云数据进行环境感知，不仅能够通过图像信息对物体的语义形成更准确的判断，而且能通过点云信息准确识别物体位置、尺寸等几何信息，进而得到更加准确的三维环境感知结果。
3、相关技术中，在基于多模态信息进行物体检测时，主要依赖于相机内外参投影，通过硬性对齐(hard-alignment)的方式实现不同模态信息的融合。另外，也有基于注意力机制融合不同模态信息的方式。
技术实现思路
1、本公开提出了一种环境感知方法、装置和无人车。
2、根据本公开的第一方面，提出了一种环境感知方法，包括：获取目标环境的点云数据和图像数据；对所述点云数据进行鸟瞰视角投影，以得到所述点云数据对应的鸟瞰图；对所
3、在一些实施例中，所述对所述鸟瞰图和所述图像数据进行多阶段的提取与融合处理，以得到与所述多阶段中的每个阶段对应的融合特征图包括：在所述多阶段中的第一阶段，将所述鸟瞰图作为第一鸟瞰特征图、将所述图像数据作为第一图像特征图；对所述第一鸟瞰特征图进行特征提取，以得到第二鸟瞰特征图；对所述第一图像特征图进行特征提取，以得到第二图像特征图；基于注意力机制，对所述第二鸟瞰特征图和所述第二图像特征图进行融合，以得到与所述第一阶段对应的融合特征图；根据所述融合特征图更新所述第一鸟瞰特征图，根据所述第二图像特征图更新所述第一图像特征图；迭代执行鸟瞰特征提取、图像特征提取、融合步骤，直至得到与所述多个阶段中的每个阶段对应的融合特征图。
4、在一些实施例中，基于注意力机制，对所述第二鸟瞰特征图和所述第二图像特征图进行融合，以得到与所述第一阶段对应的融合特征图包括：根据所述第二鸟瞰特征图，确定查询矩阵；根据所述第二图像特征图，确定键矩阵和值矩阵；确定所述图像数据的位置编码；根据所述图像数据的位置编码、所述键矩阵、以及所述查询矩阵，确定注意力权重矩阵；根据所述注意力权重矩阵、以及所述值矩阵，确定与所述第一阶段对应的融合特征图。
5、在一些实施例中，所述确定所述图像数据的位置编码包括：根据相机的内参和外参，确定像素坐标系到雷达坐标系的变换矩阵；根据所述变换矩阵，将所述图像数据的像素坐标变换到雷达坐标系，以得到变换后的坐标信息；对所述变换后的坐标信息进行编码处理，以得到所述图像数据的位置编码。
6、在一些实施例中，所述根据所述图像数据的位置编码、所述键矩阵、以及所述查询矩阵，确定注意力权重矩阵包括：计算所述图像数据的位置编码与所述键矩阵的和；对所述查询矩阵、所述位置编码与所述键矩阵的和，进行点乘运算，以得到注意力权重矩阵。
7、在一些实施例中，所述根据所述注意力权重矩阵、以及所述值矩阵，确定与所述第一阶段对应的融合特征图包括：对所述注意力权重矩阵与所述值矩阵，进行点乘运算，以得到中间融合特征图；对所述第二鸟瞰特征图、与所述中间融合特征图进行相加，以得到与所述第一阶段对应的融合特征图。
8、在一些实施例中，所述根据所述注意力权重矩阵、以及所述值矩阵，确定与所述第一阶段对应的融合特征图包括：对所述注意力权重矩阵与所述值矩阵，进行点乘运算，以得到中间融合特征图；对所述第二鸟瞰特征图、与所述中间融合特征图进行拼接，以得到与所述第一阶段对应的融合特征图。
9、在一些实施例中，所述根据所述第二图像特征图，确定键矩阵和值矩阵包括：对所述第二图像特征图进行下采样，以得到下采样后的图像特征图；利用多层感知器，对所述下采样后的图像特征图进行投影，以得到键矩阵和值矩阵。
10、在一些实施例中，不同阶段对应的融合特征图的尺度不同。
11、在一些实施例中，所述目标环境为车辆所处的驾驶环境。
12、根据本公开的第二方面，提出了一种环境感知装置，包括：获取模块，被配置为获取目标环境的点云数据和图像数据；投影模块，被配置为对所述点云数据进行鸟瞰视角投影，以得到所述点云数据对应的鸟瞰图；提取与融合模块，被配置为对所述鸟瞰图和所述图像数据进行多阶段的提取与融合处理，以得到与所述多阶段中的每个阶段对应的融合特征图；确定模块，被配置为根据与所述多阶段中的每个阶段对应的融合特征图，确定所述目标环境的感知结果。
13、根据本公开的第三方面，提出了一种环境感知装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如前所述的环境感知方法。
14、根据本公开的第四方面，提出了一种无人车，包括：如前所述的环境感知装置。
15、根据本公开的第五方面，提出了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如前所述的环境感知方法。
16、根据本公开的第六方面，提出了一种计算机程序产品，其上存储有计算机程序指令，该指令被处理器执行时实现如前所述的环境感知方法。
17、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
本文档来自技高网...【技术保护点】
1.一种环境感知方法，包括：
2.根据权利要求1所述的环境感知方法，其中，所述对所述鸟瞰图和所述图像数据进行多阶段的提取与融合处理，以得到与所述多阶段中的每个阶段对应的融合特征图包括：
3.根据权利要求1所述的环境感知方法，其中，基于注意力机制，对所述第二鸟瞰特征图和所述第二图像特征图进行融合，以得到与所述第一阶段对应的融合特征图包括：
4.根据权利要求3所述的环境感知方法，其中，所述确定所述图像数据的位置编码包括：
5.根据权利要求3所述的环境感知方法，其中，所述根据所述图像数据的位置编码、所述键矩阵、以及所述查询矩阵，确定注意力权重矩阵包括：
6.根据权利要求3所述的环境感知方法，其中，所述根据所述注意力权重矩阵、以及所述值矩阵，确定与所述第一阶段对应的融合特征图包括：
7.根据权利要求3所述的环境感知方法，其中，所述根据所述注意力权重矩阵、以及所述值矩阵，确定与所述第一阶段对应的融合特征图包括：
8.根据权利要求3所述的环境感知方法，其中，所述根据所述第二图像特征图，确定键矩阵和值矩阵包括：
9.根据权利要求1至8任一所述的环境感知方法，不同阶段对应的融合特征图的尺度不同。
10.根据权利要求1至8任一所述的环境感知方法，所述目标环境为车辆所处的驾驶环境。
11.一种环境感知装置，包括：
12.一种环境感知装置，包括：
13.一种无人车，包括：
14.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至10任一项所述的环境感知方法。
15.一种计算机程序产品，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至10任一项所述的环境感知方法。
...【技术特征摘要】
1.一种环境感知方法，包括：
2.根据权利要求1所述的环境感知方法，其中，所述对所述鸟瞰图和所述图像数据进行多阶段的提取与融合处理，以得到与所述多阶段中的每个阶段对应的融合特征图包括：
3.根据权利要求1所述的环境感知方法，其中，基于注意力机制，对所述第二鸟瞰特征图和所述第二图像特征图进行融合，以得到与所述第一阶段对应的融合特征图包括：
4.根据权利要求3所述的环境感知方法，其中，所述确定所述图像数据的位置编码包括：
5.根据权利要求3所述的环境感知方法，其中，所述根据所述图像数据的位置编码、所述键矩阵、以及所述查询矩阵，确定注意力权重矩阵包括：
6.根据权利要求3所述的环境感知方法，其中，所述根据所述注意力权重矩阵、以及所述值矩阵，确定与所述第一阶段对应的融合特征图包括：
7.根据权利要求3所述的环境感知方...
【专利技术属性】
技术研发人员：温欣，
申请(专利权)人：北京京东远升科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。