【技术实现步骤摘要】
本专利技术属于自动驾驶三维动态目标检测领域，特别涉及使用矢量化高精地图作为模态输入之一，利用矢量化高精地图的先验约束信息与lidar点云的实时动态信息协同完成车辆驾驶过程中动态目标的检测，尤其涉及一种面向自动驾驶的矢量高精地图与lidar点云融合的3d目标检测方法与设备。
技术介绍
1、3d目标检测是自动驾驶领域的一项关键任务，其核心任务是检测自车周围的其他车辆、行人等动态目标。为实现这一任务，自动驾驶系统通常依靠各种传感器获取车辆周围的环境信息。相机传感器和lidar传感器是自动驾驶系统常用的数据采集设备，相机传感器通常用于提供丰富的语义和纹理信息，而lidar传感器则用于提供深度、方向和坐标等几何信息。然而，每个传感器都有其自身的弱点，相机传感器缺乏物体的深度信息，而lidar点云无法感知环境中的语义信息，且远距离物体的点云分布稀疏，容易受极端天气的影响。因此，单一信息源不足以完成完整的物体检测。
2、为了增强感知性能，最先进的方法是通过融合来自不同传感器的数据进行多模态3d目标检测。根据传感器的不同，多模态融合方案主要分为：数据级融合、特征级融合和目标级融合。数据级融合方法指直接利用感知算法实现多个原始传感器数据的同步和对齐，这类方法能够保持原始数据的完整性和真实性，但需要高精度的时间和空间同步，一旦传感器出现故障，其造成的特征错位将导致检测性能严重下降。特征级融合方法指通过级联或者元素相乘的方法实现多模态数据在特征空间中的融合，这类方法可以提高数据处理效率和减少噪声和冗余信息对检测性能的影响，但可能会造成数据
技术实现思路
1、为克服上述现有技术的不足，本专利技术提供一种矢量高精地图与点云融合的3d目标检测方法及装置，旨在利用图的形式将矢量化高精地图与点云信息进行特征融合，从而实现自动驾驶场景中动态目标的3d检测。
2、根据本专利技术说明书的一方面，提供一种矢量高精地图与点云融合的3d目标检测方法，包括：
3、根据获取的点云数据提取点云特征；
4、根据获取的高精地图提取矢量高精地图特征；
5、根据提取的点云特征和矢量高精地图特征进行多模态特征融合，并根据融合后的多模态特征进行动态目标检测。
6、作为进一步的技术方案，根据获取的点云数据提取点云特征，包括：
7、对获取的原始点云数据进行均匀采样；
8、确定各采样点的邻接点和邻接区域；
9、根据各采样点的邻接点和邻接区域进行图构建；
10、以构建的图作为初始特征，使用图神经网络gnn和多头注意力机制提取点云特征。
11、作为进一步的技术方案，根据获取的高精地图提取矢量高精地图特征，包括：
12、基于全局高精地图进行区域截取，得到与点云感知范围空间大小一致的区域高精地图；
13、以区域高精地图内每个地图元素作为独立单元，构建每个地图元素的局部图；
14、以每个地图元素的局部图作为初始特征，使用图神经网络gnn提取区域高精地图的局部特征；
15、以截取区域内每个地图元素作为一个整体，结合区域高精地图的局部特征，构建区域高精地图的全局图；
16、根据构建的区域高精地图的全局图，使用图神经网络gnn和多头注意力机制提取区域高精地图的矢量全局特征。
17、作为进一步的技术方案，所述方法还包括：将提取的点云特征和矢量高精地图特征以级联的方式进行多模态特征融合，并使用注意力机制对融合后多模态特征中的点云特征和矢量高精地图特征进行动态平衡。
18、作为进一步的技术方案，所述方法还包括：使用3d目标检测头对平衡后的多模态特征进行动态目标检测。
19、根据本专利技术说明书的一方面，提供一种矢量高精地图与点云融合的3d目标检测装置，包括：
20、点云特征提取模块，用于根据获取的点云数据提取点云特征；
21、矢量高精地图特征提取模块，用于根据获取的高精地图提取矢量高精地图特征；
22、融合与检测模块，用于根据提取的点云特征和矢量高精地图特征进行多模态特征融合，并根据融合后的多模态特征进行动态目标检测。
23、作为进一步的技术方案，所述点云特征提取模块，还用于：
24、对获取的原始点云数据进行均匀采样；
25、确定各采样点的邻接点和邻接区域；
26、根据各采样点的邻接点和邻接区域进行图构建；
27、以构建的图作为初始特征，使用图神经网络gnn和多头注意力机制提取点云特征。
28、作为进一步的技术方案，所述矢量高精地图特征提取模块，还用于：
29、基于全局高精地图进行区域截取，得到与点云感知范围空间大小一致的区域高精地图；
30、以区域高精地图内每个地图元素作为独立单元，构建每个地图元素的局部图；
31、以每个地图元素的局部图作为初始特征，使用图神经网络gnn提取区域高精地图的局部特征；
32、以截取区域内每个地图元素作为一个整体，结合区域高精地图的局部特征，构建区域高精地图的全局图；
33、根据构建的区域高精地图的全局图，使用图神经网络gnn和多头注意力机制提取区域高精地图的矢量全局特征。
34、根据本专利技术说明书的一方面，提供一种电子设备，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行所述的方法。
35、根据本专利技术说明书的一方面，提供一种非暂态计算机读存储介质，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的方法。
36、与现有技术相比，本专利技术的有益效果在于：
37、（1）本专利技术通过图表示方法实现了矢量高精地图与lidar点云数据的融合，合并了高精地图的先验信息与lidar点云的动态信息，既可以使用高精地图的先验信息约束lidar点云信息，聚焦感知注意力的关注区域，又可以利用实时动态lidar点云实现对动态目标的检测。
38、（2）本专利技术使用“图神经网络+多头注意力机制”提取点云特征，图神经网络能够自然地处本文档来自技高网...
【技术保护点】
1.矢量高精地图与点云融合的3D目标检测方法，其特征在于，包括：
2.根据权利要求1所述矢量高精地图与点云融合的3D目标检测方法，其特征在于，根据获取的点云数据提取点云特征，包括：
3.根据权利要求1所述矢量高精地图与点云融合的3D目标检测方法，其特征在于，根据获取的高精地图提取矢量高精地图特征，包括：
4.根据权利要求1所述矢量高精地图与点云融合的3D目标检测方法，其特征在于，所述方法还包括：将提取的点云特征和矢量高精地图特征以级联的方式进行多模态特征融合，并使用注意力机制对融合后多模态特征中的点云特征和矢量高精地图特征进行动态平衡。
5.根据权利要求4所述矢量高精地图与点云融合的3D目标检测方法，其特征在于，所述方法还包括：使用3D目标检测头对平衡后的多模态特征进行动态目标检测。
6.矢量高精地图与点云融合的3D目标检测装置，其特征在于，包括：
7.根据权利要求6所述矢量高精地图与点云融合的3D目标检测装置，其特征在于，所述点云特征提取模块，还用于：
8.根据权利要求6所述矢量高精地图与点云融
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至5任一项权利要求所述的方法。
10.一种非暂态计算机读存储介质，其特征在于，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至5中任一项权利要求所述的方法。
...【技术特征摘要】
1.矢量高精地图与点云融合的3d目标检测方法，其特征在于，包括：
2.根据权利要求1所述矢量高精地图与点云融合的3d目标检测方法，其特征在于，根据获取的点云数据提取点云特征，包括：
3.根据权利要求1所述矢量高精地图与点云融合的3d目标检测方法，其特征在于，根据获取的高精地图提取矢量高精地图特征，包括：
4.根据权利要求1所述矢量高精地图与点云融合的3d目标检测方法，其特征在于，所述方法还包括：将提取的点云特征和矢量高精地图特征以级联的方式进行多模态特征融合，并使用注意力机制对融合后多模态特征中的点云特征和矢量高精地图特征进行动态平衡。
5.根据权利要求4所述矢量高精地图与点云融合的3d目标检测方法，其特征在于，所述方法还包括：使用3d目标检测头对平衡后的多模态特征进行动态目标检测。
<...【专利技术属性】
技术研发人员：应申，李玉，石群智，蒋宇馨，顾江岩，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。