【技术实现步骤摘要】
本专利技术属于计算机视觉，尤其涉及一种面向交通场景的多模态点云语义分割方法以及装置。
技术介绍
1、随着自动驾驶技术对环境感知的精度要求越来越高，精确的交通场景感知可以显著提高自动驾驶系统的安全性和可靠性。在三维点云数据中实现逐点级别的语义分割是这一领域的核心任务之一，也是计算机视觉和计算机图形学中长期存在的一个基本且富有挑战性的问题。三维语义分割的主要目标是开发出能够预测三维场景中每个点的语义标签的计算方法，广泛应用于自动驾驶、移动机器人、工业控制、增强现实以及医学图像分析等领域。
2、近年来，单输入点云分割方法(如基于深度学习的技术)在逐点级别的语义分割上取得了显著进展，尤其是在处理三维点云数据方面表现出色。然而，随着复杂场景和动态环境中对更高精度和鲁棒性的需求增加，多模态点云分割技术应运而生。多模态方法通过融合不同传感器(如激光雷达和摄像头)的数据，增强了对场景的理解，提供了更丰富的几何、颜色和纹理信息，克服了单一模态方法在处理稀疏点云和遮挡等问题时的局限性。与单输入方法相比，多模态点云分割利用多种模态的互补信息，提升了分割精度和鲁棒性，适用于自动驾驶等复杂应用场景，避免了点云信息不全的问题。
3、尽管多模态点云分割在道路场景中展示了良好的潜力，但仍然存在以下问题：
4、不同传感器(如激光雷达和摄像头)提供的特征类型差异较大，如何有效提取并融合这些模态的信息仍是一个挑战。现有方法在处理这些多模态数据时，常出现信息不充分利用或互相干扰的情况，影响最终的分割效果。此外，多模态点云分割依赖不同
技术实现思路
1、本专利技术提供一种面向交通场景的多模态点云语义分割方法以及装置，可以保证交通场景中的物体的有效识别和检测。
2、为实现上述目的，本专利技术提供的一种面向交通场景的多模态点云语义分割方法，包括：
3、获取交通场景下的三维点云数据和rgb图像数据，利用预构建的多视图索引查询rgb图像数据中的像素点与所述三维点云数据中的点云的对应关系，得到像素-点云映射关系；
4、将所述三维点云数据分别转换为体素网格视图和范围平面视图，并提取所述三维点云数据的几何特征得到点云特征，提取所述rgb图像数据的图像特征，提取所述范围平面视图的图像特征得到范围平面视图特征以及提取所述体素网格视图的几何特征得到体素特征；
5、汇总所述点云特征、所述范围平面视图特征以及体素特征得到多视图融合特征，并根据像素-点云映射关系，利用多模态特征融合算法将所述多视图融合特征与所述图像特征进行特征融合，得到多模态融合特征，并根据所述多模态融合特征识别所述交通场景下的物体。
6、可选地，在利用预构建的多视图索引查询rgb图像数据中的像素点与所述三维点云数据中的点云的对应关系之前，还包括构建多视图索引。
7、可选地，所述构建多视图索引，包括：
8、根据预设的投影函数将所述三维点云数据中的点云投影到目标视图，得到目标视图投影映射，其中，目标视图包括体素网格视图和范围平面视图；
9、根据预设的哈希映射建立目标视图与所述三维点云数据的映射，得到哈希视图映射；
10、根据所述目标视图投影映射以及所述哈希视图映射得到所述多视图索引。
11、可选地，所述根据所述目标视图投影映射以及所述哈希视图映射得到所述多视图索引还包括多视图特征传播修正。
12、可选地，所述多视图特征传播修正，包括：
13、三维点云数据的点云特征利用加权平均算法投影至目标视图，目标视图的特征通过线性插值算法进行映射计算，其中，体素网格视图回传到三维点云数据的特征通过三线性插值算法进行映射计算，范围平面视图回传到三维点云数据的特征通过双线性插值方法进行映射计算。
14、可选地，所述根据像素-点云映射关系，利用多模态特征融合算法将所述多视图融合特征与所述图像特征进行特征融合，得到多模态融合特征包括：
15、根据采集三维点云数据的激光雷达和采集rgb图像数据的多摄像头之间的几何关系，将三维点云数据中的点与rgb图像数据中的像素进行对齐处理；
16、对齐处理完成后，将所述多视图融合特征与所述图像特征映射到相同的特征空间，并将所述多视图融合特征与所述图像特征进行拼接，得到多模态融合特征。
17、可选地，在所述将所述多视图融合特征与所述图像特征进行拼接时，还包括利用预构建的门控融合算法评估所述多视图融合特征与所述图像特征的重要性，得到重要性评估结果；根据所述重要性评估结果进行所述多视图融合特征与所述图像特征的加权融合。
18、为了解决上述问题，本专利技术还提供一种面向交通场景的多模态点云语义分割装置，所述装置包括：
19、数据处理模块，用于获取交通场景下的三维点云数据和rgb图像数据，利用预构建的多视图索引查询rgb图像数据中的像素点与所述三维点云数据中的点云的对应关系，得到像素-点云映射关系；
20、特征提取模块，用于将所述三维点云数据分别转换为体素网格视图和范围平面视图，并提取所述三维点云数据的几何特征得到点云特征，提取所述rgb图像数据的图像特征，提取所述范围平面视图的图像特征得到范围平面视图特征以及提取所述体素网格视图的几何特征得到体素特征；
21、物体识别模块，用于汇总所述点云特征、所述范围平面视图特征以及体素特征得到多视图融合特征，并根据像素-点云映射关系，利用多模态特征融合算法将所述多视图融合特征与所述图像特征进行特征融合，得到多模态融合特征，并根据所述多模态融合特征识别所述交通场景下的物体。
22、为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
23、至少一个处理器；以及，
24、与所述至少一个处理器通信连接的存储器；其中，
25、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的面向交通场景的多模态点云语义分割方法。
26、为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的面向交通场景的多模态点云语义分割方法。
27、本专利技术通过利用预构建的多视图索引查询rgb图像数据中的像素点与三维点云数据中的点云的对应关系，可以实现从三维点云数据到目标视图再返回到三维点云数据之间建立一一对应的映射，可以共享点云的位置信息，促进多视图的特征交互，此本文档来自技高网...
【技术保护点】
1.一种面向交通场景的多模态点云语义分割方法，其特征在于，所述方法包括：
2.如权利要求1所述的面向交通场景的多模态点云语义分割方法，其特征在于，在利用预构建的多视图索引查询RGB图像数据中的像素点与所述三维点云数据中的点云的对应关系之前，还包括构建多视图索引。
3.如权利要求1或2所述的面向交通场景的多模态点云语义分割方法，其特征在于，所述构建多视图索引，包括：
4.如权利要求3所述的面向交通场景的多模态点云语义分割方法，其特征在于，所述根据所述目标视图投影映射以及所述哈希视图映射得到所述多视图索引还包括多视图特征传播修正。
5.如权利要求4所述的面向交通场景的多模态点云语义分割方法，其特征在于，所述多视图特征传播修正，包括：
6.如权利要求1所述的面向交通场景的多模态点云语义分割方法，其特征在于，所述根据像素-点云映射关系，利用多模态特征融合算法将所述多视图融合特征与所述图像特征进行特征融合，得到多模态融合特征包括：
7.如权利要求6所述的面向交通场景的多模态点云语义分割方法，其特征在于，在所述将所述多视
8.一种面向交通场景的多模态点云语义分割装置，其特征在于，所述装置用于实现如权利要求1至7中任意一项所述的面向交通场景的多模态点云语义分割方法，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的面向交通场景的多模态点云语义分割方法。
...【技术特征摘要】
1.一种面向交通场景的多模态点云语义分割方法，其特征在于，所述方法包括：
2.如权利要求1所述的面向交通场景的多模态点云语义分割方法，其特征在于，在利用预构建的多视图索引查询rgb图像数据中的像素点与所述三维点云数据中的点云的对应关系之前，还包括构建多视图索引。
3.如权利要求1或2所述的面向交通场景的多模态点云语义分割方法，其特征在于，所述构建多视图索引，包括：
4.如权利要求3所述的面向交通场景的多模态点云语义分割方法，其特征在于，所述根据所述目标视图投影映射以及所述哈希视图映射得到所述多视图索引还包括多视图特征传播修正。
5.如权利要求4所述的面向交通场景的多模态点云语义分割方法，其特征在于，所述多视图特征传播修正，包括：
6.如权利要求1所述的面向...
【专利技术属性】
技术研发人员：吴映波，黄一鸣，潘卓然，南智雄，蔡春茂，郑波，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。