一种面向激光雷达点云数据的特征增强方法及系统技术方案

本发明专利技术涉及一种面向激光雷达点云数据的特征增强方法，包括：获取目标环境中的点云数据；对点云数据进行体素化处理，得到体素化数据；利用三维稀疏卷积特征提取网络每一体素进行特征提取，得到多个尺度的体素特征；计算每一体素和点云数据中各点之间的权重，得到体素与点的反距离权重；根据体素与点的反距离权重，利用三次线性插值方法将体素特征插值到点云数据的各点上，得到每一点的多个尺度的点特征；对每一点，利用特征权重学习网络学习各尺度的点特征对应的权重，得到各尺度的点特征权重；利用各尺度的点特征权重对各尺度的点特征进行融合补充，得到多个尺度的增强点特征，融合了不同尺度下的点特征，对点特征进行增强，实现对点云数据的增强。实现对点云数据的增强。实现对点云数据的增强。

【技术实现步骤摘要】
一种面向激光雷达点云数据的特征增强方法及系统


[0001]本专利技术涉及计算机视觉和自动驾驶领域，特别是涉及一种面向激光雷达点云数据的特征增强方法及系统。

技术介绍

[0002]在过去的十几年中，计算机视觉技术吸引了许多关注，而作为计算机视觉技术的重要应用，自动驾驶领域中的环境感知技术近年来被广泛研究，成为了一个研究热点。摄像机和激光雷达是自动驾驶汽车上最常用的传感器，它们分别用于获取汽车周围环境的高分辨率图像和三维激光雷达点云。早些年，高分辨率图像是计算机视觉领域最常用的信息，但随着自动驾驶的要求不断提高(如需要准确检测目标的三维空间信息)，二维图像信息已不能满足其需要。三维激光雷达点云数据具有捕捉深度信息的强大能力，这使其在计算机视觉和自动驾驶领域受到越来越多的关注。基于三维激光雷达点云数据，一些自动驾驶场景下的视觉任务，如语义分割和三维目标检测的准确度得到了很大的提升。
[0003]在实际应用中，现存深度学习网络通常将激光雷达点云数据转换为体积相等的体素，再使用基于稀疏卷积的特征提取骨架提取体素特征，最后将体素特征编码到点云数据上，得到点云特征。Shaoshuai Shi，Chaoxu Guo和Jiang Li等人提出的点体素区域卷积神经网络(PV
‑
RCNN)借助点集抽象算法(Set Abstraction)将多尺度的体素特征编码到点云数据上并串联起来，但点集抽象算法会造成大量的计算消耗和显存占用；Chenhang He，Hui Zeng和Jianqiang Huang等人提出的结构感知单阶段检测器(SA
‑
SSD)使用插值的方法将体素特征编码到点云数据上并串联起来，这种方法显存占用低，但仅使用插值方法不能得到有判别力的点云特征。总的来说，现存方法专注于如何学习并编码点云特征，并未考虑点云特征的增强。因此，如何采用合适的技术增强点云特征，生成有判别力的点云特征是自动驾驶领域急需解决的一个重要问题。

技术实现思路

[0004]本专利技术的目的是提供一种面向激光雷达点云数据的特征增强方法及系统，对点云数据中的每个点，能有效融合多尺度信息并得到深层点特征，得到有判别力的点特征信息，从而得到点云数据的增强特征，有利于自动驾驶场景下的图像检测。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种面向激光雷达点云数据的特征增强方法，包括：
[0007]获取目标环境中的点云数据；
[0008]对所述点云数据进行体素化处理，得到点云的体素化数据；
[0009]对每一体素，根据所述体素化数据，利用三维稀疏卷积特征提取网络进行特征提取，得到多个尺度的体素特征；所述体素特征的尺度数量根据所述三维稀疏卷积特征提取网络中的稀疏卷积块的数量确定；
[0010]基于反距离权重法计算每一体素和所述点云数据中各点之间的权重，得到体素与
点的反距离权重；
[0011]根据所述体素与点的反距离权重，利用三次线性插值方法将所述体素特征插值到所述点云数据的各点上，得到每一点的多个尺度的点特征；所述点特征的尺度数与所述体素特征的尺度数一一对应；
[0012]对每一点，利用特征权重学习网络学习各尺度的所述点特征对应的权重，得到各尺度的点特征权重；
[0013]对每一点，利用各尺度的所述点特征权重对各尺度的所述点特征进行融合补充，得到多个尺度的增强点特征，从而实现对所述点云数据的增强。
[0014]一种面向激光雷达点云数据的特征增强方法的系统，包括：
[0015]点云数据获取模块，用于获取目标环境中的点云数据；
[0016]体素化数据获取模块，用于对所述点云数据进行体素化处理，得到点云的体素化数据；
[0017]特征提取模块，用于对每一体素，根据所述体素化数据，利用三维稀疏卷积特征提取网络进行特征提取，得到多个尺度的体素特征；所述体素特征的尺度数根据所述三维稀疏卷积特征提取网络中的稀疏卷积块的数量确定；
[0018]反距离权重计算模块，用于基于反距离权重法计算每一体素和所述点云数据中各点之间的权重，得到体素与点的反距离权重；
[0019]特征插值模块，用于根据所述体素与点的反距离权重，利用三次线性插值方法将所述体素特征插值到所述点云数据的各点上，得到每一点的多个尺度的点特征；所述点特征的尺度数与所述体素特征的尺度数一一对应；
[0020]学习权重模块，用于对每一点，利用特征权重学习网络学习各尺度的所述点特征对应的权重，得到各尺度的点特征权重；
[0021]增强特征获取模块，用于对每一点，利用各尺度的所述点特征权重对各尺度的所述点特征进行融合补充，得到多个尺度的增强点特征，从而实现对所述点云数据的增强。
[0022]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0023]本专利技术提供一种面向激光雷达点云数据的特征增强方法及系统，包括：获取目标环境中的点云数据；对所述点云数据进行体素化处理，得到点云的体素化数据；对每一体素，根据所述体素化数据，利用三维稀疏卷积特征提取网络进行特征提取，得到多个尺度的体素特征；体素特征的尺度数量根据所述三维稀疏卷积特征提取网络中的稀疏卷积块的数量确定；基于反距离权重法计算每一体素和所述点云数据中各点之间的权重，得到体素与点的反距离权重；根据所述体素与点的反距离权重，利用三次线性插值方法将所述体素特征插值到所述点云数据的各点上，得到每一点的多个尺度的点特征；所述点特征的尺度数与所述体素特征的尺度数一一对应；对每一点，利用特征权重学习网络学习各尺度的所述点特征对应的权重，得到各尺度的点特征权重；利用各尺度的所述点特征权重对各尺度的所述点特征进行融合补充，得到多个尺度的增强点特征，从而实现对所述点云数据的增强。本专利技术未使用点集抽象算法，有效降低了计算消耗与显存占用；与现有仅使用插值算法的方法相比，本专利技术能有效融合多尺度信息并得到深层点云特征，得到有判别力的点云特征信息，为自动驾驶场景下基于点云数据的各种预测任务提供了良好的基础。
附图说明
[0024]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本专利技术实施例1提供的一种面向激光雷达点云数据的特征增强方法流程图；
[0026]图2为本专利技术实施例1提供的拍摄的原始图像；
[0027]图3为本专利技术实施例1提供的原始图像对应的激光雷达点云数据；
[0028]图4为本专利技术实施例1提供的特征权重学习网络结构图；
[0029]图5为本专利技术实施例1提供的特征增强过程图；
[0030]图6为本专利技术实施例1提供的一种面向激光雷达点云数据的特征增强系统框图。
具体实施方式
[0031]下面将结合本专利技术实施例中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向激光雷达点云数据的特征增强方法，其特征在于，包括：获取目标环境中的点云数据；对所述点云数据进行体素化处理，得到点云的体素化数据；对每一体素，根据所述体素化数据，利用三维稀疏卷积特征提取网络进行特征提取，得到多个尺度的体素特征；所述体素特征的尺度数量根据所述三维稀疏卷积特征提取网络中的稀疏卷积块的数量确定；基于反距离权重法计算每一体素和所述点云数据中各点之间的权重，得到体素与点的反距离权重；根据所述体素与点的反距离权重，利用三次线性插值方法将所述体素特征插值到所述点云数据的各点上，得到每一点的多个尺度的点特征；所述点特征的尺度数与所述体素特征的尺度数一一对应；对每一点，利用特征权重学习网络学习各尺度的所述点特征对应的权重，得到各尺度的点特征权重；对每一点，利用各尺度的所述点特征权重对各尺度的所述点特征进行融合补充，得到多个尺度的增强点特征，从而实现对所述点云数据的增强。2.根据权利要求1所述的方法，其特征在于，所述对所述点云数据进行体素化处理，得到点云的体素化数据，具体包括：根据所述点云数据的范围设定每一体素的尺寸；根据每个所述体素的尺寸将所述点云数据所在三维空间划分为数个等体积的小空间，得到多个体素；利用所述点云数据的初始特征对每个非空体素进行初始编码，得到非空体素的初始特征，即点云的体素化数据。3.根据权利要求2所述的方法，其特征在于，所述利用所述点云数据的初始特征对每个非空体素进行初始编码，具体包括：对每个所述非空体素，判断所述非空体素内是否存在所述点，得到判断结果；当所述判断结果为是时，计算所述非空体素内的所有所述点的初始特征的均值，将所述均值作为所述非空体素的初始特征。当所述判断结果为否时，则不对所述非空体素进行编码。4.根据权利要求1所述的方法，其特征在于，所述三维稀疏卷积特征提取网络包括4个稀疏卷积块，依次记为第一稀疏卷积块，第二稀疏卷积块，第三稀疏卷积块和第四稀疏卷积块；所述第一稀疏卷积块包括两个卷积核尺寸为3的第一流形稀疏卷积层，第一个所述第一流形稀疏卷积层的输入和输出特征通道尺寸分别为4和16，第二个所述第一流形稀疏卷积层的输入和输出特征通道尺寸分别为16和16；所述第二稀疏卷积块包括一个卷积核尺寸为3的第一稀疏卷积层和两个卷积核尺寸为3的第二流形稀疏卷积层，所述第一稀疏卷积层的输入和输出特征通道尺寸分别为16和32，两个所述第二流形稀疏卷积层的输入和输出特征通道尺寸均为32和32；所述第三稀疏卷积块包括一个卷积核尺寸为3的第二稀疏卷积层和两个卷积核尺寸为3的第三流形稀疏卷积层，所述第二稀疏卷积层的输入和输出特征通道尺寸分别为32和64，
两个所述第三流形稀疏卷积层的输入和输出特征通道尺寸均为64和64；所述第四稀疏卷积块包括一个卷积核尺寸为3的第三稀疏卷积层和两个卷积核尺寸为3的第四流形稀疏卷积层，所述第三稀疏卷积层和两个所述第四流形稀疏卷积层的输入和输出特征通道尺寸均为64和64。5.根据权利要求1所述的方法，其特征在于，所述基于反距离权重法计算每一体素和所述点云数据中各点之间的权重，得到体素与点的反距离权重，具体包括：其中，v
k
表示第k个体素，k＝1,2,...,m；η(v
k

【专利技术属性】
技术研发人员：孔德明，李晓伟，沈阅，高剑慧，周逸人，张文宇，曹尚杰，
申请(专利权)人：河北燕大燕软信息系统有限公司秦皇岛港股份有限公司，
类型：发明
国别省市：