基于上下文信息构建的激光点云目标检测方法及系统技术方案

本发明专利技术涉及一种基于上下文信息构建的激光点云目标检测方法，包括生成点云伪全景图；提取原始激光点云中每个点的上下文信息特征；基于点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，将截锥体进行切分得到截锥体点云分组序列，将每个点的上下文信息特征叠加到序列的对应点上，将所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；将序列特征输入至全卷积网络进行深度学习，输出高层语义特征；将高层语义特征输入至分类器和回归器完成目标识别和边界框定位任务。本发明专利技术基于点云内在顺序以及邻间关系解决了目前在图像中表现优越的二维目标检测模型无法直接应用到点云数据上以实现三维目标检测任务的问题。三维目标检测任务的问题。三维目标检测任务的问题。

【技术实现步骤摘要】
基于上下文信息构建的激光点云目标检测方法及系统


[0001]本专利技术涉及三维目标检测
，尤其是指一种基于上下文信息构建的激光点云目标检测方法及系统。

技术介绍

[0002]近几年，针对三维目标检测的研究层出不穷但几乎都基于一个先验假设：点云是离散的、无序的、稁疏的。有研究尝试通过三维数据向二维降维，然后用图像处理方式完成三维检测任务。这类方法实现思路简单，只需将三维激光雷达数据向二维投影即可，投影有两种选择，一种是鸟瞰投影，如生成鸟瞰栅格图来描述雷达数据，然后实现目标检测任务；另一种则是将点云投影转换到图像平面，然后使用图像感知网络实现目标检测。但这两种方法均要对车载传感器进行正确标定，甚至是跨传感器间的标定，实验结果对标定情况十分敏感。同时由于维数的降低，直接投影丢弃了一部分宝贵的三维信息，因此有研究尝试直接对三维点云提取特征。其中，直接从点云提取特征的网络是近几年发展起来的。例如体素栅格(VoxelNet)将点云空间分割成体素立方体，并使用三维卷积网络进行特征提取。PointNet是第一个将原始点云作为输入的网络，该网络对点云输入的顺序和点云整体的旋转不敏感。为了进一步提取点云的层次结构特征，Charles后续又提出了基于PointNet的加强版：PointNet++网络。这两种模型主要应用于目标分类和语义分割。
[0003]以上介绍的方法都认为点云是无序的，因此目前在图像中表现优越的二维目标检测模型无法直接应用到点云数据上以实现三维目标检测任务。如此迫切需要提供一种基于点云内在顺序以及邻间关系的激光点云目标检测方法。

技术实现思路

[0004]为此，本专利技术所要解决的技术问题在于克服现有技术存在的问题，提出一种基于上下文信息构建的激光点云目标检测方法及系统，其重视点云内在顺序以及邻间关系，解决了目前在图像中表现优越的二维目标检测模型无法直接应用到点云数据上以实现三维目标检测任务的问题。
[0005]为解决上述技术问题，本专利技术提供一种基于上下文信息构建的激光点云目标检测方法，包括以下步骤：
[0006]S101:获取原始激光点云数据，根据原始激光点云内部隐含的顺序生成点云伪全景图；
[0007]S102:提取原始激光点云中每个点的上下文信息特征；
[0008]S103:基于所述点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
[0009]S104:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
[0010]S105:将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
[0011]在本专利技术的一个实施例中，在S101中，根据原始激光点云内部隐含的顺序生成点云伪全景图的方法包括：
[0012]构建三维矩阵对原始激光点云特征作序列化存储，特征中包含一个激光采样点的所有信息，包括位置坐标(x,y,z)、辐射强度I、该点归属激光头的序号ScanID；
[0013]按照激光头的序号ScanID和旋转角度对点云进行排序，然后将颜色通道RGB三通道分别填入归一化后的dxy、I和z作可视化处理，得到伪全景图片，其中dxy是在xy平面上采样点到雷达的距离归一化后的结果，z为归一化的采样点高度；
[0014]其中，三维矩阵表示图像特征的组织结构，维度为H
×
W
×
N，其中H为激光头的序号ScanID，W为离散化的旋转角度，N为投影的激光点的特征维度。
[0015]在本专利技术的一个实施例中，在S102中，提取原始激光点云中每个点的上下文信息特征的方法包括：
[0016]基于原始激光点云数据生成时内部自带的排列顺序构建三维特征矩阵，使用上下文信息特征矩阵将原始激光点云中的每个点作为中心提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。
[0017]在本专利技术的一个实施例中，在S103中，得到截锥体点云分组序列的方法包括：
[0018]将点云伪全景图卷绕成包罗激光雷达的圆柱体环视图，从点云伪全景图中裁剪出感兴趣区域，使用二维目标检测模型得到二维边界框作为二维候选框，将二维候选框拓展到三维截锥体候选区，通过当前三维截锥体候选区中心点对应的激光头俯仰角以及旋转角定位截锥体的中心线，并通过等步长且垂直于截锥体中心线的平行平面将截锥体切分成若干个小截锥体，得到截锥体点云分组序列。
[0019]此外，本专利技术还提供一种基于上下文信息构建的激光点云目标检测方法，包括以下步骤：
[0020]S201:获取原始激光点云数据和RGB图像；
[0021]S202:基于所述RGB图像对原始激光点云进行升维处理，提取升维后的激光点云中每个点的上下文信息特征；
[0022]S203:基于RGB图像得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
[0023]S204:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
[0024]S205:将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
[0025]在本专利技术的一个实施例中，在S102中，基于所述RGB图像对原始激光点云进行升维处理，提取升维后的激光点云中每个点的上下文信息特征的方法包括：
[0026]基于原始激光点云生成时内部自带的排列顺序生成三维特征矩阵，通过跨传感器标定找到原始激光点云在RGB图像上的对应像素，使用RGB特征升维原始激光点云特征，将升维后的激光点云中的每个点作为中心，提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。
[0027]并且，本专利技术还提供一种基于上下文信息构建的激光点云目标检测系统，包括：
[0028]数据获取模块，所述数据获取模块用于获取原始激光点云数据，根据原始激光点云内部隐含的顺序生成点云伪全景图；
[0029]上下文信息特征提取模块，所述上下文信息特征提取模块用于提取原始激光点云中每个点的上下文信息特征；
[0030]多分辨率切片模块，所述多分辨率切片模块用于基于所述点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文信息构建的激光点云目标检测方法，其特征在于，包括以下步骤：S101:获取原始激光点云数据，根据原始激光点云内部隐含的顺序生成点云伪全景图；S102:提取原始激光点云中每个点的上下文信息特征；S103:基于所述点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；S104:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；S105:将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。2.如权利要求1所述的基于上下文信息构建的激光点云目标检测方法，其特征在于，在S101中，根据原始激光点云内部隐含的顺序生成点云伪全景图的方法包括：构建三维矩阵对原始激光点云特征作序列化存储，特征中包含一个激光采样点的所有信息，包括位置坐标、辐射强度、该点归属激光头的序号；按照激光头的序号和旋转角度对点云进行排序，然后将颜色通道RGB三通道分别填入归一化后的dxy、I和z作可视化处理，得到伪全景图片，其中dxy是在xy平面上采样点到雷达的距离归一化后的结果，z为归一化的采样点高度，I为辐射强度；其中，三维矩阵表示图像特征的组织结构，维度为H
×
W
×
N，其中H为激光头的序号，W为离散化的旋转角度，N为投影的激光点的特征维度。3.如权利要求1所述的基于上下文信息构建的激光点云目标检测方法，其特征在于，在S102中，提取原始激光点云中每个点的上下文信息特征的方法包括：基于原始激光点云数据生成时内部自带的排列顺序构建三维特征矩阵，使用上下文信息特征矩阵将原始激光点云中的每个点作为中心提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。4.如权利要求1所述的基于上下文信息构建的激光点云目标检测方法，其特征在于，在S103中，得到截锥体点云分组序列的方法包括：将点云伪全景图卷绕成包罗激光雷达的圆柱体环视图，从点云伪全景图中裁剪出感兴趣区域，使用二维目标检测模型得到二维边界框作为二维候选框，将二维候选框拓展到三维截锥体候选区，通过当前三维截锥体候选区中心点对应的激光头俯仰角以及旋转角定位截锥体的中心线，并通过等步长且垂直于截锥体中心线的平行平面将截锥体切分成若干个小截锥体，得到截锥体点云分组序列。5.一种基于上下文信息构建的激光点云目标检测方法，其特征在于，包括以下步骤：S201:获取原始激光点云数据和RGB图像；S202:基于所述RGB图像对原始激光点云进行升维处理，提取升维后的激光点云中每个点的上下文信息特征；S203:基于RGB图像得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；S204:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
S205:将高层语义特征输入至分类器和回归器完成目标识别...

【专利技术属性】
技术研发人员：徐峰磊，张佳欣，杨明月，金津，施斐，马益路，
申请(专利权)人：江苏尚柯智能科技有限公司，
类型：发明
国别省市：