基于伪图像技术的激光雷达三维目标快速检测方法技术

本发明专利技术提供了一种基于伪图像技术的激光雷达三维目标快速检测方法，S1，对原始点云数据中的地面点进行剔除；S2，将三维点云数据转化为具有三维特征信息的二维伪图像数据形式；S3，设定二维卷积神经网络融合特征层，捕获伪图像在三个不同尺度下的特征图；S4，基于伪图像在不同尺度下的特征图，利用SSD检测定位网络实现目标的位置回归和类别识别；S5，设定检测网络的总损失函数；S6，由网络训练，得到基于激光雷达采集点云数据进行三维目标检测的标准三维目标检测网络。本发明专利技术减少了大量的计算，保证检测过程速度的同时，准确得到被检测目标的位置、大小和形状等信息。

Fast detection method of lidar 3D target based on pseudo image technology

【技术实现步骤摘要】
基于伪图像技术的激光雷达三维目标快速检测方法
本专利技术属于无人驾驶汽车领域，涉及无人驾驶汽车环境感知方法，尤其涉及基于激光雷达的三维目标快速检测方法。
技术介绍
基于点云的三维目标检测在无人驾驶技术发展过程中是一个不可或缺的任务。无人驾驶车辆的控制系统依赖传感器感知周围环境，包括车辆、行人和交通标识等。无人驾驶车辆通常会配置多种传感器设备以获取更多的信息量。不同的传感器之间可以互补，提供更丰富的信息供无人驾驶车辆的控制系统进行感知。激光雷达传感器和摄像头传感器是无人驾驶车辆中最常用同时也是最主要的两种传感器设备。而激光雷达采集生成的点云数据，是目前实现无人驾驶车辆目标识别的主要输入，无论对点云数据进行处理，还是对点云与图像信息进行融合，从而实现三维目标检测，都避不开对点云数据的处理。目前基于点云数据的三维目标检测技术基本过程是利用体素法，将点云分块，对每块中的点云手工提取特征，然后对已编码的块状点云做三维卷积操作，从而实现对图中目标的分类任务。但是三维卷积操作在大场景中是非常消耗计算量，甚至无法实现。
技术实现思路
针对现有技术中存在不足，本专利技术提供了一种基于伪图像技术的激光雷达三维目标快速检测方法，在充分考虑点云局部特征后，将三维点云数据转化为具有三维特征信息的二维伪图像数据形式，减少计算量并最终输出高精度的3DBox参数。本专利技术是通过以下技术手段实现上述技术目的的。基于伪图像技术的激光雷达三维目标快速检测方法，利用二维卷积神经网络、优化特征学习网络及基于SSD检测定位网络，构成激光雷达三维目标快速检测网络，用于快速检测三维目标。进一步的，所述优化特征学习网络包括采样层、分组层和PointNet层。更进一步的，所述采样层的输出为采样点集n′×D，其中：n′为通过最远点采样算法得到的采样点集中的点的个数，D为点的原始特征。更进一步的，所述分组层的输出为点集n′×k×D，其中：k为点云簇中所含的点的个数。进一步的，所述PointNet层对点云簇进行特征提取，得到点云簇的全局特征，即点云柱的局部特征；将点云簇作为单位输入，迭代一次优化特征提取过程，得到点云柱的全局特征。更进一步的，，所述优化特征学习网络将点云数据的特征张量(D，N，P)转变为伪图像形式(C，H，W)，其中，C为伪图像的通道数，N为每个点云柱中的点数，P为网格总面积，H为网格的长，W为网格的宽。进一步的，所述激光雷达三维目标快速检测网络在训练过程中采用的损失函数为：其中NPOS为网络训练过程中正样本的数量，βloc、βcls、βdir分别为分类损失、回归损失和航向角损失的权重，Lcls、Lloc、Ldir分别为3DBox的分类损失、回归损失和航向角损失。更进一步的，所述航向角损失由softmax分类损失函数定义。本专利技术通过上述技术方案，具有以下有益效果：(1)本专利技术通过将三维点云数据转化为带有三维信息的二维伪图像数据形式，解决了现有三维目标检测技术中计算量过大、检测速度过慢的不足，在保证一定检测精度的同时，实现了对三维目标的快速检测。(2)本专利技术的优化特征学习网络包括采样层、分组层和PointNet层；采样层利用最远点采样算法在点云柱中采样得到点云簇的中心点；分组层利用kNN算法搜索点云簇中心点附近的点，得到中心点的最近邻点；将中心点及其最近邻点作为一簇点云，即实现了点云的局部划分；PointNet层利用简化的PointNet算法学习点云簇的特征，通过最大池化与迭代操作得到每个点云柱的全局特征；本专利技术通过设定优化特征学习网络，解决了现有点云数据转化为伪图像技术中存在的不能充分学习点云局部特征的问题，实现了对三维目标局部特征的充分提取，有效提升了检测精度。(3)本专利技术的损失函数考虑3DBox的分类损失(Lcls)、回归损失(Lloc)和航向角损失(Ldir)，航向角损失由softmax分类损失函数定义，通过设定包含航向角的损失函数，可以使网络很好地学习到被检测目标的朝向信息。附图说明图1是本专利技术基于伪图像技术的激光雷达三维目标快速检测方法的流程图；图2是本专利技术由点云数据生成伪图像的流程图；图3是本专利技术优化特征学习网络示意图；图4是本专利技术二维卷积神经网络的基本结构图。具体实施方式下面结合附图以及具体实施例对本专利技术作进一步的说明，但本专利技术的保护范围并不限于此。如图1所示，基于伪图像技术的激光雷达三维目标快速检测方法，具体包括如下过程：步骤(1)，点云数据预处理激光雷达采集自车周围环境，并生成原始点云数据，对原始点云数据进行预处理，利用随机抽样一致性算法(RANSAC)对点云数据进行地面点检测，对于平坦地区，利用随机抽样一致性算法将整个点云数据进行地面点移除；对于不平坦地区，对点云数据先进行分块处理，再对每一区块中的点云数据进行地面点移除。利用随机抽样一致性算法对地面点进行检测并将其剔除的原理是：在点云空间中不断地随机抽取三个点构建平面方程，若构建的平面中包含足够多的点，则认为此平面是地面，将地面点直接滤除。步骤(2)，点云数据转化生成伪图像(如图2所示)步骤(2.1)，首先在预处理好的点云数据俯视图所在的平面上划分网格，然后在z轴方向上进行拉伸，生成一个个的点云柱，铺满整个平面。步骤(2.2)，对于点云柱中的每一个点提取原始特征D＝(x，y，z，r)，其中x、y、z为每一个点在激光雷达坐标系中的坐标，r为每一个点的反射率。步骤(2.3)，构造张量(D，N，P)，其中N为每个点云柱中的点数(当N大于设定阈值时，保留该点云柱)，P为网格总面积，H为网格的长，W为网格的宽。步骤(2.4)，设定优化特征学习网络，依次包括采样层、分组层、PointNet层(如图3所示)步骤(2.4.1)，设定采样层，采样层的目的为选择点云簇中心利用最远点采样算法(FPS)对每个点云柱进行采样得到采样点集，最远点采样算法的输入为有标签点集X＝{x1，x2，x3，……，xn}，其中xi为代表点云数据的D维向量，输出的采样点集为n′×D，其中n′为通过最远点采样算法得到的采样点集中的点的个数(为现有技术)，采样点集中的点均为点云簇中心。步骤(2.4.2)，设定分组层，分组层用于在每个点云柱中创建多个点云簇给定半径，利用K最近邻分类算法(kNN算法)以采样点为中心基准寻找固定的邻近点，取半径分别为0.1、0.2、0.4，对应圈内最大点数为16、32、128；将采样点及其邻近点作为一簇点云；分组层的输入为采样点集n′×D，分组层的输出为点集n′×k×D(每个点云柱的所有点云簇)，其中k为点云簇中所含的点的个数(即采样点及其邻近点)。步骤(2.4.3)，设定PointNet层，PointNet层用于获得点云柱的全局特征设定点集n′×k×D作为PointNet层的输入，利用简化的PointNet算法学习该簇点云中每个本文档来自技高网...

【技术保护点】
1.基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，利用二维卷积神经网络、优化特征学习网络及基于SSD检测定位网络，构成激光雷达三维目标快速检测网络，用于快速检测三维目标。/n

【技术特征摘要】
1.基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，利用二维卷积神经网络、优化特征学习网络及基于SSD检测定位网络，构成激光雷达三维目标快速检测网络，用于快速检测三维目标。


2.根据权利要求1所述的基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，所述优化特征学习网络包括采样层、分组层和PointNet层。


3.根据权利要求2所述的基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，所述采样层的输出为采样点集n′×D，其中：n′为通过最远点采样算法得到的采样点集中的点的个数，D为点的原始特征。


4.根据权利要求3所述的基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，所述分组层的输出为点集n′×k×D，其中：k为点云簇中所含的点的个数。


5.根据权利要求2所述的基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，所述PointNet层对点云簇进行特征提取，得到点云簇的全局特征...

【专利技术属性】
技术研发人员：蔡英凤，栾天雨，王海，李祎承，陈小波，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32