一种基于点云和图像融合的三维车辆检测方法技术

本发明专利技术公开了一种基于点云和图像融合的三维车辆检测方法，具体是一种激光雷达

【技术实现步骤摘要】
一种基于点云和图像融合的三维车辆检测方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于点云和图像融合的三维车辆检测方法。

技术介绍

[0002]近年来，无人驾驶技术发展迅速，成为人们关注的热点和焦点，对于交通运输、智能制造、服务机器人等领域的发展和改善人类生活质量都具有重要意义。机动车数量的增长给交通环境带来了前所未有的压力，为提高驾驶安全性，减少交通事故的发生频率，世界各国的科研机构与企业投入大量的人力和物力对此开展相关的研究和探索。
[0003]随着深度学习技术在目标检测领域的优越表现，无人驾驶车辆的车辆检测方法也得到了快速的发展，但在实际的交通环境中仍有较大不足之处，一是交通环境错综复杂，车辆间遮挡程度不一，这对于车辆检测难度较大；二是光照不均匀，易造成车辆间的误检和漏检。已有的无人驾驶汽车视觉系统，大多数采用单目相机，无法获得待检测车辆的具体深度信息，车辆行驶过程中传感器需要不断感知车辆的位置，做多次图像处理操作，导致定位不准且时间过长，严重影响无人车辆的行驶效率。目前的环境感知的主要研究方向是使用点云数据和图像信息融合弥补特征信息，分开处理点云数据和图像信息后利用子网络融合二者输出结果用于三维车辆的目标检测。

技术实现思路

[0004]本专利技术针对现有技术的不足，提出了一种基于点云和图像融合的三维车辆检测方法，减少三维车辆的误检率和漏检率。
[0005]基于点云和图像融合的三维车辆检测方法，该方法采用下述步骤实现：
[0006]步骤一，对点云数据和图像数据进行预处理；
[0007]步骤二，设计关键点模块的进行特征提取；
[0008]步骤三，使用改进的感兴趣融合模块完成点云和图像数据的特征融合；
[0009]步骤四，使用改进的非极大值抑制减少检测框的冗余。
[0010]所述的预处理步骤分为通过统计滤波算法去除激光雷达数据中边缘杂乱点及噪声点，为后续检测减少计算量；将激光雷达和单目相机实现时间和空间上的配准，使得两个传感器的坐标系对应并统一，奠定了多模态目标检测的基础。
[0011]所述的关键点模块为通过特征提取分别提取分别在点云数据和图像数据生成待检测车辆的关键点，根据关键点估计各自的感兴趣区域。
[0012]所述的感兴趣融合模块为提取点云和图像区域上的局部特征，对点云数据和图像数据对应的3D ROI和2D ROI进行融合操作，采用注意力融合的融合策略完成两者的融合，被融合的局部特征用于三维检测框的预测。
[0013]所述改进的非极大值抑制模块为将固定的阈值设定改进自适应大小的阈值，根据车辆分布的密集度自适应调整非极大值抑制的阈值，从而尽可能提高三维车辆检测的精
度。
[0014]本专利技术的有效效果：一、点云数据的过滤和图像数据的裁剪减少数据的运算量。二、点云数据和图像数据的特征融合可以降低无人驾驶场景下的车辆误检率和漏检率，并且弥补单目相机下缺少深度信息的这类缺点。三、通过多个模态的信息融合，为无人驾驶场景下的环境信息提供多个角度的数据，进而增强了复杂环境下数据信息的鲁棒性，为三维车辆检测提供了更准确的先决条件。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本专利技术中步骤一到步骤四的具体流程示意图。
[0017]图2是本专利技术中数据预处理传感器标定结构图。
[0018]图3是本专利技术中传感器时间同步结构图。
[0019]图4是本专利技术中感兴趣区域注意力融合模块结构图。
[0020]图5是本专利技术中改进的非极大值抑制流程图。
具体实施方式
[0021]下面结合具体实施例对本专利技术作详细的说明。
[0022]点云和图像融合的三维车辆检测方法，该方法采用下述步骤实现，如图1所示；
[0023]步骤一，对点云数据和图像数据进行预处理；步骤二，设计关键点模块的进行特征提取；步骤三，使用改进的感兴趣融合模块完成点云和图像数据的特征融合；步骤四，使用改进的非极大值抑制减少检测框的冗余。
[0024]所述步骤一中，具体步骤包括：
[0025]根据不同的交通场景，不同的车辆检测难度进行数据集的采集，针对点云数据中离群点稀疏分布的特点，可通过点云密度判断是否存在离群点。首先根据点所处的位置寻找每个点的邻域点，然后计算得出每个点到其邻域点的距离，其距离值满足高斯分布的特征，根据高斯分布的特性模型化距离参数可得出均值和方差，均值和方差计算公式如下：
[0026][0027][0028]其中d
ij
为m个点到k个临点的距离，计算出一个平均置信区间即距离阈值，如果点位于之心区间外，则该点被判定为离群点，相反如果位于区间内，则不是离群点。此阈值计算公式如下：
[0029] d＝μ+λσ (3)
[0030]式中λ为阈值的系数。通过剪裁固定点云和图像的大小，实现多视图具有相同长宽
比进行特征匹配。
[0031]将不同的传感器坐标系的测量值转换到同一坐标系中，建立精确的激光雷达坐标系、三维世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，将激光雷达坐标系下的测量点通过坐标系转换到相机对应的像素坐标系下实现两者空间同步，多传感器空间标定结构图如图2所示。
[0032]相机传感器和激光雷达的采样频率不同，因而在空间标定完成后还要将两传感器在时间上实现同步，本文的激光雷达的采样周期为50ms，即采样频率为20Hz，相机传感器每秒采样30张图片，即采样频率为33.3ms，本文选用间隔采样的方式实现传感器间的时间同步，选定两者最小公倍数100ms为融合系统的采样周期，传感器时间配准示意图如图3所示。
[0033]所述步骤二中，具体步骤包括：
[0034]点云中的关键点由PointNet++中的SA层进行特征提取，输入点云经过采样层进行下采样操作，下采样操作选用的是最远点采样来获得局部区域的中心，点云数据分别输入到F
‑
FPS模块和D
‑
FPS模块。对于点云中对象的定位，尤其是远小及被遮挡的目标，其纹理和颜色具有一定的重要性，因此采用图像分割网络来引导关键点的选择，使用PointNet++中的特征传播(FP)层实现点云的分割特征。SA层的输出传入FP层，使用基于K个最近邻的逆距离加权平均的插值方法来对点进行上采样操作，计算公式如下：
[0035][0036]式中w
i
(x)＝1/d(x,x
i
)
p
，表示某个点与k个最近邻中对应的第i个近邻点x
i
之间欧式距离的平方反比。将插值点特征与对应SA层中的跳跃连接点特征连接起本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云和图像融合的三维车辆检测方法，其特征在于，包括步骤：步骤一，对点云数据和图像数据进行预处理；步骤二，设计关键点模块的进行特征提取；步骤三，使用改进的感兴趣融合模块完成点云和图像数据的特征融合；步骤四，使用改进的非极大值抑制减少检测框的冗余。2.根据权利要求1所述点云和图像融合的三维车辆检测方法，其特征在于：所述步骤一中，具体步骤包括：激光雷达和单目相机对数据进行采集并分别输出点云数据和图像数据，根据传感器的联合标定原理实现空间上的联合标定，选取间隔采样的方式实现传感器间的时间同步；通过统计滤波算法减少点云数据中离群点的干扰。3.根据权利要求1所述点云和图像融合的三维车辆检测方法，其特征在于：所述步骤二中，具体步骤包括：改进的关键点模块分别在点云数据和图像数据中进行特征提取生成待检测车辆的关键点，点云中的关键点模块由PointNet++中的SA层进行特征提取，同时对点云进行下采样和提取深度特征，并获得下采样的3D点和相应的特征；图像数据输入至deeplabv3+神经网络获得像素的分割特征和分类得分，使得关键点的选择可以忽略背景。4.根据权利要求1...

【专利技术属性】
技术研发人员：林怡，丰超，伍锡如，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：