一种基于相机融合固态激光雷达的无人驾驶目标检测方法技术

本发明专利技术公开了一种基于相机融合固态激光雷达的无人驾驶目标检测方法，在车辆的前

【技术实现步骤摘要】
一种基于相机融合固态激光雷达的无人驾驶目标检测方法


[0001]本专利技术涉及一种目标检测方法，具体涉及一种基于相机融合固态激光雷达的无人驾驶目标检测方法
。

技术介绍

[0002]随着智能化技术的快速发展，无人驾驶技术也应运而生，然而其安全
、
可靠性也受到越来越多的关注，对车辆周围的环境感知密不可分，精准的识别目标和障碍物，能为自动驾驶汽车提前做好路径规划和采取应急控制措施提供帮助
。
[0003]煤矿井下
、
石油化工等特殊场景内工况环境恶劣，粉尘水雾较大
、
光亮稳定性不足，传统的单一相机或者激光雷达难以满足使用需求，亟需使用相机和激光雷达融合技术来对目标进行探测，然而目前使用较多的为机械式激光雷达与相机融合检测，但是考虑到清洁措施，机械式激光雷达受清洁装置的影响，精度下降严重，且扫描范围受限，无法实现高精度目标检测功能
。
而且，图像与激光雷达采集的视野角度差别较大，统一性较差，难以完全实现绝对统一
。

技术实现思路

[0004]针对上述现有技术存在的问题，本专利技术提供一种基于相机融合固态激光雷达的无人驾驶目标检测方法，能够统一相机和固态激光雷达的视野，实现高精度三维目标检测
。
[0005]为了实现上述目的，本专利技术采用的技术方案是：一种基于相机融合固态激光雷达的无人驾驶目标检测方法，包括以下步骤：
[0006]S1、
在车辆的前
、
后/>、
左
、
右四个位置分别设置一个相机和一个固态激光雷达；
[0007]S2、
对四个位置相机和固态激光雷达分别进行联合标定，对图像数据和点云数据进行时间同步；
[0008]S3、
将图像数据和点云数据分别进行增强处理；
[0009]S4、
利用神经网络分别对图像特征和点云特征进行提取，再将单一位置的图像特征和点云特征分别进行融合，然后再将四个位置的融合信息进行二次特征融合；
[0010]S5、
将提取的融合特征输入预测网络，识别矿井下的障碍物类别
、
位置和位姿信息
。
[0011]进一步的，所述步骤
S1
中车前和车后两个位置分别采用
32
线固态激光雷达，车左和车右两个位置分别采用
16
线固态激光雷达，同一位置的相机与固态激光雷达之间的垂直距离为
5cm
～
15cm
，四个位置的相机
、
固态激光雷达分别设置在同一水平面上
。
[0012]进一步的，所述步骤
S2
中四个位置相机和固态激光雷达分别进行联合标定的方法：通过手动标定与对齐，获取单一位置相机和固态激光雷达位置转换矩阵，建立世界坐标系，获得四个相机和固态激光雷达各自的外参进行标定；设置世界坐标系与相机的旋转和平移矩阵分别为
R
c
、T
c
，相机坐标系下的非齐次线性坐标为
X
w
、X
c
，则：
X
c
＝
R
c
*X
w
+T
c
；设置固态激光雷达和相机的旋转和平移矩阵分别为
R
l
、T
l
，固态激光雷达中的一点
P
l
在相对坐标系和
相机坐标系的非齐次线性坐标分别为
X
l
、X
c
，则：
X
c
＝
R
l
*X
l
+T
l
。
[0013]进一步的，所述步骤
S2
中图像数据和点云数据进行时间同步的方法为：设置相机和固态激光雷达采样周期分别为
T
C
、T
L
，判断
1/2T
C
>T
L
，将
1/2T
C
与
T
L
的时间戳数据进行融合；判断
1/2T
C
<T
L
，将
T
C
与
T
L
的时间戳数据进行融合，完成图像数据与点云数据时空同步
。
[0014]进一步的，所述步骤
S3
中图像数据增强处理为利用重构函数自注意力机制，保留图像数据结构，对图像数据进行重构处理；点云数据增强处理使用高斯滤波对每个点的邻域内的点进行高斯加权平均，以其协方差矩阵确定的领域内计算权重，然后与中心点数值进行平均处理
。
[0015]进一步的，所述步骤
S4
中单一位置的图像特征和点云特征融合方法为将图像提取的特征层设置为
Nc
i
，将点云提取的特征层设置为
Nl
i
，在特征提取层阶段，取图像特征
Nc
i
与点云特征
Nl
i+2
进行跨模态融合
。
[0016]进一步的，所述步骤
S4
中四个单一位置的图像特征和点云特征的融合信息分别为
R1、R2、R3、R4，四个位置的融合特征进行二次融合，
R
a
＝
W1*R1+W2*R2+W3*R3+W4*R4，
W1、W2、W3、W4分别为相机前
、
后
、
左
、
右四个位置融合特征的权重值
。
[0017]进一步的，所述步骤
S5
中预测网络的预测头部位置设置为四个维度尺寸，分别为
S1(2
i
*2
i
)、S2(2
i+1
*2
i+1
)、S3(2
i+2
*2
i+2
)、S4(2
i+3
*2
i+3
)
，
i
max
(2
i+3
≤
输出特征宽度值
)
最后将特征映射为线性矩阵
(P1，
P2…
，
x
，
y
，
z
，
R)
，
P
为类别信息，
x
，
y
，
z
分别为三维空间信息，
R
为旋转角度信息
。
[0018]与现有技术相比：本专利技术利用单一方位的相机和固态激光雷达信息融合，再将多方位信息融合，采取整个四周视角的信息，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，包括以下步骤：
S1、
在车辆的前
、
后
、
左
、
右四个位置分别设置一个相机和一个固态激光雷达；
S2、
对四个位置相机和固态激光雷达分别进行联合标定，对图像数据和点云数据进行时间同步；
S3、
将图像数据和点云数据分别进行增强处理；
S4、
利用神经网络分别对图像特征和点云特征进行提取，再将单一位置的图像特征和点云特征分别进行融合，然后再将四个位置的融合信息进行二次特征融合；
S5、
将提取的融合特征输入预测网络，识别矿井下的障碍物类别
、
位置和位姿信息
。2.
根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤
S1
中车前和车后两个位置分别采用
32
线固态激光雷达，车左和车右两个位置分别采用
16
线固态激光雷达，同一位置的相机与固态激光雷达之间的垂直距离为
5cm
～
15cm
，四个位置的相机
、
固态激光雷达分别设置在同一水平面上
。3.
根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤
S2
中四个位置相机和固态激光雷达分别进行联合标定的方法：通过手动标定与对齐，获取单一位置相机和固态激光雷达位置转换矩阵，建立世界坐标系，获得四个相机和固态激光雷达各自的外参进行标定；设置世界坐标系与相机的旋转和平移矩阵分别为
R
c
、T
c
，相机坐标系下的非齐次线性坐标为
X
w
、X
c
，则：
X
c
＝
R
c
*X
w
+T
c
；设置固态激光雷达和相机的旋转和平移矩阵分别为
R
l
、T
l
，固态激光雷达中的一点
P
l
在相对坐标系和相机坐标系的非齐次线性坐标分别为
X
l
、X
c
，则：
X
c
＝
R
l
*X
l
+T
l
。4.
根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤
S2
中图像数据和点云数据进行时间同步的方法为：设置相机和固态激光雷达采样周期分别为
T
C
、T
L
，判断
1/2T
C
>T
L
，将
1/2T
...

【专利技术属性】
技术研发人员：鲍久圣，王茂森，阴妍，杨磊，张可琨，赵鸿飞，
申请(专利权)人：江苏鸿昇智能科技研究院有限公司，
类型：发明
国别省市：