一种基于双目视觉的车辆路面特征识别及三维重建方法技术

本发明专利技术提供了一种基于双目视觉的车辆路面特征识别及三维重建方法，所述方法包括以下步骤：步骤1、路面特征识别；步骤1.1、离线数据采集及预处理；步骤1.2、离线利用预处理的数据对YOLO网络模型进行训练；步骤1.3、在线调用训练好的模型进行检测；步骤2、双目立体摄像头路面特征测距；步骤2.1、对双目立体摄像头生成的深度图进行格式转换；步骤2.2、距离信息提取；步骤3、路面特征三维重建；步骤3.1、跟踪阶段；步骤3.2、融合阶段；步骤3.3、渲染阶段。上述基于双目视觉的车辆路面特征识别及三维重建方法，有效利用了车辆前方路面的视觉信息提前对悬架进行调整，改善了主动悬架控制的时滞性，提高悬架的控制效果。提高悬架的控制效果。提高悬架的控制效果。

【技术实现步骤摘要】
一种基于双目视觉的车辆路面特征识别及三维重建方法


[0001]本专利技术属于车辆视觉系统设计
，具体涉及一种基于双目视觉的车辆路面特征识别及三维重建方法。

技术介绍

[0002]随着智能车辆无人驾驶技术的发展，许多先进的车辆自动控制技术应运而生，然而目前大多数无人驾驶技术聚焦在车辆的纵向或是横向控制，对于车辆的垂向控制涉足较少。垂向控制中对于悬架系统的控制尤为重要，目前较为先进的主动悬架控制技术是根据加装在车轴或车身上的加速度传感器采集的路面激励，在车辆在某种路面行驶过一定距离后才能进行悬架的主动控制。尽管以加速度传感器作为感知传感器的主动悬架对改善车辆的行驶平顺性和操作稳定性有了一定的提升，但是由于车辆平时行驶的速度较高，路面激励变化较快，控制器与执行器存在的时滞现象阻碍，并且在行驶过程中会伴随着减速带这种无规律出现的路面特征，采用加速度传感器的主动悬架由于控制的时滞性更加无法应对。

技术实现思路

[0003]针对上述现有技术中存在的缺陷，本专利技术提供了一种基于双目视觉的车辆路面特征识别及三维重建方法，用于对双目立体摄像头采集的路面图像进行特征提取，然后对提取的路面特征进行三维重建并将其发送到主动悬架控制系统，利用车辆前方路面的视觉信息提前对悬架进行调整，改善了主动悬架控制的时滞性，提高悬架的控制效果，以克服上述现有技术的不足。
[0004]为了实现上述目的，本专利技术采用的基于双目视觉的车辆路面特征识别及三维重建方法，具体包括以下步骤：
[0005]步骤1：路面特征识别；<br/>[0006]步骤1.1：离线数据采集及预处理；采集各种距离下的路面特征图片，对采集的图片进行清晰度的筛选，清除模糊的图片；利用labelImg图片标注软件对图片进行打标签处理，标注图片中路面特征的位置及种类信息；将完成标注的图片转成VOC格式的数据集，并将其划分成训练集和验证集；其中，路面特征主要包括两大类，一类是减速带，另一类是路面坑洞；
[0007]步骤1.2：离线利用预处理的数据对YOLO网络模型进行训练；将训练集中的图片每2
n
张为一批，其中0≤n≤6，且n为整数，将每一批都输入到YOLO网络中进行训练，重复迭代50200批次；在训练完成后，将验证集的图片作为输入，若每张图片的路面特征识别准确率均大于90％，则YOLO网络模型训练成功，否则需要在之前训练的基础上继续重复50200批次，如此反复直至达到准确率要求；
[0008]步骤1.3：在线调用训练好的模型进行检测；在线加载训练好的YOLO网络模型，对双目立体摄像头实时采集的视频流进行路面特征识别；
[0009]步骤2：双目立体摄像头路面特征测距；
[0010]步骤2.1：对双目立体摄像头生成的深度图进行格式转换；利用开源图像处理库对双目立体摄像头生成的深度图R
k
数据进行转换；
[0011]步骤2.2：距离信息提取；将路面特征识别出特征物体的边界框投影到格式转换后的深度图中，得到路面特征在深度图中的位置后，提取边界框四个顶点和中心点处的深度信息作为路面特征的距离信息矩阵B，即：
[0012][0013]其中，x
c
和y
c
分别表示中心点在车辆纵向和侧向上的距离，x
lt
和y
lt
分别表示路面特征边界框左上角点在车辆纵向和侧向上的距离，x
lb
和y
lb
分别表示路面特征边界框左下角点在车辆纵向和侧向上的距离，x
rt
和y
rt
分别表示路面特征边界框右上角点在车辆纵向和侧向上的距离，x
rb
和y
rb
分别表示路面特征边界框右下角点在车辆纵向和侧向上的距离；
[0014]步骤3：路面特征三维重建；
[0015]步骤3.1：跟踪阶段；
[0016]步骤3.1.1：对双目立体摄像头生成的深度图R
k
中，路面特征识别出特征物体的边界框内的部分进行双边滤波，得到降噪后的深度图D
k
；
[0017]步骤3.1.2：根据自带工具标定得到的相机内参K，可以反投影出每个像素点的三维坐标得到顶点V
k
，计算公式如下：
[0018][0019]其中，u＝[u,v]T
是像素坐标，像素横坐标u和纵坐标v分别是在其图像数组中所在的列数和所在的行数，T表示转置操作；是对应的齐次坐标；
[0020]步骤3.1.3：得到顶点后通过叉乘得到法向量N
k
：
[0021][0022]步骤3.1.4：对深度图进行均值下采样，并重复步骤3.1.2至3.1.3，经过2次重复，构造三层顶点/法向量金字塔，可以由粗到细计算相机姿态；
[0023]步骤3.1.5：求解相机姿态估计，通过将连续两帧深度图计算的三层顶点/法向量金字塔进行匹配，来得到相机的位姿；
[0024]首先，定义转换矩阵T
g,k
，它表示k时刻相机坐标到大地坐标的转换关系，即，
[0025][0026]其中，R
g,k
表示k时刻旋转矩阵，t
g,k
表示k时刻平移矩阵；
[0027]则上述相机坐标下的各层顶点金字塔与法向量金字塔可以转换到大地坐标下：
[0028][0029][0030]其中，为k时刻大地坐标系下的顶点，为k时刻大地坐标系下法向量；
[0031]通过对当前顶点与法向量组成的表面测量值(V
k
(u),N
k
(u))与前一时刻大地坐标顶点与法向量组成的模型预测值进行对齐，从而求得相机位姿x＝(β,γ,α,t
x
,t
y
,t
z
)
T
，即求解：
[0032][0033]对∑|Ax
‑
b|2进行求导，令其为零，得到：
[0034]∑(A
T
Ax
‑
A
T
b)＝0
ꢀꢀꢀꢀꢀ
(8)
[0035]其中，
[0036][0037][0038]I3×3为3
×
3的单位矩阵；
[0039]对矩阵A进行奇异值分解：
[0040]A＝US V
T
ꢀꢀꢀꢀꢀ
(11)
[0041]其中，U、V都是酉矩阵，S为主对角线上为奇异值，其余元素为零的矩阵；
[0042]矩阵A伪逆矩阵：
[0043]A
+
＝VS
+
U
T
ꢀꢀꢀꢀꢀ
(12)
[0044]S
+
为主对角线上为奇异值的倒数，其余元素为零的矩阵；
[0045]将A＝US V
T
代入∑(A
T
A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的车辆路面特征识别及三维重建方法，其特征在于，包括以下步骤：步骤1、路面特征识别，采用基于YOLO算法的路面特征识别，包括：步骤1.1、离线数据采集及预处理；步骤1.2、离线利用预处理的数据对YOLO网络模型进行训练；步骤1.3、在线调用训练好的模型进行检测；步骤2、双目立体摄像头路面特征测距；包括：步骤2.1、对双目立体摄像头生成的深度图进行格式转换；步骤2.2、距离信息提取；步骤3、路面特征三维重建；步骤3.1：跟踪阶段；步骤3.1.1：对双目立体摄像头生成的深度图R
k
中，路面特征识别出特征物体的边界框内的部分进行双边滤波，得到降噪后的深度图D
k
；步骤3.1.2：根据自带工具标定得到的相机内参K，可以反投影出每个像素点的三维坐标得到顶点V
k
，计算公式如下：其中，u＝[u,v]
T
是像素坐标，像素横坐标u和纵坐标v分别是在其图像数组中所在的列数和所在的行数，T表示转置操作；是对应的齐次坐标；步骤3.1.3：得到顶点后通过叉乘得到法向量N
k
：步骤3.1.4：对深度图进行均值下采样，并重复步骤3.1.2至3.1.3，经过2次重复，构造三层顶点/法向量金字塔，可以由粗到细计算相机姿态；步骤3.1.5：求解相机姿态估计，通过将连续两帧深度图计算的三层顶点/法向量金字塔进行匹配，来得到相机的位姿；首先，定义转换矩阵T
g,k
，它表示k时刻相机坐标到大地坐标的转换关系，即，其中，R
g,k
表示k时刻旋转矩阵，t
g,k
表示k时刻平移矩阵；则上述相机坐标下的各层顶点金字塔与法向量金字塔可以转换到大地坐标下：则上述相机坐标下的各层顶点金字塔与法向量金字塔可以转换到大地坐标下：其中，为k时刻大地坐标系下的顶点，为k时刻大地坐标系下法向量；通过对当前顶点与法向量组成的表面测量值(V
k
(u),N
k
(u))与前一时刻大地坐标顶点与法向量组成的模型预测值进行对齐，从而求得相机位姿x＝(β,γ,α,t
x
,t
y
,t
z
)
T
，即求解：
对∑|Ax
‑
b|2进行求导，令其为零，得到：∑(A
T
Ax
‑
A
T
b)＝0其中，其中，其中，I3×3为3
×
3的单位矩阵；对矩阵A进行奇异值分解：A＝US V
T
其中，U、V都是酉矩阵，S为主对角线上为奇异值，其余元素为零的矩阵；矩阵A伪逆矩阵：A
+
＝VS
+
U
T
S
+
为主对角线上为奇异值的倒数，其余元素为零的矩阵；将A＝US V
T
代入∑(A
T
Ax
‑
A
T
b)＝0可解出相机位姿：(A
T
A)x＝A
T
bUS V
T
VS T
U
T
x＝VS T
U
T
bUS S U
T
x＝VS U
T
bx＝VS
+
U
T
bx＝A
+
b对三层顶点/法向量金字塔都进行上述操作，各层最大迭代次数分别为4次、5次和10次，取令公式min∑|Ax
‑<...

【专利技术属性】
技术研发人员：王杨，王铭浩，宋润泽，赵世杰，李朝健，
申请(专利权)人：浙江孔辉汽车科技有限公司，
类型：发明
国别省市：