一种基于EKF多模型融合的车道线方程拟合及曲率计算方法技术

本发明专利技术公开了一种基于EKF多模型融合的车道线方程拟合及曲率计算方法，包括下列步骤：A：图像信息采集；B：图像预处理；C：逆透视变换车道线检测；D：基于Ultra

【技术实现步骤摘要】
一种基于EKF多模型融合的车道线方程拟合及曲率计算方法


[0001]本专利技术涉及图像处理
，具体一种基于EKF多模型融合的车道线方程拟合及曲率计算方法

技术介绍

[0002]目前在自动驾驶和辅助驾驶领域，对车道线进行检测的方法包括传统的图像逆透视变换检测方法和通过深度学习建立检测模型检测车道线。上述两种算法各有其优缺点，传统的图像检测方法由于只能通过采集图像中的车道线标识进行计算，缺少先验视觉物体，对于由于车辆拥堵，车道线被车挡住，从而在图像中没有车道线或缺失较多，在这种情况下，没有视觉信息(车道的颜色，形状)去引导车道线的识别，对传统检测方法造成了很大的困难；而后一种通过深度学习，模型能根据车的位置和环境等语义信息进行猜测，但实际使用效果受训练样本集与实际路线之间的差异大小影响，系统误差不可控，在实际行驶环境与训练样本之间有较大的差异时，深度学习系统误差存在很大的不确定性，效果反而不及传统检测方法。然而上述两种方法独立得到的检测结果很难直接融合，现有技术未能在保证较高精度和稳定性的前提下实现两种方法的融合互补。

技术实现思路

[0003]本专利技术的目的是提供一种基于EKF多模型融合的车道线方程拟合方法，用于解决现有技术中传统逆透视变换方法和深度学习检测方法用于车道线检测时各有缺陷，却难以融合，造成稳定性和精度存在不足的技术问题。
[0004]所述的基于EKF多模型融合的车道线方程拟合方法，包括下列步骤：
[0005]A：图像信息采集；
[0006]B：图像预处理；<br/>[0007]C：逆透视变换车道线检测；
[0008]D：基于Ultra
‑
Fast
‑
Lane
‑
Net的车道线检测；
[0009]E：通过改进扩展卡尔曼滤波算法进行车道线坐标点融合；
[0010]F：车道线三次方程构建；
[0011]步骤E中，结合车辆行驶方程构建系统状态方程、系统观测方程，构建系统状态方程时将深度学习模型在t时刻相对于t
‑
1时刻的变化量加入到其中，得到改进扩展卡尔玛滤波融合算法，将步骤C和D中分别检测出的两组车道线标记点坐标经改进扩展卡尔曼滤波融合算法融合，所述步骤F利用最小二乘法对融合后的车道线标记点坐标进行三次曲线拟合，完成对车道线的检测。
[0012]优选的，所述步骤E中，由于逆透视变换和深度学习检测模型无固定模型公式，因此改进系统状态方程如下：
[0013]F
t
＝F
t
‑1+(N
dn，t
‑
N
dn，t
‑1)+Q
t
‑1[0014]其中，F
t
为融合系统模型t时刻输出，N
dn，t
‑
N
dn，t
‑1为深度学习模型(Ultra
‑
Fast
‑
Lane
‑
Net)在t时刻相对于t
‑
1时刻的变化量，N
dn，t
为深度学习模型在t时刻的输出，Q
t
‑1为系统状态误差矩阵；
[0015]系统观测方程为：
[0016]Z
t
＝HF
t
+R
t
＝N
dm，t
[0017]其中，R
t
为观测值误差矩阵，测量值Z
t
与状态值N
dm，t
为同一个变量，H＝1，雅可比矩阵、误差协方差矩阵依据现有公式计算。
[0018]优选的，所述步骤E的具体步骤如下：
[0019](1)获得步骤C的车道线标记点坐标和步骤D的车道线标记点坐标作为输入；
[0020](2)构建系统状态方程及系统观测方程；
[0021](3)计算系统状态方程和系统观测方程的雅可比矩阵；
[0022](4)计算系统误差协方差矩阵；
[0023](5)基于雅可比矩阵预测车道线标记点坐标；
[0024](6)将预测的车道线标记点坐标结合系统误差协方差矩阵计算卡尔曼增益；
[0025](7)根据上一步的计算结果更新车道线标记点坐标和系统误差协方差矩阵，完成融合。
[0026]优选的，所述步骤C具体包括：
[0027](1)首先在实验中采集单张车道图片，根据原图中目标点和透视图目标点的关系确定逆透视变换矩阵系数和透视变换矩阵系数；
[0028](2)在步骤C中，对处理后的图像信息进行逆透视变换，采用之前实验确定的逆透视变换矩阵系数，得到逆透视变换图像；
[0029](3)通过滑动窗口获取车道线标记点，即对逆透视变换图像进行标记点识别；
[0030](4)对具有车道线标记点的逆透视变换图像再进行透视变换，获取原车道线标记点坐标。
[0031]优选的，所述步骤C具体包括：
[0032](1)在使用前先获取车道线数据集，以此对Ultra
‑
Fast
‑
Lane
‑
Net模型进行训练，得到训练好的Ultra
‑
Fast
‑
Lane
‑
Net模型；
[0033](2)在步骤D中，将处理后的图像信息输入训练后的Ultra
‑
Fast
‑
Lane
‑
Net模型，由此输出车道线标记点坐标。
[0034]优选的，所述步骤B对应步骤C和步骤D分别包括两个部分的图像预处理：
[0035](1)对逆透视变换图像预处理，进行图像畸变校正。
[0036](2)对深度学习模型对应的图像预处理，包括图像大小变化和图像增强。
[0037]优选的，所述步骤B中的图像预处理还包括图像灰度化、高斯滤波处理、图像二值化以及对图像去噪声。
[0038]基于上述技术方案，本专利技术还提供了一种基于EKF多模型融合的车道线的曲率计算方法，根据如上所述的一种基于EKF多模型融合的车道线方程拟合方法完成车道线的检测，拟合车道线三次方程公式为：
[0039]y＝a3x3+a2x2+a1x+a0[0040]之后还包括下列步骤：
[0041]G：曲率计算；
[0042]根据车道线三次方程的曲率计算公式：
[0043][0044]计算车道线的曲率。
[0045]本专利技术具有以下优点：本方法将原本独立进行车道线检测的逆透视变换车道线检测方法和基于Ultra
‑
Fast
‑
Lane
‑
Net的车道线检测方法结合起来，对于二者输出的车道线坐标点，通过改进扩展卡尔曼滤波算法，在系统状态方程中考虑深度学习模型输出在相邻时刻间的变化量，从而让两种检测结果能够良好融合，融合后得到的检测结果在准确性和稳定性上由于融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于EKF多模型融合的车道线方程拟合方法，其特征在于：包括下列步骤：A：图像信息采集；B：图像预处理；C：逆透视变换车道线检测；D：基于Ultra
‑
Fast
‑
Lane
‑
Net的车道线检测；E：通过改进扩展卡尔曼滤波算法进行车道线坐标点融合；F：车道线三次方程构建；步骤E中，结合车辆行驶方程构建系统状态方程、系统观测方程，构建系统状态方程时将深度学习模型在t时刻相对于t
‑
1时刻的变化量加入到其中，得到改进扩展卡尔玛滤波融合算法，将步骤C和D中分别检测出的两组车道线标记点坐标经改进扩展卡尔玛滤波融合算法融合，所述步骤F利用最小二乘法对融合后的车道线标记点坐标进行三次曲线拟合，完成对车道线的检测。2.根据权利要求1所述的一种基于EKF多模型融合的车道线方程拟合方法，其特征在于：所述步骤E中，由于逆透视变换和深度学习检测模型无固定模型公式，因此改进系统状态方程如下：F
t
＝F
t
‑1+(N
dn，t
‑
N
dn，t
‑1)+Q
t
‑1其中，F
t
为融合系统模型t时刻输出，N
dn，t
‑
N
dn，t
‑1为深度学习模型(Ultra
‑
Fast
‑
Lane
‑
Net)在t时刻相对于t
‑
1时刻的变化量，N
dn，t
为深度学习模型在t时刻的输出，Q
t
‑1为系统状态误差矩阵；系统观测方程为：Z
t
＝HF
t
+R
t
＝N
dm，t
其中，R
t
为观测值误差矩阵，测量值Z
t
与状态值N
dm，t
为同一个变量，H＝1，雅可比矩阵、误差协方差矩阵依据现有公式计算。3.根据权利要求2所述的一种基于EKF多模型融合的车道线方程拟合方法，其特征在于：所述步骤E的具体步骤如下：(1)获得步骤C的车道线标记点坐标和步骤D的车道线标记点坐标作为输入；(2)构建系统状态方程及系统...

【专利技术属性】
技术研发人员：杨华，蒋立伟，檀生辉，吴勇，王东，谷涛涛，姜敏，吴二导，伍旭东，刘恒，王凯，胡珍珠，何志维，齐红青，孙鸿健，
申请(专利权)人：西安电子科技大学芜湖研究院，
类型：发明
国别省市：