基于车道线的车载全景摄像头标定方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种基于车道线的车载全景摄像头标定方法，不依赖于外部信息和车道线以外图像信息，人工干预少、计算操作简单易于实现，包括步骤：获取车载全景摄像头对车辆的前、后、左、右方向分别采集的视图，视图包含车道线；针对车辆平行于车道线和车辆不平行于车道线的行驶状态，分别采集各个方向的多帧视图；提取视图中的车道线的特征点；通过张正友标定法的物像映射关系，计算得到特征点的世界坐标，根据世界坐标几何关系建立约束条件，应用L

【技术实现步骤摘要】
基于车道线的车载全景摄像头标定方法、装置及存储介质


[0001]本专利技术涉及汽车辅助驾驶中的图像处理相关
，具体涉及一种基于车道线的车载全景摄像头标定方法、装置及存储介质。

技术介绍

[0002]随着汽车智能化水平的提高，驾驶安全问题越来越引人注目，高级驾驶辅助系统应运而生。其中基于图像的汽车辅助驾驶系统应用广泛，而车载相机的摄像头外参标定是基础和重中之重，决定了定位、测距、检测等交互功能的准确性。
[0003]传统车载相机标定方法，固定车辆停放位置，利用搭建好的标定场地，用车载相机获取图像、识别标定板，建立图像坐标和世界坐标的映射关系求解相机外参，该方法对场地要求较高，对于销售出的车辆进行售后标定时，不够友好。直接利用道路信息进行标定的方法逐渐被提出，多用于车辆使用时间久了摄像头出现角度、位置偏移的情况。
[0004]现存基于车道线的标定计算方法中，多是针对单路摄像头进行的自动标定计算，如前视后视摄像头，并且现有方法局限性强，如限制虚线车道线；计算复杂耗时，如需对车周实物图像识别匹配；或是需要借助精准的外部信息，如需获取地图车道线信息；或是人工干预多，需要实际测量车道线间宽度/车道线长度宽度，缺乏一种计算高效、操作简单的计算方法。

技术实现思路

[0005]针对上述问题，本专利技术提供了一种基于车道线的车载全景摄像头标定方法、装置及存储介质，其可以实现基于车道线检测的车载相机标定，不依赖于外部信息和车道线以外图像信息，人工干预少、计算操作简单易于实现。
[0006]其技术方案是这样的：一种基于车道线的车载全景摄像头标定方法，其特征在于，包括以下步骤：
[0007]步骤1：图像采集：获取车载全景摄像头对车辆的前、后、左、右方向分别采集的视图，所述视图中分别包含车道线；
[0008]步骤2:行驶状态判断：判断车辆是否平行于车道线行驶，针对车辆平行于车道线和车辆不平行于车道线的行驶状态，分别采集各个方向的多帧视图；
[0009]步骤3:特征点提取：提取采集的前、后、左、右方向的视图中的车道线的特征点；
[0010]步骤4：参数计算：通过张正友标定法的物像映射关系，计算得到特征点的世界坐标，根据世界坐标几何关系建立约束条件，应用L
‑
M算法求解相机外参；
[0011]步骤5：误差分析：通过计算得到的相机外参重新计算特征点的世界坐标，通过约束条件计算误差，判断是否在规定阈值范围内，是则标定成功输出相机外参，否则返回执行步骤2。
[0012]进一步的，在步骤1中，通过车载全景摄像头的四个鱼眼镜头对车辆的前、后、左、右方向分别采集视图，采集视图时使得车辆相对于两侧车道线居中。
[0013]进一步的，在步骤2中，具体包括以下步骤：先在前视图或后视图上画线，画线与视图中的两条车道线相交，所述判定点为车道线的边缘与画线的交点，通过画线得到至少8个判定点；
[0014]设置范围阈值，当前帧视图中判定点与前面连续n帧视图中，当判定点位置的差值保持在阈值范围内时，认为车辆行驶状态是平行于车道线行驶，保存至少两帧视图；
[0015]当判定点位置的差值未能保持在阈值范围内时，认为不平行于车道线行驶，保存至少两帧视图。
[0016]进一步的，在步骤3中，将步骤2获取的判定点作为前或后视图中车道线的特征点，同时，在对应相同帧的左、右视图中，于车道线两边缘处，取间隔的至少8个点作为特征点。
[0017]进一步的，在步骤4中，根据张正友标定法的物像映射关系，设图像坐标系像点齐次坐标m＝[u,v,1]T
，世界坐标系物点齐次坐标M＝[X,Y,Z,1]T
，车道线上点在世界坐标系中满足Z＝0，物点到像点的映射关系为：
[0018][0019]其中，s为世界坐标系与图像坐标系的尺度因子，A为相机内参矩阵,α，β为焦距与像素横纵比，γ为径向畸变参数，(u0,v0)是像主点坐标；[Rt]为3
×
4的相机外参矩阵，H为M和m之间的线性映射关系矩阵，公式变换得到M＝H
‑1m，得到像点到物点的映射关系M(A,R,t,m)；
[0020]根据像点到物点的映射关系，得到前、后、左、右视图中的车道线特征点的含参世界坐标M，表示为X(A,R,t,m)，Y(A,R,t,m)。
[0021]根据车道线边缘上点的世界横纵坐标、斜率对应关系，满足以下约束条件：平行于车道线行驶时，前视图中车道线特征点的含参世界坐标的横坐标与左视图和后视图中车道线特征点的含参世界坐标的横坐标对应相等，前视图和后视图中，在同一条线上的特征的纵坐标对应相等；
[0022]不平行于车道线行驶时，根据坐标计算前、后、左、右视图中车道线两边缘直线，斜率均相等，同一条车道线边缘的截距相等。
[0023]依据约束条件，应用L
‑
M算法进行迭代优化，求解非线性最小二乘问题公式：
[0024][0025]其中，ΔX
i
为n个横坐标约束条件中第i个两含参世界坐标的横坐标的差值，ΔY
j
为m个横坐标约束条件中第j个两含参世界坐标的纵坐标差值，Δk
l
为p个斜率约束条件中第l个两斜率差值，Δb
l
为p个斜率约束条件中第l个两截距差值；
[0026]对所有要求相等的横坐标、纵坐标、斜率、截距依次两两做差，代入非线性最小二乘问题公式中累加，得到含待求参数的最小二乘问题公式，使用L
‑
M算法，迭代不同的外参数值，求得公式在局部最小值处的车载全景摄像头的相机外参。
[0027]进一步的，在步骤5中，具体包括以下步骤：
[0028]通过步骤4得到相机外参计算特征点的世界坐标；
[0029]对照步骤4的约束条件计算误差；
[0030]设置误差阈值，判断误差是否在规定的阈值范围内，是则标定成功，输出相机外参参数；否则返回重新执行步骤2。
[0031]进一步的，在步骤5中，对于车载全景摄像头的前后左右四个摄像头，对应四组优化得出的相机外参，分开计算误差，误差阈值使用最优解对应的局部最小值均值判断，表示为min/N，N为约束条件的总数。
[0032]一种基于车道线的车载全景摄像头标定装置，其特征在于，其包括：包括处理器、存储器以及程序；
[0033]所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的一种基于车道线的车载全景摄像头标定方法。
[0034]一种计算机可读存储介质，其特征在于：所述计算机可读存储介质被配置成存储程序，所述程序被配置成执行上述的一种基于车道线的车载全景摄像头标定方法。
[0035]本专利技术提供了一种基于车道线的车载全景摄像头标定方法，其实时采集包含车道线的车载全景摄像头图像，在前视图车道线上取点判断车辆行驶状态，看是否平行于车道线行驶。对保存的图像分别在后、左、右视图中的车道线边缘上提取特征点。结合张正友标定法的物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车道线的车载全景摄像头标定方法，其特征在于，包括以下步骤：步骤1：图像采集：获取车载全景摄像头对车辆的前、后、左、右方向分别采集的视图，所述视图中分别包含车道线；步骤2：行驶状态判断：判断车辆是否平行于车道线行驶，针对车辆平行于车道线和车辆不平行于车道线的行驶状态，分别采集各个方向的多帧视图；步骤3：特征点提取：提取采集的前、后、左、右方向的视图中的车道线的特征点；步骤4：参数计算：通过张正友标定法的物像映射关系，计算得到特征点的世界坐标，根据世界坐标几何关系建立约束条件，应用L
‑
M算法求解相机外参；步骤5：误差分析：通过计算得到的相机外参重新计算特征点的世界坐标，通过约束条件计算误差，判断是否在规定阈值范围内，是则标定成功输出相机外参，否则返回执行步骤2。2.根据权利要求1所述的一种基于车道线的车载全景摄像头标定方法，其特征在于：在步骤1中，通过车载全景摄像头的四个鱼眼镜头对车辆的前、后、左、右方向分别采集视图。3.根据权利要求1所述的一种基于车道线的车载全景摄像头标定方法，其特征在于：在步骤1中，采集视图时使得车辆相对于两侧车道线居中。4.根据权利要求1所述的一种基于车道线的车载全景摄像头标定方法，其特征在于：在步骤2中，具体包括以下步骤：先在前视图或后视图上画线，画线与视图中的两条车道线相交，所述判定点为车道线的边缘与画线的交点，通过画线得到至少8个判定点；设置范围阈值，当前帧视图中判定点与前面连续n帧视图中，当判定点位置的差值保持在阈值范围内时，认为车辆行驶状态是平行于车道线行驶，保存至少两帧视图；当判定点位置的差值未能保持在阈值范围内时，认为不平行于车道线行驶，保存至少两帧视图。5.根据权利要求4所述的一种基于车道线的车载全景摄像头标定方法，其特征在于：在步骤3中，将步骤2获取的判定点作为前或后视图中车道线的特征点，同时，在对应相同帧的左、右视图中，于车道线两边缘处，取间隔的至少8个点作为特征点。6.根据权利要求5所述的一种基于车道线的车载全景摄像头标定方法，其特征在于：在步骤4中，根据张正友标定法的物像映射关系，设图像坐标系像点齐次坐标m＝[u，v，1]
T
，世界坐标系物点齐次坐标M＝[X，Y，Z，1]
T
，车道线上点在世界坐标系中满足Z＝0，物点到像点的映射关系为：其中，s为世界坐标系与图像坐标系的尺度因子，A为相机内参矩阵，α，β为焦距与像素横纵比，γ为径向畸变参数，(u0，v0)是像主点坐标；[R t]为3
×
4的相机外参矩阵，H为M和m之间的线性映射关系矩阵，公式变换...

【专利技术属性】
技术研发人员：王媛，侯欢欢，赵津津，杨波，刘春霞，
申请(专利权)人：北京茵沃汽车科技有限公司，
类型：发明
国别省市：