自动驾驶周视车道线模型训练和检测方法技术

本发明专利技术公开了自动驾驶周视车道线模型训练和检测方法，包括如下步骤：1）数据采集、清洗和标注：通过摄像头，获得多个视角的多段视频数据，以分段折线的方式对车道线进行标注；2）模型回归分支训练：对于前视和后视的图片，保持其原始状态直接送入模型进行训练；对于左前、右左后和右前、右后四个图像，分别进行逆时针或顺时针旋转，然后进行水平方向合并为一张图，旋转合并后送入模型进行训练；3）模型分类分支训练：4）模型部署推理。这样，本发明专利技术能够极大克服因Line Anchor先验的方向导致的侧面小角度的车道线无法检出的问题，使得其能够同时在前后和侧面都能较好检测出车道线。在前后和侧面都能较好检测出车道线。在前后和侧面都能较好检测出车道线。

【技术实现步骤摘要】
自动驾驶周视车道线模型训练和检测方法


[0001]本专利技术属于汽车自动驾驶
，具体涉及自动驾驶周视车道线模型训练 和检测方法。

技术介绍

[0002]自动驾驶技术为当前智能汽车的核心技术，由感知融合模块、决策规划模块、 控制模块三大模块构成。车道线检测作为感知融合模块里面的一个极为重要子模 块，其检测的精度和实时性将直接影响整个自动驾驶系统的控制精度和速度。
[0003]当前学界对车道线检测算法的研究主要集中在前视摄像头(Forward FacingCamera)场景下，其主要流派有4种：(1)基于传统的计算机视觉算法 (CN201310450258.7车道线检测方法、系统、车道偏离预警方法及系统)；(2) 基于深度学习的语义分割，其中又分为常规的语义分割(CN202011612255.5一 种基于深度神经网络的弱光环境车道线检测方法、装置)和车道线专用语义分割 (CN202011550418.1一种基于注意力空间卷积神经网络的车道线检测分割方 法)；(3)基于深度学习和锚线的线检测(Tabelini,L.,et al.(2020)."Keep your Eyeson the Lane:Attention
‑
guided Lane Detection.")；(4)基于深度学习的端到端车道 线检测(CN201910628238.1一种端到端车道线检测方法及其系统)。
[0004]然而，自动驾驶系统想要进行大规模的量产，仅仅有一个前视摄像头是远远 不够的，目前已经投入量产的Tesla Model系列以及搭载了华为自动驾驶大脑的 北汽极狐阿尔法S，都是在车身的不同视角上配置了摄像头。多视角感知的摄像 头配置示意图如图1所示(本专利所采用的硬件配置)。
[0005]从图1可以看到，对于多视角感知，其感知范围变成了360度，除了要检测 出前视的车道线，同时也需要检测出侧面视角的车道线。由于侧面和前面的样本 空间是不一致的，直接将训练好的前视车道线模型应用在侧视上，对网络本身的 泛化能力要求特别高，甚至对于某些模型，其由于侧视车道线相对于水平面的方 向发生了较大的变化，导致其根本无法用于侧视的检测。
[0006]通过交流和对标得知，业界自动驾驶周视车道线检测算法几乎都是基于流派 2，也即为语义分割，通过在多个视角下训练一个统一的语义分割网络来保证模 型在侧视上的表现和前视上一致。基于分割的方式，虽然可解释性和通用性都更 强，但模型本身在嵌入式上的运行效率不高，同时还需要对生成的分割掩码进行 复杂逻辑的后处理，包括形态学处理和聚类，效果也无法得到保证。实际上学界 已经证明，开放、容易被遮挡、方向变化不定的连续几何曲线，例如车道线，基 于分割的方式本质上是有缺陷的。
[0007]而基于流派3的线检测，虽然其运行效率和需要的后处理了少很多，但由于 其先验地设定好了锚线地方向，从而对检测场景进行了一定限制，特别地，当前 文献中基于线检测的车道线模型，都只是用在了前视，且其对锚线的方向有一个 强的先验假设，即斜前方(见图2)，其车道线和水平面的夹角θ一般被限定在 一个角度区域，即为θ
min
＜θ＜θ
max
。对
于侧面视角，车道线的方向有可能是偏 横着的(见图3)，此时其角度θ
min
＞θ或者θ＜θ
max
，因此这种情况下基于检 测的模型很难检测出车道线。

技术实现思路

[0008]针对现有技术存在的上述不足，本专利技术的目的是提供一种自动驾驶周视车道 线模型训练和检测方法，以解决车道线检测模型难以适应侧视车道线检测的问 题。
[0009]本专利技术的技术方案是这样实现的：
[0010]1、自动驾驶周视车道线模型训练和检测方法，其特征在于包括如下步骤：
[0011]1)数据采集、清洗和标注：在车身上设置多个数据采集的摄像头，获得多 个视角的多段视频数据；按照一定的抽帧频率，抽取出一定量的图片，筛选不同 场景的车道线，以分段折线的方式对车道线进行标注，标出车道线；
[0012]2)模型回归分支训练：车道线模型包括模型主干网络、车道线回归分支、 车道线分类分支，首先训练回归分支，而将分类分支进行冻结，采用的初始学习 率n1；训练时候，对于前视和后视的图片，保持其原始状态直接送入模型进行训 练；对于左前和右前两个图像，首先将左前图像进行逆时针旋转(记作 font
‑
left
‑
rotated)，右前图像进行顺时针旋转(记作font
‑
right
‑
rotated)， 然后进行水平方向合并，合并时旋转后的左前图像font
‑
left
‑
rotated在左侧， 旋转后的右前图像font
‑
right
‑
rotated在右侧；对于后侧的左后和右后两个图 像，首先左后图像进行顺时针旋转(记作rear
‑
left
‑
rotated)，右后图像进行逆 时针旋转(记作rear
‑
right
‑
rotated)，然后进行水平方向合并，合并时旋转后 的右后图像rear
‑
right
‑
rotated在左侧，旋转后的左后图像rear
‑
left
‑
rotated 在右侧，旋转合并后送入模型进行训练；
[0013]3)模型分类分支训练：采用的初始学习率n2，n2的数值是n1的四倍以上； 训练时候，对于前视和后视的图片，保持其原始状态直接送入模型进行训练，对 于左前和右前两个图像，首先将左前图像进行逆时针旋转(记作 font
‑
left
‑
rotated)，右前图像进行顺时针旋转(记作font
‑
right
‑
rotated)， 然后进行水平方向合并，合并时旋转后的左前图像font
‑
left
‑
rotated在左侧， 旋转后的右前图像font
‑
right
‑
rotated在右侧；对于后侧的左后和右后两个图 像，首先左后图像进行顺时针旋转(记作rear
‑
left
‑
rotated)，右后图像进行逆 时针旋转(记作rear
‑
right
‑
rotated)，然后进行水平方向合并，合并时旋转后 的右后图像rear
‑
right
‑
rotated在左侧，旋转后的左后图像rear
‑
left
‑
rotated 在右侧，旋转合并后送入模型进行训练；旋转合并后送入模型进行训练；
[0014]4)模型部署推理：利用pytorch的jit模块，将模型导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.自动驾驶周视车道线模型训练和检测方法，其特征在于包括如下步骤：1)数据采集、清洗和标注：在车身上设置多个数据采集的摄像头，获得多个视角的多段视频数据；按照一定的抽帧频率，抽取出一定量的图片，筛选不同场景的车道线，以分段折线的方式对车道线进行标注，标出车道线；2)模型回归分支训练：车道线模型包括模型主干网络、车道线回归分支、车道线分类分支，首先训练回归分支，而将分类分支进行冻结，采用的初始学习率n1；训练时候，对于前视和后视的图片，保持其原始状态直接送入模型进行训练，对于前侧的左前和右前两个图像，首先将左前图像进行逆时针旋转，记作font
‑
left
‑
rotated，右前图像进行顺时针旋转，记作font
‑
right
‑
rotated，然后进行水平方向合并，合并时旋转后的左前图像font
‑
left
‑
rotated在左侧，旋转后的右前图像font
‑
right
‑
rotated在右侧；对于后侧的左后和右后两个图像，首先左后图像进行顺时针旋转，记作rear
‑
left
‑
rotated，右后图像进行逆时针旋转，记作rear
‑
right
‑
rotated，然后进行水平方向合并，合并时旋转后的右后图像rear
‑
right
‑
rotated在左侧，旋转后的左后图像rear
‑
left
‑
rotated在右侧，旋转合并后送入模型进行训练；3)模型分类分支训练：采用的初始学习率n2，n2的数值是n1的倍数；训练时候，对于前视和后视的图片，保持其原始状态直接送入模型进行训练，对于前侧的左前和右前两个图像，首先将左前图像进行逆时针旋转，记作font
‑
left
‑
rotated，右前图像进行顺时针旋转，记作font
‑
right
‑
rotated，然后进行水平方向合并，合并时旋转后的左前图像font
‑
left
‑
rotated在左侧，旋转后的右前图像font
‑
right
‑
rotated在右侧；对于后侧的左后和右后两个图像，首先左后图像进行顺时针旋转，记作rear
‑
left
‑
rotated，右后图像进行逆时针旋转，记作rear
‑
right
‑
rotated，然后进行水平方向合并，合并时旋转后的右后图像rear
‑
right
‑
rotated在左侧，旋转后的左后图像rear
‑
left
‑
rotated在右侧，旋转合并后送入模型进行训练；4)模型部署推理：利用pytorch的jit模块，将模型导出为onnx模块并且进行模型定点量化，最后利用onnxruntime将模型转化为trt引擎，实现模型在嵌入式端高效地运行；模型推理时候，需要和模型训练时候对应，前视图片和后视图片保持原状，左侧的图片进行逆时针或顺时针旋转后合并，右侧的图片进行顺时针或逆时针旋...

【专利技术属性】
技术研发人员：詹东旭，单玉梅，冯绪杨，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：