一种基于Transformer编码器和空洞卷积的车道线检测方法技术

本发明专利技术公开了一种基于Transformer编码器和空洞卷积的车道线检测方法，包括：采用无监督风格迁移将白天道路交通图像转换成夜间交通图像；构建主干特征提取网络，将普通卷积替换成空洞卷积以提取车道线的局部特征；建立Transformer编码器来提取车道线的全局特征；对提取到的局部特征和全局特征利用双向特征金字塔进行加权融合，并利用网络学习权重的大小来优化特征融合；构建车道线检测头；对模型进行训练，使模型收敛获得车道线检测网络参数；将模型安装在车载摄像头上，用于对车道线进行实时检测，得到车道线实例分割图。该方法可以提高不同场景下车道线特征提取的精度与计算效率，同时可以方便地整合到其他现有车道线检测算法中进行端到端训练。线检测算法中进行端到端训练。线检测算法中进行端到端训练。

【技术实现步骤摘要】
一种基于Transformer编码器和空洞卷积的车道线检测方法


[0001]本专利技术涉及视觉车道线检测领域，尤其涉及一种基于Transformer编码器和空洞卷积的车道线检测方法。

技术介绍

[0002]车道检测是一项具有挑战性的工作，因为它受到很多因素的影响，如光照条件、其他车辆遮挡、道路上不相关标记的存在以及车道本身固有的狭长特性。此外，考虑到车道检测是在基于车辆的系统上运行的，计算资源非常有限，车道检测方法的计算成本也应该被视为整体性能的关键指标。同时，作为高级驾驶辅助系统(ADAS)的基础功能，车道检测必须具备高精确度、高实时性与鲁棒性等的条件。因此，车道检测不仅是一项重要而复杂的任务，而且是开发任何自动驾驶车辆系统的关键因素。
[0003]车道线检测网络框架通常采用编码器
‑
解码器的形式，目前关于车道线识别的研究主要集中在解码器上，然而提取清晰可靠的车道线特征具有同样的重要性，提取出清晰的车道线特征必然会对后续的检测部分减少很多负担。大多数算法中的编码器部分利用堆叠的卷积神经网络对图片的局部区域进行特征提取的同时对图片进行下采样，但卷积块在提取图像特征时只对局部像素进行运算而忽略了图片上的全局信息。现有方法通过对特征图进行切片，然后利用相邻行和列之间按顺序的卷积叠加在特征图上传递信息，但由于序列信息的传递操作耗时较长，导致推理速度较慢。同时，在相邻行或列之间顺序传递信息需要多次迭代，在长距离传播过程中会丢失部分信息。
[0004]堆叠的卷积神经网络进行了多次下采样，降低了进行后处理的特征图的分辨率，导致微小的车道线目标信息被忽略。为了解决多尺度目标检测问题，特征金字塔通过不同的方式融合了不同尺度的特征图。目前特征金字塔主要分为单向和双向，FPN通过将上层特征图的大小加倍并将其添加到下层，自顶而下融合特征图。Lizhe Liu等[1]采用FPN在车道检测网络中融合多尺度特征，但缺乏可解释性，计算效率低。PANet[2]在FPN的基础上添加了一个自底向上的特征融合，利用双向融合骨干网络保证特征的多样性和完整性，但其无法权衡各特征的重要性。NAS
‑
FPN[3]采用神经架构搜索来寻找更好的跨尺度特征网络拓扑，但是在搜索过程中需要花费大量时间，并且发现的网络不规则，难以解释或修改。BiFPN[4]对不同尺度的特征图进行双向加权特征融合，并利用网络学习权重的大小来优化特征融合。
[0005]另外，交通图像数据多样性与数量对于深度学习来说的非常重要，但在某些特定的驾驶场景如遮挡、阴影、夜间等数据只占整个驾驶数据集中的一小部分，形成长尾数据，降低了深度学习神经网络对此部分数据的学习效果。通过采集特定场景下的交通图像作为新数据集来解决在此场景下的车道线检测问题，但这种方法耗时耗力，降低了算法迭代效率。在应对长尾数据上，Seokju Lee等[5]建立了一个新的数据集，包含17个车道和道路标记类，适用于四种不同的长尾场景：无雨、下雨、大雨和夜间，但收集长尾数据是耗时耗力的工作，不满足高速发展的技术需要。风格迁移将一张图片的风格转换成另一张图片的，同时
保留原图片的内容不变，Gayts[6]通过重复运用VGG网络来提取图像的纹理信息和内容信息，使生成的图片保留内容值得同时具有新的纹理效果。Pix2Pix[7]通过生成对抗网络来实现图像风格转换，它需要成对的数据进行训练。但实际道路交通图片中极少存在成对的数据，如环境、交通流等完全相同的黑夜和白天道路场景图，因此上述两种方法不适用。而Cyclegan[8]通过引入循环一致性损失来保证内容不变，使其不需要一一对应的图片作为输入。UNIT[9]在Cyclegan的基础上进行了改进，它认为两个域图像可以由他们的联合分布转化得出，并利用VAE
‑
GAN结构保留内容细节，但是实际道路交通图片中很难获取到成对的不同风格图片。
[0006]参考文献：
[0007][1]Lizhe Liu，Xiaohao Chen，Siyu Zhu.CondLaneNet：a Top
‑
to
‑
down Lane Detection Framework Based on Conditional Convolution[J].arXiv preprint arXiv：2105.05003，2021.
[0008][2]Liu S，Qi L，Qin H et a1.Path Aggregation Network for Instance Segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2018.
[0009][3]Ghiasi G，Lin TY，Le QV.NAS
‑
FPN：Learning Scalable Feature Pyramid Architecture for Object Detection[C]//2019IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).IEEE，2019.
[0010][4]Tan M，Pang R，Le QV.EfficientDet：Scalable and Efficient Object Detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).IEEE，2020.
[0011][5]Seokju Lee，Junsik Kim，Jae Shin Yoon，et al.VPGNet：Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition[C]//2017 IEEE International Conference on Computer Vision(ICCV).IEEE，2017.
[0012][6]Gatys LA，Ecker AS，Bethge M.Image Style Transfer Using Convolutional Neural Networks[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE，2016.
[0013][7]Phillip Isola，Jun
‑
Yan Zhu，Tinghui Zhou et al.Image
‑
to
‑
Image Translation with Conditional Adversarial Networks[J]//2017 IEEE Conference o本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer编码器和空洞卷积的车道线检测方法，其特征在于，该方法包括以下步骤：使用UNIT无监督风格迁移方法，利用白天交通图像生成夜间交通场景数据；构建主干特征提取网络，且在主干特征提取网络中用空洞卷积代替原来的卷积，以提取车道线多尺度局部特征；构建Transformer编码器，利用位置编码和自注意力机制获取全局特征；使用双向特征金字塔对所提取出来的局部和全局特征进行自顶而下和自底而上的加权融合；采用基于实例分割的方法构建车道线检测头；对模型进行训练，使模型收敛获得车道线检测网络参数；将模型安装在车载摄像头上，用于对车道线进行实时检测，得到车道线实例分割图。2.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，其特征在于，在进行UNIT无监督风格迁移前，还包括步骤：获取网络公开道路交通数据集，所述数据集中包含车道线及其标签。3.根据权利要求2所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，其特征在于，所述数据集中包括正常场景、拥堵场景、转弯场景、眩光场景、夜晚场景、无车道线场景、阴影场景和道路、有箭头标记场景。4.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，其特征在于，所述使用UNIT无监督风格迁移方法，利用白天交通图像生成夜间交通场景，包括：设B＝(X，Y)，其中X为原图像，Y为原图像的标签，B为原始数据及其标签的组合；假设B
g
＝(X
g
，Y
g
)，其中X
g
为生成的图像，Y
g
为生成图像的标签，则：X
g
＝G(E(X))Y
g
＝Y其中，G为生成器；E为编码器，B
g
为生成的数据及其标签的组合。5.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，其特征在于，所述主干特征提取网络中用空洞卷积代替原来的卷积，包括：将主干特征提取网络的后两个模块的卷积修改为空洞卷积，假设输入W为输入图片的宽、H为输入图片的高，在经过空洞卷积进行特征提取之后，输出特征图F，卷积输入输出的尺寸关系为：其中，W
in
为输入的尺寸；W
out
为输出的尺寸；P为填充数；K为卷积核大小；D为卷积空洞数；S为卷积步长。6.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，其特征在于，所述构建Transformer编码器，利用位置编码和自注意力机制获取全局特征，包括：特征图F首先经过卷积层来得到特征图嵌入F
′
；
随后加入位置编码PE，位置编码使用不同频率的sin和cos计算得到：PE(pos，2i)＝sin(pos/10000
2i/d

【专利技术属性】
技术研发人员：陈梓毅，杨志坚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：