一种基于注意力空间卷积神经网络的车道线检测分割方法技术

本发明专利技术公开了一种基于注意力空间卷积神经网络的车道线检测分割方法，该方法通过空间卷积神经网络将车道图像中的每一条车道线分割为一类，并输出车道线的概率图，图中各像素点的数值为该点属于各类的概率，最后通过三次样条插值连接每一类的像素点得到车道线。该方法在传统的卷积神经网络中嵌入了空间卷积层并引入了注意力门结构，使得图像中的空间信息能够在同层的神经元中传播，能更好地提取结构化信息，在不增加网络模型计算量的情况下，加强了对车道线这类长距离连续目标的检测能力。该方法主要针对具有清晰道路标志线的结构化道路，可对拥挤、昏暗、狭窄等复杂行驶状况中完整的车道线进行检测和分割，其性能优于现有方法。

【技术实现步骤摘要】
一种基于注意力空间卷积神经网络的车道线检测分割方法
本专利技术涉及计算机视觉
，尤其涉及一种基于注意力机制的空间卷积神经网络车道线检测和分割方法。
技术介绍
车道线检测是偏移预警、车道保持和自动变道等众多高级驾驶辅助功能的基础环节，在自动驾驶系统中起着至关重要的作用，车道线检测方法的稳定性、准确性影响着自动驾驶系统的性能。虽然现有的车道线检测方法能满足使用要求，但在实际的驾驶场景中实现准确检测仍然是一项具有挑战性的任务。其主要困难在于实际环境中存在各种干扰因素，如恶劣天气、光线变化、交通拥堵等，导致传感器检测到的目标信息通常是不全面的，极大地增加了检测的难度。车道线检测指的是通过传感器获得环境信息，尤其是路面上的车道线信息，进而计算并判断车辆合理行驶的区域范围。常用的车载传感器为雷达和摄像头，其中雷达主要分为毫米波雷达和激光雷达，毫米波雷达检测距离远，对目标本身的变化不敏感，但易受天气等因素的影响；激光雷达检测效果好，但其成本昂贵，不利于被广泛使用。相比于雷达，摄像头具有易安装，体积小，捕获的信息量大，成本低等优点。因此，近年来基于视觉的车道线检测方法逐渐成为计算机视觉领域和无人驾驶领域的研究热点。基于视觉的车道线检测方法，通过采集图像，处理图像，最后通过计算获得车道线信息。在检测车道线的传统方法中，主要有两大类，一种是基于车道线模型的方法，一种是基于道路特征的方法。基于模型的方法是将车道线用适当的数学表达式来描述，然后通过一系列数学方法构建模型并获得其中的参数来拟合车道线，常用的方法有Hough变换、随机采样一致性算法、最小二乘法等。其他常用的车道线模型有直线模型、双曲线模型、线性抛物线模型、样条曲线模型等。基于道路特征的方法通常情况下是基于车道线的颜色、形状、大小/宽度、边缘、梯度变化等车道线本身的特征信息来提取出特征，或者利用路面的纹理信息结合区域增长以及分类的方法来取得整个路面区域。传统的计算机视觉技术对于车道线的检测效果并不理想，因为大多数基于模型和基于特征的方法都有较为严格的前提假设，并不具有普遍性，只能在特定场景中针对某些特点的车道线完成检测任务。随着深度学习的迅速发展，许多相关的技术也被应用到车道线检测中，相较于传统算法，深度学习有着众多优点，最典型之一的卷积神经网络学习模型在众多算法中表现较为突出。针对车道线这类长距离且形状连续又有着很强的空间关系，但从其外观不完整的目标，空间卷积神经网络将传统的卷积层连接层的连接形式转化为连片结构的卷积形式，使得特征信息不仅能在行之间传递，也能在列之间传递，使得空间信息能够在同层的神经元中传播，增强了对结构化信息的识别。近年来，注意力机制也被应用于语义分割，在语义分割的框架中，目的是将场景图像分割和解析到与语义类别相关联的不同图像区域，从而实现图像内容的识别。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于注意力空间卷积神经网络的车道线检测分割方法。本专利技术的目的是通过以下技术方案来实现的：一种基于注意力机制的空间卷积神经网络车道线检测和分割方法，包括如下步骤：(1)设计卷积神经网络结构：在卷积神经网络中嵌入若干个不同方向的空间卷积层，并使用注意力门结构以前馈的形式连接不同的空间卷积层，得到基于注意力机制的空间卷积神经网络ASCNN；(2)训练模型并改进网络结构：使用训练算法训练步骤(1)中设计的空间卷积神经网络，计算经过训练后模型的性能，调整步骤(1)中网络的卷积核宽度和注意力门的连接方式，重新训练神经网络，选取性能最优的模型作为车道线检测器；(3)输入图像实现车道线检测与分割：对车载摄像头输出的图像进行预处理，将图像传入步骤(2)中的车道线检测器，输出车道线的概率图，将图中概率大于阈值的像素点拟合成车道线，实现车道线的检测与分割。进一步地，所述步骤(1)包括如下子步骤：(1.1)选用卷积神经网络为基础架构，构建空间卷积神经网络，其中初始的13层使用VGG16模型中的结构，并在顶部隐藏层之后设计四个空间卷积层，先将每个卷积层进行切片，再按照下、上、右、左的顺序进行卷积，并使用连片结构的卷积形式代替传统的层连接层的形式；(1.2)构建一个输入为原始特征信息xl和分析门信号g，输出为局部空间特征的注意力门结构，使用门信号g提供的激活和上下文信息来选择空间区域，并通过调整权重系数α来控制输入特征xl在输出中所占的比例，其中权重系数的网格重采样使用三维插值完成；(1.3)使用四个注意力门连接步骤(1.1)中的空间卷积层，每一个注意力门的门信号g为前序注意力门的输出特征输入特征xl为对应空间卷积层的卷积结果，输出特征作为后续注意力门的门信号，其中第一个注意力门的门信号来自顶部隐藏层，最后一个注意力门的输出传入后续的卷积层，并为神经网络的每一个激活函数层添加正则项，得到基于注意力机制的空间卷积神经网络。进一步地，所述步骤(2)包括如下子步骤：(2.1)选取标准梯度下降法作为步骤(1.3)中神经网络的训练算法，设置该算法中批尺寸(batchsize)、动量项(momentum)、权重衰减项(weightdecay)等参数值，并在车道检测数据集上进行训练；(2.2)把测试集中的图像传入经过步骤(2.1)训练的模型，将模型的输出与真实标记进行比较，统计真实标记(GroundTruth)中车道线和背景正确识别的概率，计算训练后的模型的精确率、召回率、准确率和F1等性能指标；(2.3)调整步骤(1.1)中网络的卷积核宽度和步骤(1.3)中注意力门的连接方式，重新使用步骤(2.1)中的方法训练神经网络，并通过步骤(2.2)评估不同的网络结构对应的性能，选取性能最优的模型作为车道线检测器。进一步地，所述步骤(3)包括如下子步骤：(3.1)读取车载摄像头获取的车道图像，将图像的分辨率统一为1280*720后，传入步骤(2.3)中的车道线检测器，输出车道线的概率图；(3.2)在步骤(3.1)输出的车道线概率图中，为了分割不同的车道线，把每条车道线视为一类，像素点的数值为属于对应车道线的概率，通过三次样条插值连接每条车道线上数值大于设定阈值的像素点，获得车道线的曲线，实现车道线检测与分割。本专利技术的技术方案概括为：1、本专利技术提出了一个适用于车道线检测的空间卷积神经网络结构。在卷积网络中嵌入空间卷积层，将传统的卷积层连接层的连接形式转化为连片结构的卷积形式，使得空间信息能够在同层的神经元中传播，增强了对结构化信息的识别，并在空间卷积层之间引入了注意力门结构，将每一方向上的特征提取都与前馈网络融合，提高了对车道线这类长距离连续目标的检测能力；2、本专利技术提供了一个针对带有注意力门的空间卷积神经网络的训练方法和性能改进机制。使用标准梯度下降法进行训练，学习速率采用非固定值，选取精确率、召回率、准确率和F1等指标对训练后的神经网络进行评估，更改网络中卷积核和注意力门的参数设置，根据训练后模型的性能指标选择最优的模型作为车道线检测本文档来自技高网...

【技术保护点】
1.一种基于注意力空间卷积神经网络的车道线检测分割方法，其特征在于，包括如下步骤：/n(1)设计卷积神经网络结构：在卷积神经网络中嵌入若干个不同方向的空间卷积层，并使用注意力门结构以前馈的形式连接不同的空间卷积层，得到基于注意力机制的空间卷积神经网络；/n(2)训练模型并改进网络结构：使用训练算法训练步骤(1)中设计的空间卷积神经网络，计算经过训练后模型的检测性能，调整步骤(1)中网络的卷积核宽度和注意力门的连接方式，重新训练神经网络，选取性能最优的模型作为车道线检测器；/n(3)输入图像实现车道线检测与分割：对车载摄像头输出的图像进行预处理，将图像传入步骤(2)中的车道线检测器，输出车道线的概率图，将图中概率大于阈值的像素点拟合成车道线，实现车道线检测。/n

【技术特征摘要】
1.一种基于注意力空间卷积神经网络的车道线检测分割方法，其特征在于，包括如下步骤：
(1)设计卷积神经网络结构：在卷积神经网络中嵌入若干个不同方向的空间卷积层，并使用注意力门结构以前馈的形式连接不同的空间卷积层，得到基于注意力机制的空间卷积神经网络；
(2)训练模型并改进网络结构：使用训练算法训练步骤(1)中设计的空间卷积神经网络，计算经过训练后模型的检测性能，调整步骤(1)中网络的卷积核宽度和注意力门的连接方式，重新训练神经网络，选取性能最优的模型作为车道线检测器；
(3)输入图像实现车道线检测与分割：对车载摄像头输出的图像进行预处理，将图像传入步骤(2)中的车道线检测器，输出车道线的概率图，将图中概率大于阈值的像素点拟合成车道线，实现车道线检测。


2.根据权利要求1所述的基于注意力空间卷积神经网络的车道线检测分割方法，其特征在于，所述步骤(1)包括如下子步骤：
(1.1)选用卷积神经网络为基础架构，构建空间卷积神经网络，其中初始的13层使用VGG16模型中的结构，并在顶部隐藏层之后设计四个空间卷积层，先将每个卷积层进行切片，再按照下、上、右、左的顺序进行卷积，并使用连片结构的卷积形式代替传统的层连接层的形式。
(1.2)构建一个输入为原始特征信息xl和分析门信号g，输出为局部空间特征的注意力门结构，使用门信号g提供的激活和上下文信息来选择空间区域，并通过调整权重系数α来控制输入特征xl在输出中所占的比例，其中权重系数的网格重采样使用三维插值完成。
(1.3)使用四个注意力门连接步骤(1.1)中的空间卷积层，每一个注意力门的门信号g为前序注意力门的输出特征输入特征xl为对应空间卷积层的卷积结果，输出特征作为后续注意力...

【专利技术属性】
技术研发人员：梁军，詹吟霄，彭嘉恒，侯亮，刘飞虎，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33