一种基于深度分割网络的车道线检测方法技术

本发明专利技术公开了一种基于深度分割网络的车道线检测方法，其步骤包括：1获得归一化后的原始图像集和车道线实例分割灰度图像集；2构建多层深度分割网络，并训练得到最优多层深度分割网络；3获得车道线二值图像和背景二值图像；4获得待预测道路图像的特征图；5获得待预测道路图像的特征图；6获得车道线实例分割图像；7得到车道线的检测结果图。本发明专利技术能有效地解决车道线变化的问题，从而能适合多种复杂道路状况下的车道线检测，并提高检测的鲁棒性和实时性。

【技术实现步骤摘要】
一种基于深度分割网络的车道线检测方法
本专利技术属于无人驾驶
，具体涉及一种基于深度分割网络的车道线检测方法。
技术介绍
现代智能汽车融合了许多汽车辅助驾驶功能，其中包括车道偏离警告系统(LaneDepartureWarningSystem，LDWS)和车道保持辅助系统(LaneKeepingAssistSystem，LKAS)，这些系统能够使得汽车在正确的车道线内行驶。车道线检测是车道偏离警告系统和车道保持辅助系统中的一项关键技术，但是由于道路场景的复杂性，同时还对车道线检测有着较高的实时性要求，使得车道线检测仍然是无人驾驶
的一个难题。目前，车道线检测方法大体可以分为基于特征的检测方法、基于模型的检测方法和基于深度学习的检测方法。基于手工制作特征的方法主要利用车道线的颜色特征，纹理特征，几何特征等，再与霍夫变换或卡尔曼滤波器相结合检测车道线。基于模型的检测方法首先要估计道路的数学模型，利用图像信息确定道路数学模型的参数。这些基于特征和模型的检测方法容易受到破损路面和障碍物遮挡等不良天气的道路场景影响。随着深度学习在计算机视觉领域的成功运用，基于将车道线检测问题转化为多类别的分割问题，每条车道线属于一类，这样能够实现端到端的方式进行车道线检测，但该类方法不能检测数量变化的车道线检测问题。
技术实现思路
本专利技术为了克服现有技术存在的不足，提供了一种基于深度分割网络的车道线检测方法，以期能有效地解决车道线变化的问题，从而能适合多种复杂道路状况下的车道线检测，并提高检测的鲁棒性和实时性。本专利技术为解决技术问题采用如下技术方案：本专利技术一种基于深度分割网络的车道线检测方法的特点是按如下步骤进行：步骤1、获取带有每条车道线标签的原始图像集；给任意第i张原始图像上的车道线标签设定相应的灰度值，并令第i张原始图像的背景灰度值为零，从而得到第i张车道线实例分割灰度图像，再将所述第i张原始图像和第i张车道线实例分割灰度图像进行尺度归一化，得到归一化后的第i张原始图像和第i张车道线实例灰度图；从而得到归一化后的原始图像集和车道线实例分割灰度图像集；步骤2、构建多层深度分割网络：步骤2.1、令所述多层深度分割网络是由编码网络和解码网络两部分组成；令所述编码网络是由VGG16网络的前n层的卷积层和及其对应的最大池化层组成；且任意第j个卷积层对应第j个编码器；令第j个编码器通过卷积产生第j层特征图并存储，同时存储对应的第j个最大池化索引，从而得到n个编码器所产生的n层特征图并存储，同时存储对应的n个最大池化索引，j＝1,2,…,n；步骤2.2、所述解码网络中，与第j个编码器对应设置有第j个解码器，则所述解码网络也为n层；所述第j个解码器利用对应的第j个最大池化索引对输入的第j-1层特征图进行非线性上采样，生成第j层稀疏特征图，再对第j层稀疏特征图进行卷积操作，生成第j层密集特征图，从而得到n层的密集特征图；再将第n层密集特征图经过一个卷积层处理，得到第n+1层特征图；步骤3、获得最优多层深度分割网络：步骤3.1、利用任意大型自然图像数据集对所述多层深度分割网络进行预训练，得到预训练后的网络参数；步骤3.2、将所述预训练后的网络参数作为初始化参数，并利用归一化后的原始图像集和车道线实例灰度图像集对所述多层深度分割网络进行微调训练，得到最优多层深度分割网络；步骤4、将获取的待预测道路图像尺度进行归一化处理，得到归一化后的待预测道路图像并输入到所述最优多层深度分割网络中，得到待预测道路图像的特征图；步骤5、对所述待预测道路图像的特征图进行二值化处理，得到待预测道路图像中车道线二值图像和背景二值图像；再使用邻近AND运算将车道线二值图像和背景二值图像进行融合，得到优化的车道线二值图像；步骤6、在所述车道线二值分割图中获取像素值为“1”的所有像素点所对应的位置，并根据所获取的对应位置，在所待预测道路图像的特征图中标记相同位置处的所有像素点，并使用均值漂移聚类算法对所标记的所有像素进行聚类，得到车道线实例分割图像；步骤7、将所述车道线实例分割图像与待预测道路图像以1:1的权重进行图像混合处理，从而得到车道线的检测结果图。与已有的技术相比，本专利技术有益效果体现在：1、本专利技术先构建一个多层深度分割网络，这个分割网络由编码网络和解码网络组成，编码网络能够有效地提取车道线的实例特征，而解码网络负责将编码网络输出的特征图恢复至输入图像分辨率大小；使用原始图像集和车道线实例灰度图像集训练分割网络，使得训练好的网络具有解决数量变化的车道线检测问题的能力；针对分割网络输出的特征图，本专利技术使用邻近AND运算对分割网络输出的特征图进行处理，得到最优的车道线二值分割图；从车道线二值图中获取像素值为“1”的所有像素点所对应的位置，并根据所获取的对应位置，在网络输出的特征图中标记相同位置处的所有像素点，并用均值漂移聚类算法对所标记的所有像素进行聚类，得到车道线实例分割图像；此处使用邻近AND运算能使得属于车道线的共同特征更具体，并丢弃非共同部分的特征，提高了车道线检测的鲁棒性，再将得到的车道线实例分割图与原始图进行图像混合，从而可以解决了数量变化的车道线检测问题，同时还具有较好的鲁棒性和实时性，实现了一种高效的车道线检测算法。2、本专利技术分割网络由编码网络和解码网络组成，编码网络是基于VGG16网络的前n层卷积层提取实例分割特征，利用编码网络提取特征，不需要人为设计待提取的特征，它能够自主学习到图像的深度感知特征信息，对车道线的遮挡、光照变化、污损等不良天气的道路场景具有较好的鲁棒性。编码网络中的每个最大池化层对应着一个解码网络的一个上采样层，每个上采样层利用对应层的最大池化索引将编码网络输出的特征图进行非线性上采样，使得编码网络输出的特征图恢复至输入图像分辨率大小。在上采样网络中利用最大池化索引不仅能够有效地存储特征图中的边界信息，同时也消除了训练过程中上采样参数学习的需要。3、本专利技术采用邻近AND运算对分割网络输出的特征图像二值化，得到车道线二值分割图，使用邻近AND运算使得属于车道线的共同特征更具体，并丢弃非共同部分的特征，从而提高了车道线检测的鲁棒性。4、本专利技术采用均值漂移聚类算法对标记的像素进行聚类得到车道线实例分割图。均值漂移聚类算法是一种无参数概率密度估计算法，可用于图像分割，跟踪等问题。均值漂移聚类算法不需要预先知道聚类的类别数，同时对聚类的形状也没有限制。由于均值漂移聚类算法可以使用核函数，使得计算区域中个像素对应的权值不同，离中心越远权值越小，对结果的影响也就越小，在一定程度上可以避免车道线周围噪声的干扰，增加了抗干扰能力。5、本专利技术采用的卷积神经网络结构简单，大大缩短了计算时间，并且采用的邻近AND运算和均值漂移聚类算法具有去除和抗干扰能力，使得该检测方法具有较好的鲁棒性，同时也有较好的检测速度和准确率。附图说明图1为本专利技术的车道线检测方法流程图；图2为本专利技术的非线性上采样方法流程图；图3为本专利技术的图森图像集中某张图像和与之对应的车道线实例分割灰度图像示例图；具体实施方式本实施例中，如图1所示，一种基于深度分割网络的车道线检测方法是按如下步骤进行：步骤1、从图森数据库中获取带有每条车道线标签的原始图像集；使用python语言并借助本文档来自技高网...

【技术保护点】
1.一种基于深度分割网络的车道线检测方法，其特征是按如下步骤进行：步骤1、获取带有每条车道线标签的原始图像集；给任意第i张原始图像上的车道线标签设定相应的灰度值，并令第i张原始图像的背景灰度值为零，从而得到第i张车道线实例分割灰度图像，再将所述第i张原始图像和第i张车道线实例分割灰度图像进行尺度归一化，得到归一化后的第i张原始图像和第i张车道线实例灰度图；从而得到归一化后的原始图像集和车道线实例分割灰度图像集；步骤2、构建多层深度分割网络：步骤2.1、令所述多层深度分割网络是由编码网络和解码网络两部分组成；令所述编码网络是由VGG16网络的前n层的卷积层和及其对应的最大池化层组成；且任意第j个卷积层对应第j个编码器；令第j个编码器通过卷积产生第j层特征图并存储，同时存储对应的第j个最大池化索引，从而得到n个编码器所产生的n层特征图并存储，同时存储对应的n个最大池化索引，j＝1,2,…,n；步骤2.2、所述解码网络中，与第j个编码器对应设置有第j个解码器，则所述解码网络也为n层；所述第j个解码器利用对应的第j个最大池化索引对输入的第j‑1层特征图进行非线性上采样，生成第j层稀疏特征图，再对第j层稀疏特征图进行卷积操作，生成第j层密集特征图，从而得到n层的密集特征图；再将第n层密集特征图经过一个卷积层处理，得到第n+1层特征图；步骤3、获得最优多层深度分割网络：步骤3.1、利用任意大型自然图像数据集对所述多层深度分割网络进行预训练，得到预训练后的网络参数；步骤3.2、将所述预训练后的网络参数作为初始化参数，并利用归一化后的原始图像集和车道线实例灰度图像集对所述多层深度分割网络进行微调训练，得到最优多层深度分割网络；步骤4、将获取的待预测道路图像尺度进行归一化处理，得到归一化后的待预测道路图像并输入到所述最优多层深度分割网络中，得到待预测道路图像的特征图；步骤5、对所述待预测道路图像的特征图进行二值化处理，得到待预测道路图像中车道线二值图像和背景二值图像；再使用邻近AND运算将车道线二值图像和背景二值图像进行融合，得到优化的车道线二值图像；步骤6、在所述车道线二值分割图中获取像素值为“1”的所有像素点所对应的位置，并根据所获取的对应位置，在所待预测道路图像的特征图中标记相同位置处的所有像素点，并使用均值漂移聚类算法对所标记的所有像素进行聚类，得到车道线实例分割图像；步骤7、将所述车道线实例分割图像与待预测道路图像以1:1的权重进行图像混合处理，从而得到车道线的检测结果图。...

【技术特征摘要】
1.一种基于深度分割网络的车道线检测方法，其特征是按如下步骤进行：步骤1、获取带有每条车道线标签的原始图像集；给任意第i张原始图像上的车道线标签设定相应的灰度值，并令第i张原始图像的背景灰度值为零，从而得到第i张车道线实例分割灰度图像，再将所述第i张原始图像和第i张车道线实例分割灰度图像进行尺度归一化，得到归一化后的第i张原始图像和第i张车道线实例灰度图；从而得到归一化后的原始图像集和车道线实例分割灰度图像集；步骤2、构建多层深度分割网络：步骤2.1、令所述多层深度分割网络是由编码网络和解码网络两部分组成；令所述编码网络是由VGG16网络的前n层的卷积层和及其对应的最大池化层组成；且任意第j个卷积层对应第j个编码器；令第j个编码器通过卷积产生第j层特征图并存储，同时存储对应的第j个最大池化索引，从而得到n个编码器所产生的n层特征图并存储，同时存储对应的n个最大池化索引，j＝1,2,…,n；步骤2.2、所述解码网络中，与第j个编码器对应设置有第j个解码器，则所述解码网络也为n层；所述第j个解码器利用对应的第j个最大池化索引对输入的第j-1层特征图进行非线性上采样，生成第j层稀疏特征图，再对第j层稀疏特征图进行卷积操作，生成第j层密集特征...

【专利技术属性】
技术研发人员：孙锐，丁海涛，阚俊松，吴柳玮，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34