基于异质信息交互卷积网络的车道线检测方法技术

本发明专利技术公开了基于异质信息交互卷积网络的车道线检测方法；所构建的网络分支包括两个预测分支：车道线分割(像素级)和车道线块分类，本发明专利技术利用了车道线分割预测结果构建了反向特征表示空间，作为补空间将其与图片特征级空间级联，提高网络特征的提取能力，特别是针对遮挡等因素造成车道线的缺失；其次，设计了全局和局部分支使网络进一步提升特征的提取能力，使得网络既关注全局的上下文信息，也关注局部细节信息；最后，本发明专利技术在网络设计的时候避免冗余的计算，提高网络的推理效率，在自动驾驶和辅助驾驶领域有着重要的应用价值。动驾驶和辅助驾驶领域有着重要的应用价值。

【技术实现步骤摘要】
基于异质信息交互卷积网络的车道线检测方法


[0001]本专利技术涉及图像处理和模式识别
，尤其涉及基于异质信息交互卷积网络的车道线检测方法。

技术介绍

[0002]自动驾驶技术是通过电脑系统实现驾驶的无人化，提升用户的驾乘体验，是当前高校和企业研究的热点问题；在这项技术中，车道线检测作为其中一个基础模块，引导车辆自主判别行驶方向，规范驾驶行为，避免车辆碰撞，从而实现更加良好的驾乘体验。
[0003]车道线检测在实际的应用中面临巨大的挑战：其一是图像质量问题，如在行驶过程中，车辆抖动导致的失真、模糊等问题；光照变化以及建筑、树木产生的阴影问题；雾天、雨天等造成的能见度降低问题；其二是车道线质量问题，如车道线在不同路段的清晰和磨损程度不一；车道线的宽窄不一；其三是视角变化、遮挡等问题；单一源特征不能为网络提供丰富的表征，进而限制了网络的泛化能力；因此本专利技术借助异质信息的交互实现车道线的鲁棒检测。

技术实现思路

[0004]本专利技术利用车道线像素分割的预测结果，实现注意力之外特征空间的构建，作为图片特征的补空间与之级联，形成完备的特征表示；其次，利用全局和局部特征的学习，使得网络既关注全局的上下文信息，也关注局部细节信息；最后，利用轻量化的设计降低网络计算的复杂度；
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]基于异质信息交互卷积网络的车道线检测方法，包括以下步骤：
[0007]步骤1：制作训练数据；将每张训练图片及其对应标注进行预处理，具体如下：
[0008]设训练数据总共有N张图片及其对应的标注(其中每张图片的高和宽分别为288和800)，记训练集合中的图片为{I1,I2,...,I
N
}和每个图片对应的标签为{l1,l2,...,l
N
}；
[0009]步骤101：读取标签中一条车道线的坐标点，获取指定颜色p，利用PIL包中的ImageDraw.Draw.polygon()函数绘制多边形，同时利用该函数中的填充功能，对绘制的多边形进行指定颜色的填充；
[0010]步骤102：按照黄(p＝1)、绿(p＝2)、蓝(p＝3)、红(p＝4)、紫(p＝5)按顺序给每条车道线指定一个颜色p，读取图片标签中的每条车道线，记车道线总条数为C(C小于等于5)，当前车道序号为k(k小于等于C)，给定车道线颜色p＝k，依次执行步骤101的操作，进而获得车道线带有颜色的图片，之后将该图片转换成灰度图片，依次将对应颜色的灰度值转换成1，2，3，4，5，没有颜色的像素点记为0，最终将所有图片的标签转换为{mask1,mask2,...,mask
N
}；
[0011]步骤103：利用One
‑
hot编码方式生成多目标分割标签，其维度为288
×
800
×
(C+1)，最终标签转换为{seg1,seg2,...,seg
N
}；
[0012]步骤104：预先定义行锚row_anchor，如[121,131,141,150,160,170,180,189,199,209,219,228,238,248,258,267,277,287]；将步骤102所获取标签的高度按照预定义的行锚分成18份，之后将标签的宽度方向等分成200份，同时生成18
×
201
×
C零矩阵U；
[0013]步骤105：利用步骤104中预先定义行锚，选取步骤102中生成灰度标签在预先定义行锚所在行中第k个车道线占比最大的块，作为该车道线在该行该位置(i,j)的标签，即U(i,j,k)＝1；若步骤102中所生成灰度标签中第m个行锚位置没有车道线，则U(m,201,k)＝1；
[0014]步骤106：将步骤102中的标签{mask1,mask2,...,mask
N
}依次执行步骤105的操作，生成块标签{block1,block2,...,block
N
}；
[0015]步骤2：建立异质信息交互的车道线检测网络；网络的具体模型如下：
[0016]卷积层1：使用64个步长为2的7
×
7卷积核去卷积输入为288
×
800
×
3的图像，经过归一化(BN)层和ReLU激活函数后得到144
×
400
×
64的特征；
[0017]池化层1：卷积层1输出的特征在使用步长为2的3
×
3的最大值池化层后得到72
×
200
×
64的特征；
[0018]卷积层2：使用64个步长为1的3
×
3的卷积核去卷积池化层1的输出，经过归一化(BN)层和ReLU激活函数后得到72
×
200
×
64的特征；
[0019]卷积层3：使用64个步长为1的3
×
3的卷积核去卷积卷积层2的输出，经过归一化(BN)层后得到的特征加上池化层1输出的特征，经过ReLU激活函数后得到72
×
200
×
64的特征；
[0020]卷积层4：使用64个步长为1的3
×
3的卷积核去卷积卷积层3的输出，经过归一化(BN)层和ReLU激活函数后得到72
×
200
×
64的特征；
[0021]卷积层5：使用64个步长为1的3
×
3的卷积核去卷积卷积层4的输出，经过归一化(BN)层后得到的特征加上卷积层3输出的特征，经过ReLU激活函数后得到72
×
200
×
64的特征；
[0022]卷积层6：使用128个步长为2的3
×
3的卷积核去卷积卷积层5的输出，经过归一化(BN)层和ReLU激活函数后得到36
×
100
×
128的特征；
[0023]卷积层7：使用128个步长为1的3
×
3的卷积核去卷积卷积层6的输出，经过归一化(BN)层后得到的特征得到36
×
100
×
128的特征；
[0024]卷积层7_1：使用128个步长为2的1
×
1的卷积核去卷积卷积层5的输出，经过归一化(BN)层后加上卷积层7输出的特征，经过ReLU激活函数后得到36
×
100
×
128的特征；
[0025]卷积层8：使用128个步长为1的3
×
3的卷积核去卷积卷积层7_1的输出，经过归一化(BN)层和ReLU激活函数后得到36
×
100
×
128的特征；
[0026]卷积层9：使用128个步长为1的3
×
3的卷积核去本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于异质信息交互卷积网络的车道线检测方法，其特征在于，所述方法包括以下步骤：步骤1：制作训练数据；步骤2：构建基于异质信息交互的车道线检测网络；步骤3：利用步骤1的训练数据对步骤2中所建立的网络模型进行训练，通过SGD优化策略对模型进行参数学习，保存最终训练模型；步骤4：对步骤3中的最终网络模型进行测试。2.根据权利要求1所述的基于异质信息交互卷积网络的车道线检测方法，其特征在于，步骤1：制作训练数据；将每张训练图片及其对应标注进行预处理，具体如下：设训练数据总共有N张图片及其对应的标注(其中每张图片的高和宽分别为288和800)，记训练集合中的图片为{I1,I2,...,I
N
}和每个图片对应的标签为{l1,l2,...,l
N
}；步骤101：读取标签中一条车道线的坐标点，获取指定颜色p，利用PIL包中的ImageDraw.Draw.polygon()函数绘制多边形，同时利用该函数中的填充功能，对绘制的多边形进行指定颜色的填充；步骤102：按照黄(p＝1)、绿(p＝2)、蓝(p＝3)、红(p＝4)、紫(p＝5)按顺序给每条车道线指定一个颜色p，读取图片标签中的每条车道线，记车道线总条数为C(C小于等于5)，当前车道序号为k(k小于等于C)，给定车道线颜色p＝k，依次执行步骤101的操作，进而获得车道线带有颜色的图片，之后将该图片转换成灰度图片，依次将对应颜色的灰度值转换成1，2，3，4，5，没有颜色的像素点记为0，最终将所有图片的标签转换为{mask1,mask2,...,mask
N
}；步骤103：利用One
‑
hot编码方式生成多目标分割标签，其维度为288
×
800
×
(C+1)，最终标签转换为{seg1,seg2,...,seg
N
}；步骤104：预先定义行锚row_anchor，如[121,131,141,150,160,170,180,189,199,209,219,228,238,248,258,267,277,287]；将步骤102所获取标签的高度按照预定义的行锚分成18份，之后将标签的宽度方向等分成200份，同时生成18
×
201
×
C零矩阵U；步骤105：利用步骤104中预先定义行锚，选取步骤102中生成灰度标签在预先定义行锚所在行中第k个车道线占比最大的块，作为该车道线在该行该位置(i,j)的标签，即U(i,j,k)＝1，若步骤102中所生成灰度标签中第m个行锚位置没有车道线，则U(m,201,k)＝1；步骤106：将步骤102中的标签{mask1,mask2,...,mask
N
}依次执行步骤105的操作，生成块标签{block1,block2,...,block
N
}。3.根据权利要求1所述的基于异质信息交互卷积网络的车道线检测方法，其特征在于，步骤2：建立异质信息交互的车道线检测网络；网络的具体模型如下：卷积层1：使用64个步长为2的7
×
7卷积核去卷积输入为288
×
800
×
3的图像，经过归一化(BN)层和ReLU激活函数后得到144
×
400
×
64的特征；池化层1：卷积层1输出的特征在使用步长为2的3
×
3的最大值池化层后得到72
×
200
×
64的特征；卷积层2：使用64个步长为1的3
×
3的卷积核去卷积池化层1的输出，经过归一化(BN)层和ReLU激活函数后得到72
×
200
×
64的特征；卷积层3：使用64个步长为1的3
×
3的卷积核去卷积卷积层2的输出，经过归一化(BN)层后得到的特征加上池化层1输出的特征，经过ReLU激活函数后得到72
×
200
×
64的特征；
卷积层4：使用64个步长为1的3
×
3的卷积核去卷积卷积层3的输出，经过归一化(BN)层和ReLU激活函数后得到72
×
200
×
64的特征；卷积层5：使用64个步长为1的3
×
3的卷积核去卷积卷积层4的输出，经过归一化(BN)层后得到的特征加上卷积层3输出的特征，经过ReLU激活函数后得到72
×
200
×
64的特征；卷积层6：使用128个步长为2的3
×
3的卷积核去卷积卷积层5的输出，经过归一化(BN)层和ReLU激活函数后得到36
×
100
×
128的特征；卷积层7：使用128个步长为1的3
×
3的卷积核去卷积卷积层6的输出，经过归一化(BN)层后得到的特征得到36
×
100
×
128的特征；卷积层7_1：使用128个步长为2的1
×
1的卷积核去卷积卷积层5的输出，经过归一化(BN)层后加上卷积层7输出的特征，经过ReLU激活函数后得到36
×
100
×
128的特征；卷积层8：使用128个步长为1的3
×
3的卷积核去卷积卷积层7_1的输出，经过归一化(BN)层和ReLU激活函数后得到36
×
100
×
128的特征；卷积层9：使用128个步长为1的3
×
3的卷积核去卷积卷积层8的输出，经过归一化(BN)层后加上卷积层7_1输出的特征，经过ReLU激活函数后得到36
×
100
×
128的特征；卷积层10：使用256个步长为2的3
×
3的卷积核去卷积卷积层9的输出，经过归一化(BN)层和ReLU激活函数后得到18
×
50
×
256的特征；卷积层11：使用256个步长为1的3
×
3的卷积核去卷积卷积层10的输出，经过归一化(BN)层后得到的特征得到18
×
50
×
256的特征；卷积层11_1：使用256个步长为2的1
×
1的卷积核去卷积卷积层9的输出，经过归一化(BN)层后加上卷积层11输出的特征，经过ReLU激活函数后得到18
×
50
×
256的特征；卷积层12：使用256个步长为1的3
×
3的卷积核去卷积卷积层11_1的输出，经过归一化(BN)层和ReLU激活函数后得到18
×
50
×
256的特征；卷积层13：使用256个步长为1的3
×
3的卷积核去卷积卷积层12的输出，经过归一化(BN)层后加上卷积层11_1输出的特征，经过ReLU激活函数后得到18
×
50
×
256的特征；卷积层14：使用512个步长为2的3
×
3的卷积核去卷积卷积层13的输出，经过归一化(BN)层和ReLU激活函数后得到9
×
25
×
512的特征；卷积层15：使用512个步长为1的3
×
3的卷积核去卷积卷积层14的输出，经过归一化(BN)层后得到的特征得到9
×
25
×
512的特征；卷积层15_1：使用512个步长为2的1
×
1的卷积核去卷积卷积层13的输出，经过归一化(BN)层后加上卷积层15输出的特征，经过ReLU激活函数后得到9
×
25
×
512的特征；卷积层16：使用512个步长为1的3
×
3的卷积核去卷积卷积层15_1的输出，经过归一化(BN)层和ReLU激活函数后得到9
×
25
×
512的特征；卷积层17：使用512个步长为1的3
×
3的卷积核去卷积卷积层16的输出，经过归一化(BN)层后加上卷积层15_1输出的特征，经过ReLU激活函数后得到9
×
25
×
512的特征；卷积层18：使用128个步长为1的1
×
1的卷积核去卷积...

【专利技术属性】
技术研发人员：周庆，周晶，
申请(专利权)人：南京空天宇航科技有限公司，
类型：发明
国别省市：