【技术实现步骤摘要】
本专利技术涉及智能自动驾驶汽车环境感知，尤其涉及一种基于关键点的全局关联车道线检测方法、系统、介质和设备。
技术介绍
1、为了保证汽车在行驶过程中的安全，自主系统需要保持汽车在道路上沿着车道线沿着行驶，这就要求对车道线有准确的感知。因此，车道线检测在自动驾驶系统，特别是在高级驾驶辅助系统(adas)中起着重要的作用。
2、车道线检测任务是在给定由安装在车辆上的摄像头拍摄的前视图像上产生道路上每条车道线的准确形状，其最大的挑战性是车道线的形状细长和需要对每一条车道线进行实例级别的区分。当前，主流的车道线检测方法是基于深度学习的方法。相比较传统的基于机器学习的方法，基于深度学习的车道检测模型可以自动学习车道线的要素表示，无需手动标注。这使得车道线检测方法更加灵活。此外，基于深度学习的车道检测模型可以通过大规模数据进行训练迭代，因此具有更好的泛化能力。其可以处理各种不同的道路条件、照明变化和天气条件，使车道线检测更加稳定和可靠。基于深度学习的车道线检测方法主要分为三类：基于分割的方法、基于检测的方法和基于关键点的方法。
3、基于分割的方法是将车道线检测建模为逐像素分类问题，每个像素被分类为车道区域或背景两个大类。为了区分不同的车道线，scnn将不同的车道线视为不同的类别，因此车道检测被转换为多类分割任务。lanenet通过将车道检测作为实例分割问题来采用不同的车道线表示方式，网络中的二进制分割分支和嵌入分支用来将分割的结果解耦成车道线实例。然而，基于分割的方法很难保证检测的实时性，尽管类似enet-sad的网络
技术实现思路
1、为解决
技术介绍
中存在的技术问题，本专利技术提出一种基于关键点的全局关联车道线检测方法、系统、介质和设备。
2、本专利技术提出的一种基于关键点的全局关联车道线检测方法，包括：
3、获取带有标注的数据集；
4、构建基于关键点的全局关联车道线检测模型；
5、利用带有标注的数据集对基于关键点的全局关联车道线检测模型进行训练，得到训练好的基于关键点的全局关联车道线检测模型；
6、利用基于关键点的全局关联车道线检测模型对待测车道线进行检测，得到预测车道线；
7、其中，基于关键点的全局关联车道线检测模型包括数据预处理模块、特征提取模块、通道空间注意力模块cbam、特征金字塔网络fpn、解码器和后处理模块；其中，特征提取模块的骨干网络为resnet网络；数据预处理模块的输入端作为基于关键点的全局关联车道线检测模型的输入端，数据预处理模块的输出端与特征提取模块的输入端连接，特征提取模块的输出端与通道空间注意力模块cbam的输入端连接，通道空间注意力模块cbam的输出端与特征金字塔网络的输入端连接；解码器包括关键点头部和偏移头部，特征金字塔网络的输出段分别与关键点头部的输入端和偏移头部的输入端连接，关键点头部的输出端和偏移头部的输出端相加连接至后处理器的输入端，后处理模块的输出端作为基于关键点的全局关联车道线检测模型的输出端。
8、优选地，特征金字塔网络的输出段与关键点头部的输入端之间还连接有残差特征聚合模块rfa。
9、优选地，预处理包括数据增强、色彩调整、归一化和边界补零处理；其中，数据增强包括随机翻转、旋转、裁剪，扭曲和缩放操作；其中，色彩调整包括是色调和饱和度。
10、优选地，数据预处理模块的输出端与特征提取模块的输入端之间还连接有focus模块，focus模块用于对输入的图像进行切片处理。
11、优选地，利用基于关键点的全局关联车道线检测模型对待测车道线进行检测，得到预测车道线，具体包括：
12、利用数据预处理模块对待测的图像进行预处理；
13、利用特征提取模块对预处理后的图像进行特征提取，得到多尺度特征图；
14、利用通道空间注意力模块cbam对多尺度特征图进行通道-空间注意力机制调制；
15、利用特征金字塔网络对经过通道-空间注意力机制调制后的多尺度特征图进行特征融合，得到多尺度融合特征图；
16、利用关键点头部用于根据多尺度融合特征图生成置信图，并利用偏移头部用于根据多尺度融合特征图生成偏移图；
17、利用后处理模块根据置信图和偏移图构建车道线，得到预测车道线。
18、优选地，利用后处理模块根据置信图和偏移图构建车道线，得到预测车道线，具体包括：
19、在关键点置信度图上应用一个1×3的最大池化层，以选择水平局部区域内的最大响应点作为有效关键点；
20、将置信图中的所有有效关键点分组，得到各个车道的有效关键点；
21、确定各个车道的各个有效关键点在偏移图上的偏移量，并选择偏移图上的偏移量小于1的有效关键点作为各个车道的预估起始点；
22、根据偏移图确定每个车道的其余有效关键点与对应的预估起始点之间的偏移量；
23、根据偏移图中每个车道的其余有效关键点与对应的预估起始点之间的偏移量确定置信图中每个车道中的其余有效关键点对应的预估起始点的坐标；
24、根据置信图中各个车道的各个车道中的绝对起始点和其余有效关键点对应的预估起始点将各个车道的其余有效关键点关联到相应的绝对起始点；
25、根据各个车道关联到其绝对起始点的有效关键点进行车道线构建，得到预测车道线。
26、优选地，根据置信图中各个车道中的绝对起始点和其余有效关键点对应的预估起始点将各个车道的其余有效关键点关联到相应的绝对起始点，具体包括：
27、当某一车道中某一预估起始点和该车道的绝对起始点之间的距离小于预定阈值时，将该预估起始点对应的有效关键点与该车道的绝对起始点进行关联。
28、优选地，选择偏移图上的偏移量小于1的有效关键点作为各个车道的预估起本文档来自技高网...
【技术保护点】
1.一种基于关键点的全局关联车道线检测方法，其特征在于，包括：
2.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，特征金字塔网络的输出段与关键点头部的输入端之间还连接有残差特征聚合模块RFA。
3.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，预处理包括数据增强、色彩调整、归一化和边界补零处理；其中，数据增强包括随机翻转、旋转、裁剪，扭曲和缩放操作；其中，色彩调整包括色调和饱和度。
4.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，数据预处理模块的输出端与特征提取模块的输入端之间还连接有Focus模块，Focus模块用于对输入的图像进行切片处理。
5.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，利用基于关键点的全局关联车道线检测模型对待测车道线进行检测，得到预测车道线，具体包括：
6.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，关键点头部还包括车道感知特征聚合器子模块，车道感知特征聚合器子模块用于自适应地收集
7.根据权利要求6所述的基于关键点的全局关联车道线检测方法，其特征在于，在训练过程中，对基于关键点的全局关联车道线检测模型采用总损失函数，通过迭代训练优化基于关键点的全局关联车道线检测模型的参数，使总损失函数达到最小值；
8.一种基于关键点的全局关联车道线检测系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～7中任意一项所述的基于关键点的全局关联车道线检测方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～7中任意一项所述的基于关键点的全局关联车道线检测方法。
...【技术特征摘要】
1.一种基于关键点的全局关联车道线检测方法，其特征在于，包括：
2.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，特征金字塔网络的输出段与关键点头部的输入端之间还连接有残差特征聚合模块rfa。
3.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，预处理包括数据增强、色彩调整、归一化和边界补零处理；其中，数据增强包括随机翻转、旋转、裁剪，扭曲和缩放操作；其中，色彩调整包括色调和饱和度。
4.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，数据预处理模块的输出端与特征提取模块的输入端之间还连接有focus模块，focus模块用于对输入的图像进行切片处理。
5.根据权利要求1所述的基于关键点的全局关联车道线检测方法，其特征在于，利用基于关键点的全局关联车道线检测模型对待测车道线进行检测，得到预测车道线，具体包括：
6.根据权利要求1所述的基于关...
【专利技术属性】
技术研发人员：王海，张桂荣，蔡英凤，吴逸飞，陈龙，李祎承，刘擎超，刘宸宇，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。