【技术实现步骤摘要】
本专利技术属于自动驾驶，具体涉及一种基于光流运动预测的实时车道线检测方法。
技术介绍
1、车道线检测是自动驾驶和先进驾驶辅助系统(adas)中的关键组成部分，其目的是识别和追踪车辆前方道路上的车道线位置，以便车辆能够保持在车道内安全行驶。传统的车道线检测方法有边缘检测、霍夫变换、机器学习、深度学习等。
2、边缘检测的方法是通过canny、sobel、roberts等检测算法提取图像中的边缘信息，然后寻找符合车道线特征的直线或曲线。霍夫变换则是在提取出的边缘信息基础上，使用霍夫直线检测算法寻找直线上聚集的点，从而推测出车道线的位置。而机器学习的方法进行车道线检测，一般采用hog方向梯度直方图特征结合支持向量机svm进行分类，判断哪些区域可能包含车道线。上述方法虽然在常规的较理想环境中能够实现车道线的识别，但在复杂多变的道路环境及复杂光照条件下，其准确性和稳定性往往并不理想。此外，现有技术中，基于深度学习的车道线检测模型如：lstr、clrnet等，也能够实现对于当前输入图像的车道线检测，然而在实际应用过程中，上述模型会忽略考虑摄像头拍摄视频的连续性的影响，上述模型对于复杂环境下的车道线变化、弯曲和遮挡等的检测效果也并不尽如人意。
技术实现思路
1、为了解决上述问题，本专利技术提供一种基于光流运动预测的实时车道线检测方法，通过对多层级特征图的分析和处理，使其能够在复杂多变环境下进行准确高效的车道线实时检测。
2、本专利技术实施例提供了一种基于光流运动预测的实时车
3、获取当前帧原始图像，并基于深度残差网络构建车道线检测网络；
4、通过所述车道线检测网络提取所述当前帧原始图像的特征图，得到具有局部信息的多层级特征图；
5、对所述多层级特征图进行特征聚合，得到当前帧的聚合特征图；
6、根据所述当前帧的聚合特征图，使用光流运动预测算法计算相邻图像帧之间的光流场，得到特征细化的当前帧特征图；
7、根据所述特征细化后的当前帧特征图，使用混合锚点对车道线进行识别检测，输出车道预选框分类结果。
8、在一些可能的实施方式中，所述车道线检测网络采用预训练的resnet18网络。
9、在一些可能的实施方式中，所述对所述多层级特征图进行特征聚合，得到当前帧的聚合特征图，包括以下步骤：
10、对所述多层级特征图中的残差连接网络输出特征图依次采用预设卷积核进行特征压缩；
11、对特征压缩后的特征图进行上采样，获得分辨率相同的特征图；
12、在所述分辨率相同的特征图的特征聚合处引入cbam注意力机制，学习通道间的依赖关系并突出关键的空间位置；
13、对经过注意力机制后的特征图进行卷积操作；
14、对卷积操作后的特征图进行批量归一化和relu激活，学习多特征图特征的更复杂的空间表示。
15、在一些可能的实施方式中，所述对经过注意力机制后的特征图进行卷积操作，所述卷积操作的卷积核大小为3×3，填充为1，扩张为1。
16、在一些可能的实施方式中，所述根据所述当前帧的聚合特征图，使用光流运动预测算法计算相邻图像帧之间的光流场，得到特征细化的当前帧特征图，包括以下步骤：
17、获取上一帧特征图xt-1，构造成本体积并计算局部相关性；
18、连接所述成本体积与所述当前帧的聚合特征图，应用卷积和下采样操作获得下采样运动场fdown；
19、将所述上一帧特征图xt-1和上一帧分类结果lt-1扭曲到当前帧，获得扭曲的上一帧特征图与扭曲的车道掩码
20、根据所述扭曲的车道掩码计算得到特征引导图gt-1；
21、通过聚合所述特征引导图gt-1、扭曲的上一帧特征图和当前帧的聚合特征图进行特征细化，得到特征细化后的当前帧特征图xt。
22、在一些可能的实施方式中，所述构造成本体积并计算局部相关性，计算过程如下：
23、
24、
25、d＝2s+1，
26、|d|＝d2，
27、其中，为前后帧图像的匹配成本，vx为成本体积，x表示当前搜索窗口中心的位置，d为搜索窗口d＝[-s,s]×[-s,s]内的位移向量，s为搜索窗口的半径，softmax()为激活函数，|d|为x位置对应的相关性。
28、在一些可能的实施方式中，所述将所述上一帧特征图xt-1和上一帧分类结果lt-1扭曲到当前帧，获得扭曲的上一帧特征图与扭曲的车道掩码计算过程如下：
29、
30、
31、其中，f为将所述下采样运动场fdown进行双线性内插后获得的上采样运动场，为后向扭曲算子，xt-1为上一帧特征图，为扭曲的上一帧特征图，为扭曲的车道掩码。
32、在一些可能的实施方式中，所述根据所述扭曲的车道掩码计算得到特征引导图gt-1，计算过程如下：
33、
34、其中g为将通道维度增加到k的二维卷积层，k为预设通道维数。
35、在一些可能的实施方式中，所述通过聚合所述特征引导图gt-1、扭曲的上一帧特征图和当前帧的聚合特征图进行特征细化，得到特征细化后的当前帧特征图xt-1，计算过程如下：
36、
37、其中[·]表示通道级联，h为将通道维度下降至k的二维卷积层，k为预设通道维数。
38、在一些可能的实施方式中，所述根据所述特征细化后的当前帧特征图，使用混合锚点对车道线进行识别检测，输出车道预选框分类结果，包括以下步骤：
39、将所述细化后的当前帧特征图xt展开为一维长向量并输入全连接层，所述全连接层输出维度与预设锚点数量相同，且使用行锚表示主车道线的位置，使用列锚表示侧车道线的位置；
40、通过全连接层计算并记录特征图倒映射原始图像中车道与每个预设锚点之间的交点与输出概率，如果车道与锚点之间没有交点，则将锚点坐标设置为-1；
41、输出存在车道线概率最大的所述交点坐标，使所有输出的交点构成车道预选框分类结果lt。
42、本专利技术的有益效果是：
43、1、本专利技术提出了独特的对多层级特征图的分析和处理的方法，采用以下步骤：获取当前帧原始图像，并基于深度残差网络构建车道线检测网络；通过所述车道线检测网络提取所述当前帧原始图像的特征图，得到具有局部信息的多层级特征图；对所述多层级特征图进行特征聚合，得到当前帧的聚合特征图；根据所述当前帧的聚合特征图，使用光流运动预测算法计算相邻图像帧之间的光流场，得到特征细化的当前帧特征图；根据所述特征细化后的当前帧特征图，使用混合锚点对车道线进行识别检测，输出车道预选框分类结果，可以解决传统的车道线检测技术在复杂多变的环境以及复杂光照条件下检测效果不佳的技术问题。
44、2、本专利技术通过采用cbam注意力机制，在处理后的各层级特征图之间引入跳跃连接，本文档来自技高网...
【技术保护点】
1.一种基于光流运动预测的实时车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述车道线检测网络采用预训练的ResNet18网络。
3.根据权利要求1所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述对所述多层级特征图进行特征聚合，得到当前帧的聚合特征图，包括以下步骤：
4.根据权利要求3所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述对经过注意力机制后的特征图进行卷积操作，所述卷积操作的卷积核大小为3×3，填充为1，扩张为1。
5.根据权利要求1所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述根据当前帧的聚合特征图，使用光流运动预测算法计算相邻图像帧之间的光流场，得到特征细化的当前帧特征图，包括以下步骤：
6.根据权利要求4所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述构造成本体积并计算局部相关性，计算过程如下：
7.根据权利要求4所述的基于光流运动预测的实时车道线检测方法，其特征在于，将所
8.根据权利要求4所述的基于光流运动预测的实时车道线检测方法，其特征在于，根据所述扭曲的车道掩码计算得到特征引导图Gt-1，计算过程如下：
9.根据权利要求4所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述通过聚合所述特征引导图Gt-1、扭曲的上一帧特征图和当前帧的聚合特征图进行特征细化，得到特征细化后的当前帧特征图Xt-1，计算过程如下：
10.根据权利要求1所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述根据所述特征细化后的当前帧特征图，使用混合锚点对车道线进行识别检测，输出车道预选框分类结果，包括以下步骤：
...【技术特征摘要】
1.一种基于光流运动预测的实时车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述车道线检测网络采用预训练的resnet18网络。
3.根据权利要求1所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述对所述多层级特征图进行特征聚合，得到当前帧的聚合特征图，包括以下步骤：
4.根据权利要求3所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述对经过注意力机制后的特征图进行卷积操作，所述卷积操作的卷积核大小为3×3，填充为1，扩张为1。
5.根据权利要求1所述的基于光流运动预测的实时车道线检测方法，其特征在于，所述根据当前帧的聚合特征图，使用光流运动预测算法计算相邻图像帧之间的光流场，得到特征细化的当前帧特征图，包括以下步骤：
6.根据权利要求4所述的基于光流运动预测的实时车道线检测方法，其...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。