一种港口码头辅助障碍物过滤的快速车道线检测方法技术

本发明专利技术公开了一种港口码头辅助障碍物过滤的快速车道线检测方法，包括：步骤1，安装摄像头，采集数据微调预训练模型用于障碍物检测，实时读取图片并检测画面中的障碍物；步骤2，根据HSV颜色空间信息，设置色域提取范围，并行地从实时图像中提取出车道线信息然后进行降噪处理；步骤3，对提取出的车道线信息进行滤波、边缘检测、直线检测，得到候选直线列表；步骤4，过滤候选直线中的相似直线，设置规则进行筛选，直至找到左右两条内侧车道线；步骤5，确定左右车道线后进行延长，得到需要预警的危险区范围，结合障碍物检测得到的目标信息，落在该危险区内的给出预警信号。本发明专利技术在障碍物检测结果的基础上可以完成障碍物检测结果的过滤及预警。滤及预警。滤及预警。

【技术实现步骤摘要】
一种港口码头辅助障碍物过滤的快速车道线检测方法


[0001]本专利技术涉及车道线检测方法，特别是一种港口码头辅助障碍物过滤的快速车道线检测方法。

技术介绍

[0002]港口码头货运主要工作任务是进行集装箱的堆码和运输，而具体实施方式需要工作人员驾驶相关运输车辆来完成各项任务，这些器械仅用于港口码头等类似场景，设计重心在于货物的堆码和运输，相比之下其驾驶系统的设计比较简单，仅需满足在港口码头此类场地上按照地面标定的固定宽度的黄色专用行驶车道线上行驶即可，而工作人员驾驶运输器械需要避开行驶方向前方的障碍物，场景内其余不影响运输器械行驶的障碍物则不需要考虑。为了适配于集装箱的大小及港口码头作业环境，一般运输车辆的司机室位置都比较高，照明设备也较为简单，光线条件不佳且存在视野盲区，因此司机在完成作业任务时难以兼顾运输车辆的运行方向是否偏离标准车道线位置以及判断障碍物是否位于行驶方向正前方并避障。当运输器械负重行驶时，如果前方有行人或者障碍物但没能及时减速停车，就很有可能造成货损或者人员伤亡。而出现在摄像头视野中但并未影响运输器械行驶的障碍物如果不加以筛选，则会导致运输器械无故停车，影响工作效率。因此，需要通过辅助手段，及时判断运输器械是否偏离预定行驶路线以及行驶方向上是否存在障碍物遮挡，从而提前预警，工作人员在系统预警下做出是否需要减速或停车的操控判断。
[0003]目前常见的车道线检测的方法主要可以分为两大类：基于传统视觉算法的方法、基于深度学习模型的方法。基于传统视觉的方法计算速度较快，通常以线性或者曲线为基准模板对视觉图像进行分析，但由于实际汽车行驶的路面环境较复杂，该类方法需要考虑众多环境因素且准确度不高。基于深度学习模型的方法需要针对车道线检测这一任务构建网络模型，使用卷积神经网络的方法训练预先标记好的样本集以获取网络参数，计算成本高且算法运行速度慢。现有车道线检测技术处理的车道线环境过于复杂，需要充分考虑地面标识、人行道、弯道、交叉路口等复杂的路面情况，为了保证车道线检测的鲁棒性强，在准确率上就会有一定损失。

技术实现思路

[0004]专利技术目的：港口码头等工业场景有着车道线标志单一、干扰元素少的特点，且该场景下较复杂和耗时的任务是障碍物识别，因此需要一种计算速度快、准确率高的车道线检测方法，用于后续障碍物的筛选和过滤，该方法的时间成本和计算成本应尽可能低。以检测出的车道线为基准，结合目标检测得到的画面障碍物信息，判断画面中哪些障碍物位于车道线内侧，即预警区域内，落在该区域内侧的障碍物则系统给出预警信号。
[0005]为了解决上述问题，本专利技术公开了一种港口码头辅助障碍物过滤的快速车道线检测方法，该方法适用于码头港口等车道线信息简单的工业场景，耗时短准确率高，可以用作障碍物检测后的区域过滤，辅助筛选视野中需要给出预警的障碍物。包括如下步骤：
[0006]步骤1，安装单目摄像头并收集实际场景下的RGB图像数据构成数据集，基于该数据集对目标检测模型centerNet进行调整训练，将实时读取的RGB图像送入调整后的模型进行检测，得到每帧图像中的障碍物列表O1；
[0007]步骤2，设定感兴趣区域ROI为图像下1/2区域，根据所述感兴趣区域ROI对读取的RGB图像进行拷贝裁剪；
[0008]步骤3，将步骤2中裁剪后的图像进行色度转换，从RGB图像转为HSV图像；根据实际场景的黄色车道线设定色域范围，记上限为upper，下限为lower，根据此色域范围从HSV图像中提取出车道线信息，结果为二值图；
[0009]步骤4，对步骤3得到的二值图进行两次形态学变化，分别对白色区域和黑色区域进行降噪以及修复误差；
[0010]步骤5，对步骤4处理后的图像分别进行高斯模糊、边缘检测以及直线检测，得到图像中与车道线相关的一组直线列表L1；
[0011]步骤6，遍历步骤5得到的直线列表L1，过滤近似直线，并选出斜率最大和最小的两条直线作为左右两条内侧车道线的候选直线，分别记为l
max
、l
min
；
[0012]步骤7，根据摄像头与车道线的相对位置及视觉原理，判断左右两侧候选车道线l
max
、l
min
是否需要替换，假设l
max
需要被替换，则将该直线从列表L1中删除并选出新的l
max
，重复此操作直至左右两侧候选车道线l
max
、l
min
均满足预设条件；
[0013]步骤8，延长内侧左右两侧车道线l
max
、l
min
得到一个近似三角区A1，在该区域内的障碍物则认为是遮挡运输车行进的障碍物，判断障碍物列表O1中障碍物是否落在该近似三角区A1内侧，即车道线以内，若是，则进行预警，否则不预警；
[0014]步骤9，摄像头安装完成后角度固定，根据安装角度标定车道线在摄像头画面中左右车道线的标准位置l
left
、l
right
，据此可以计算l
left
、l
right
的车道线对称轴l
symmetry
，若实时检测中只得到内侧左右两侧车道线l
max
、l
min
的其中一个，则以对称轴l
symmetry
为参考，补全另一个。
[0015]步骤1中，每个运输车仅需安装一个摄像头，避免了激光设备高昂的成本和双目摄像头复杂的标定程序，部署设备后采集实际场景下的图像数据，采集的数据需要覆盖有障碍物和无障碍物的情况；结合迁移学习，将采集到的数据集进行标注并用于训练目标检测模型CenterNet官方提供的以101个隐藏层的残差网络ResNet
‑
101为模型核心backbone的预训练模型，模型在进行快速的调整后更适配于真实使用环境，即可用于后续障碍物的检测；参考文献：Zhou，Xingyi，Dequan Wang and Philipp“Objects as Points.”ArXiv abs/1904.07850(2019)：n.pag.。
[0016]步骤2中，实时读取RGB图像进行车道线检测(步骤2
‑
步骤9)与步骤1所述的障碍物检测可以并行，进一步缩短整个系统的运算时间。根据摄像头的安装位置及拍摄角度，实际场景采集的图像中，车道线信息集中位于图像下1/3区域，为了增加容错率，将感兴趣区域ROI窗口设置为1/2图像大小。最终采用的感兴趣区域ROI窗口左上角顶点为右下角顶点为[cols，rows]，其中rows为图像纵向宽度，cols为横向长度，单位均为像素pixel，顶点坐标遵循图像坐标系，即感兴趣区域ROI窗口为
[0017]步骤3中，将读取的RGB图像进行色度空间转换，从RGB图像转为HSV图像，HSV的三个分量分别包含了色调、饱和度、明度三个层面的信息。再设置目标色域范围，本方法中设置的目标颜色即为标示车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种港口码头辅助障碍物过滤的快速车道线检测方法，其特征在于，包括如下步骤：步骤1，安装单目摄像头并收集实际场景下的RGB图像数据构成数据集，基于该数据集对目标检测模型centerNet进行调整训练，将实时读取的RGB图像送入调整后的模型进行检测，得到每帧图像中的障碍物列表O1；步骤2，设定感兴趣区域ROI为图像下1/2区域，根据所述感兴趣区域ROI对读取的RGB图像进行拷贝裁剪；步骤3，将步骤2中裁剪后的图像进行色度转换，从RGB图像转为HSV图像；根据实际场景的黄色车道线设定色域范围，记上限为upper，下限为lower，根据此色域范围从HSV图像中提取出车道线信息，结果为二值图；步骤4，对步骤3得到的二值图进行两次形态学变化，分别对白色区域和黑色区域进行降噪以及修复误差；步骤5，对步骤4处理后的图像分别进行高斯模糊、边缘检测以及直线检测，得到图像中与车道线相关的一组直线列表L1；步骤6，遍历步骤5得到的直线列表L1，过滤近似直线，并选出斜率最大和最小的两条直线作为左右两条内侧车道线的候选直线，分别记为l
max
、l
min
；步骤7，根据摄像头与车道线的相对位置及视觉原理，判断候选直线l
max
、l
min
是否需要替换，假设候选直线l
max
需要替换，则将该直线从直线列表L1中删除并选出新的候选直线l
max
，重复本步骤直至候选直线l
max
、l
min
均满足预设条件由此确定最终的左右两侧车道线l
max
、l
min
；步骤8，延长左右两侧车道线l
max
、l
min
得到一个近似三角区A1，在该区域内的障碍物则认为是遮挡运输车行进的障碍物，判断障碍物列表O1中障碍物是否落在该近似三角区A1内侧，即车道线以内，若是，则进行预警，否则不预警；步骤9，摄像头安装完成后角度固定，根据安装角度标定车道线在摄像头画面中左右车道线的标准位置l
left
、l
right
，据此可以计算l
left
、l
right
的车道线对称轴l
symmetry
；若实时检测中只得到l
max
、l
min
的其中一个，则以对称轴l
symmetry
为参考，补全另一个。2.根据权利要求1所述的方法，其特征在于，步骤1中：每个运输车仅安装一个摄像头，部署后采集实际场景下的图像数据，采集的数据需要覆盖有障碍物和无障碍物的情况；结合迁移学习，将采集到的数据集进行标注并用于训练目标检测模型CenterNet提供的以101个隐藏层的残差网络ResNet
‑
101为模型核心backbone的预训练模型。3.根据权利要求1所述的方法，其特征在于，步骤2中：将感兴趣区域ROI窗口设置为图像下1/2区域，采用的感兴趣区域ROI窗口左上角顶点为右下角顶点为[cols,rows]，其中rows为图像纵向宽度，cols为横向长度，单位均为像素pixel，顶点坐标遵循图像坐标系。4.根据权利要求1所述的方法，其特征在于，步骤3中：HSV的三个分量分别包含了色调、饱和度、明度三个层面的信息，再设置目标色域范围，目标颜色即为标示车道线的黄色；根据设定的色域范围使用opencv软件库中的inRange函数对HSV图像进行车道线提取，
落在范围内的判定是所需车道线信息，覆盖为白色，未落在范围内的覆盖为黑色，得到一张8位单通道的二值图。5.根据权利要求1所述的方法，其特征在于，步骤4中：步骤4
‑
1，对含有车道线信息的二值图先做图像腐蚀，再做图像膨胀，操作单元大小为2
×
2像素大小，用于去除车道线区域所含噪声；步骤4
‑

【专利技术属性】
技术研发人员：申富饶，管俣祺，李金桥，金宇航，赵健，
申请(专利权)人：南京大学，
类型：发明
国别省市：