一种交通场景嵌入式多类目标端对端统一检测方法技术

本发明专利技术提供了一种交通场景嵌入式多类目标端对端统一检测方法，构建交通场景多类目标端对端统一检测的卷积神经网络模型，包括基础网络模块、交通目标检测网络模块、车道线分割网络模块和车道线可微分的加权最小二乘拟合模块，基础网络模块使用深度可分离卷积提高模型实时性；交通目标检测网络模块利用多尺度特征图对交通目标进行检测；车道线分割网络模块根据不同像素点段标注文件以及上采样过滤器对通道叠加色彩阈值，实现对不同线型、颜色车道线的检测；车道线可微分的加权最小二乘拟合模块取消常规车道线检测两步操作，预测车道线曲线直接输出。本发明专利技术训练卷积神经网络模型时使用半监督学习，增强对交通场景的适应性，提高检测实时性和便捷性。

An end-to-end unified detection method for embedded multi class targets in traffic scenes

【技术实现步骤摘要】
一种交通场景嵌入式多类目标端对端统一检测方法
本专利技术涉及无人驾驶的
，更具体地，涉及一种交通场景嵌入式多类目标端对端统一检测方法。
技术介绍
近些年，随着无人驾驶技术的兴起，交通场景检测技术越来越流行。交通场景检测需要达到快速、稳定、准确的要求，一般包括交通目标检测以及路面标识检测，路面标识检测常见为车道线检测。传统的交通目标检测是在图像预处理后，使用滑动窗口对整幅图像进行遍历，判断目标可能出现的位置，接着人工选取某个特征，如方向梯度直方图特征(HistogramofOrientedGradient，HOG)、加速稳健特征(SpeededUPRobustFeatures，SURF)等，通过这些特征对目标进行识别。由于目标的形态、光照、背景等多样性，基于传统图像特征的交通目标检测鲁棒性较差。随着深度学习的爆发式发展，特别是卷积神经网络(CNN)在计算机视觉领域取得了巨大的成功，交通场景检测技术也得到了大幅度的提升。相比于传统图像特征提取，神经网络引入了更多的非线性激活函数，可以学习到更多具有表达性的特征，泛化性更好、鲁棒性更高。目前，交通场景检测大部分都是将交通目标和路面标识检测(车道线检测)分开进行研究。交通目标检测是对交通场景多类目标框的检测，关键在于预测框与真实框的匹配；车道线检测是对像素点的检测，关键在于车道线像素点提取和拟合。由于两种检测方法差异较大，很少实现交通目标和车道线的同时检测，这不仅会增加硬件需求，也会增加检测时长，且两种检测方法的检测结果后期处理难度大。<br>
技术实现思路
本专利技术为解决上述现有技术中交通目标和车道线同时检测存在的问题，提出了一种交通场景嵌入式多类目标端对端统一检测方法，能有效处理检测结果，提高整体检测的实时性和便捷性，减少资源消耗。本专利技术是采用技术方案实现上述技术目的的：一种交通场景嵌入式多类目标端对端统一检测方法，收集交通场景数据集，对交通目标和车道线进行标注；设计交通场景多类目标端对端统一检测的卷积神经网络模型，训练所述卷积神经网络模型，进行交通场景实车嵌入式端对端检测，输出预测的交通目标和车道线。进一步，所述交通场景多类目标端对端统一检测的卷积神经网络模型包括基础网络模块、交通目标检测网络模块、车道线分割网络模块以及车道线可微分的加权最小二乘拟合模块。更进一步，所述基础网络模块用于提取图片特征。更进一步，所述交通目标检测网络模块利用多尺度特征图对交通目标进行检测，交通目标检测网络模块的26×26特征图与基础网络模块的13×13特征图上采样进行特征融合，交通目标检测网络模块的52×52特征图与基础网络模块的26×26特征图上采样进行特征融合。进一步，所述车道线分割网络模块采用编码器-解码器结构。更进一步，所述车道线分割网络模块对不同线型、不同颜色的车道线进行检测，不同线型车道线的检测过程为：由maskAnn不同像素点标注文件预测可能出现的虚实线像素点段，并用不同颜色框对预测虚实线像素点段进行标记；不同颜色车道线的检测过程为：根据上采样过滤器对不同通道叠加色彩阈值，预测可能出现的黄白线像素点，并用不同形状框对预测黄白线像素点进行标记。进一步，所述车道线可微分的加权最小二乘拟合模块将maskAnn的实际车道线曲线标注作为基准，预测曲线与实际车道线曲线之间的面积作为整体损失函数中的车道线拟合损失函数，训练ResNet神经网络，拟合出虚实线曲线和黄白线曲线。更进一步，所述整体损失函数为：LlossLcoordinatefLconfiaece+Lclass+Lmask+Lfit，其中Lcoordinate为交通目标的坐标损失函数，Lconfidece为交通目标的置信度损失函数，Lclass为交通目标的类别损失函数Lmask,Lmask为车道线掩膜损失函数，Lfit为车道线拟合损失函数。更进一步，所述交通场景实车嵌入式端对端检测具体为：训练好的卷积神经网络模型输入道路视频帧，输出交通目标预测边界框、类别概率以及车道线预测曲线。更进一步，所述卷积神经网络模型的训练过程为：利用整体损失函数对卷积神经网络进行训练，使用半监督对卷积神经网络进行再训练。与现有技术相比，本专利技术的有益技术效果在于：本专利技术基于卷积神经网络模型，实现对交通目标和车道线同时检测和输出，卷积神经网络模型包括基础网络模块、交通目标检测网络模块、车道线分割网络模块以及车道线可微分的加权最小二乘拟合模块，基础网络模块使用轻量化网络的深度可分离卷积降低模型运算量，提高模型实时性；车道线分割网络模块使用编码器-解码器结构，根据不同像素点段(长段为实线、短段为虚线)标注文件以及上采样过滤器对不同通道叠加色彩阈值，实现对不同线型不同颜色车道线的检测；车道线可微分的加权最小二乘拟合模块使用神经网络对虚实线、黄白线的曲线拟合参数进行预测，取消常规车道线检测两步操作，真正实现车道线端对端检测。卷积神经网络模型，训练时使用半监督学习，提高模型整体的泛化能力，增强模型对交通场景适应性。本专利技术可提高交通场景检测实时性和便捷性。附图说明图1为本专利技术一种交通场景嵌入式多类目标端对端统一检测方法实施例流程图；图2为卷积神经网络模型结构示意图；图3为深度可分离卷积结构示意图；图4为ResNet神经网络结构示意图；图5为本专利技术实车采集的道路图；图6为本专利技术检测结果可视化图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只作为示例，而不能以此来限制本专利技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。实例流程参照图1，一种交通场景嵌入式多类目标端对端统一检测方法，具体步骤如下：步骤(1)，收集交通场景数据集(包含大量交通场景图片)，并利用标注工具对其中的交通目标和车道线进行标注，获取交通目标标注框(包括标注框左上角的点以及标注框的长、高)和车道线像素点，并将其整理成VOC数据集格式。具体的，交通目标包括车、交通标志、行人等数据，车道线为不同类型的车道线，如虚实线、黄白线等数据，另外还可以利用tusimple数据集对车道线数据量进行扩充。VOC数据集格式包含4个子文件夹，分别为JPEGImages文件、Annotations文件、ImageSets文件、maskAnn文件。JPEGImages存放交通场景图片，Annotations存放交通目标标注框(xml类型标注文件)，ImageSets文件存放txt格式的文本，txt文本每一行对应一个交通场景图片的名称，根据txt文本来读取图片名称，再到JPEGImages和Annotations文件中寻找对应的图片和标注。本实施例在VOC数据集格式中添加车道线分割标注文件maskAnn，用于存取车道线像素点标注文件以及实际车道线曲线(groundtru本文档来自技高网...

【技术保护点】
1.一种交通场景嵌入式多类目标端对端统一检测方法，其特征在于，收集交通场景数据集，对交通目标和车道线进行标注；设计交通场景多类目标端对端统一检测的卷积神经网络模型，训练所述卷积神经网络模型，进行交通场景实车嵌入式端对端检测，输出预测的交通目标和车道线。/n

【技术特征摘要】
1.一种交通场景嵌入式多类目标端对端统一检测方法，其特征在于，收集交通场景数据集，对交通目标和车道线进行标注；设计交通场景多类目标端对端统一检测的卷积神经网络模型，训练所述卷积神经网络模型，进行交通场景实车嵌入式端对端检测，输出预测的交通目标和车道线。


2.根据权利要求1所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述交通场景多类目标端对端统一检测的卷积神经网络模型包括基础网络模块、交通目标检测网络模块、车道线分割网络模块以及车道线可微分的加权最小二乘拟合模块。


3.根据权利要求2所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述基础网络模块用于提取图片特征。


4.根据权利要求3所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述交通目标检测网络模块利用多尺度特征图对交通目标进行检测，交通目标检测网络模块的26×26特征图与基础网络模块的13×13特征图上采样进行特征融合，交通目标检测网络模块的52×52特征图与基础网络模块的26×26特征图上采样进行特征融合。


5.根据权利要求2所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述车道线分割网络模块采用编码器-解码器结构。


6.根据权利要求5所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述车道线分割网络模块对不同线型、不同颜色的车道线进行检测，不同线型车道线的检测过程为：由maskAnn不同像素点标注文件预测可能出现的虚实线像素...

【专利技术属性】
技术研发人员：刘军，陈岚磊，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32