【技术实现步骤摘要】
本专利技术属于但不限于智能驾驶，尤其涉及一种城市结构化道路实时检测的方法及系统。
技术介绍
1、实时检测前方道路是无人驾驶汽车必备的功能之一，如果对于城市结构化道路的感知需要依赖高精地图，则会大大增加企业研发的成本。只依靠摄像头或雷达的单传感器难以完成城市道路的实时检测任务，利用高精地图又会导致开发成本高的问题，多传感器融合会面临数据融合困难，泛化能力低等难题。基于点云鸟瞰图提取特征信息效果较好，但是会面临难以兼顾算法效率和准确度的问题。
2、将三维点云构建成鸟瞰图输入二维目标检测网络。liang m等构建的深度融合网络分别对图像和点云进行特征提取，建立激光雷达点云源数据投影关系，提取融合特征，但计算效率较低。beltran j等构建的birdnet网络将三维点云信息处理成鸟瞰图，将其输入快速区域卷积神经网络(fast regionconvolutionalneural network，fast r-cnn)中完成检测任务，但是依然存在推理速度较低的问题。mohapatra s等提出的bev-detnet网络利用关键点检测目标中心，在较为简单的鸟瞰图上进行检测，每帧检测时间为60ms，检测速度依然较慢。wang b]等构建的fs23d网络针对鸟瞰图投影后的稀疏特征信息采用网格前景分割，检测速度达到了达55.1帧/s，但是其算法精度较低。
3、鉴于上述分析，现有技术存在的急需解决的技术问题为：只依靠摄像头或雷达的单传感器难以完成城市结构化道路的实时检测任务，利用高精地图又会导致开发成本高的问题，多传感器融合
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种城市结构化道路实时检测的方法及系统，城市道路实时检测算法用以实时感知和检测前方道路区域。
2、本专利技术是这样实现的，一种城市结构化道路实时检测方法，包括：
3、s1，通过实车采集城市道路的激光雷达点云数据，将其扁平化为2d鸟瞰图(bird's-eye-view,bev)；
4、s2，将bev数据中的城市道路进行标注并生成数据集；
5、s3，在深度双分辨率网络ddrnet中进行模型训练并实时生成城市结构化道路区域的预测图片。
6、进一步，s1具体包括：
7、点云数据采集：使用配有禾赛pandar64激光雷达旋转扫描仪的采集车，在城区道路与高速公路采集激光雷达点云数据；
8、点云数据扁平化处理：点云数据扁平化处理是指对三维点云进行降维操作，使无序不规则的点云数据映射到二维bev图片上，从而突出数据的语义信息；点云扁平化设计原理为：保留点云坐标的x，y，z信息，去除点云反射强度i，判断点云的每个点是否在感兴趣区域内；对点云数据进行图像坐标转换，填充像素值并进行二值化处理，最终生成8位灰度bev图像。
9、点云数据坐标转换：因为最终的输出数据为bev图像，且图像坐标系和点云坐标系具有本质不同，因此将点云数据进行图像坐标转换；
10、像素值填充和二值化处理：将筛选出在点云感兴趣区域内的点进行像素值填充和二值化处理，将点的位置映射到像素位置，在感兴趣区域内但没有点云的区域其像素值设为0，将有点云的区域像素值设为255；
11、生成bev图像：为了保留更多的图像语义细节，提高模型的识别精度，本研究将每个像素宽度设为0.075米；将点云感兴趣区域映射为bev图像，即可得到分辨率为1280*640的8位灰度图。
12、进一步，s2具体包括：
13、bev数据标注具体包括：采用人工手动标注的方式生成bev视角的城市道路数据集，选用labelme对bev数据进行标注，对bev数据中的城市结构化道路进行标注并生成bev数据集。
14、进一步，ddrnet-23-slim算法具体包括：
15、ddrnet-23-slim是双路径结构，主干网络采用残差块连接，ddrnet-23-slim整体网络结构由两条不同分辨率的平行分支提取特征，两条分支在不同阶段进行多次空间及语义信息融合获得不同分辨率的两部分特征图，融合得到含有丰富语义信息的输出特征图；除了低分辨率分支获取语义信息外，另一条高分辨率的浅层路径作为补充提供了丰富的空间细节；
16、为了在分辨率和推理速度之间取得平衡，让高分辨率分支创建输入图像分辨率1/8的特征映射，并将其附加到conv3阶段的末尾；高分辨率分支不包含任何下采样操作，并且与低分辨率分支有一对一的对应关系，以形成深度高分辨率表示；然后在不同阶段进行多个双边特征融合，以充分融合空间信息和语义信息；双边融合包括将高分辨率分支融合到低分辨率分支(高到低融合)和将低分辨率分支融合到高分辨率分支(低到高融合)。对于从高到低的融合，在逐点求和之前，通过3×3卷积序列(步长为2)对高分辨率特征图进行降采样；对于低分辨率到高分辨率，低分辨率特征地图首先通过1×1卷积进行压缩，然后通过双线性插值进行上采样；
17、dappm模块是用来进一步从低分辨率特征图中提取上下文信息，以1/64图像分辨率的特征映射为输入，采用指数步长大池化核，生成1/128、1/256、1/512图像分辨率的特征映射，利用全局平均池化生成输入特征图和图像级信息，并对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息；最后，使用1×1卷积对所有特征映射进行连接和压缩。虽然dappm包含更多卷积层和更复杂的融合策略，但由于输入分辨率仅为图像分辨率的1/64，因此几乎不影响推理速度。
18、本专利技术的另一目的在于提供一种实现所述城市结构化道路实时检测方法的系统，包括：
19、点云数据采集模块，通过实车采集城市道路的激光雷达点云数据，将其扁平化为2d鸟瞰图；
20、数据集生成模块，用于将bev数据中的城市结构化道路进行标注并生成数据集；
21、预测图片生成模块，在深度双分辨率网络ddrnet中进行模型训练并实时生成城市结构化道路的预测图片。
22、本专利技术的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的城市结构化道路实时检测方法的步骤。
23、本专利技术的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的城市结构化道路实时检测方法的步骤。
24、本专利技术的另一目的在于提供一种信息数据处理终端，信息数据处理终端包括所述的城市结构化道路实时检测系统。
25、结合上述的技术方案和解决的技术问题，本专利技术所要保护的技术方案所具备的优点及积极效果为：
26、第一、实验结果表明，本专利技术提出的城市结构化道路检测模型的算法精度达到了95.2％，本文档来自技高网...
【技术保护点】
1.一种城市结构化道路实时检测方法，其特征在于，包括：
2.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，S1具体包括：
3.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，S2具体包括：
4.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，BEV数据标注具体包括：采用人工手动标注的方式生成BEV视角的城市道路数据集，选用labelme对BEV数据进行标注，对BEV数据中的城市结构化道路进行标注，对城市结构化道路的定义为：采集车当前可达到的所有道路区域，不考虑区域内其它车辆和行人障碍物的影响。
5.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，
6.如权利要求5所述的城市结构化道路实时检测方法，其特征在于，DDRNet-23-slim算法通过多个双边特征融合操作，实现高分辨率和低分辨率分支之间的信息交互；
7.一种实现如权利要求1～6任意一项所述城市结构化道路实时检测方法的城市结构化道路实时检测系统，其特征在于，包括：
8.一种计算机设备，计算机设备包括
9.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的城市结构化道路实时检测方法的步骤。
10.一种信息数据处理终端，信息数据处理终端包括如权利要求7所述的城市结构化道路实时检测系统。
...【技术特征摘要】
1.一种城市结构化道路实时检测方法，其特征在于，包括：
2.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，s1具体包括：
3.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，s2具体包括：
4.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，bev数据标注具体包括：采用人工手动标注的方式生成bev视角的城市道路数据集，选用labelme对bev数据进行标注，对bev数据中的城市结构化道路进行标注，对城市结构化道路的定义为：采集车当前可达到的所有道路区域，不考虑区域内其它车辆和行人障碍物的影响。
5.如权利要求1所述的城市结构化道路实时检测方法，其特征在于，
6.如权利要求5所述的城市结构化道路实时检测方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。