一种适用于室内停车场的语义地图构建及定位方法技术

本发明专利技术公开了一种适用于室内停车场的语义地图构建及定位方法，通过单目相机和四个环视鱼眼相机采集停车场图像数据；经图像处理技术将采集的数据投影为相机图像

【技术实现步骤摘要】
一种适用于室内停车场的语义地图构建及定位方法


[0001]本专利技术专利涉及SLAM建图的
，具体地说是一种适用于室内停车场的语义地图构建及定位方法。

技术介绍

[0002]由于室内停车场区域狭窄，视线不明，故因泊车问题导致的交通拥挤和交通事故等现象时有发生。为了更好的实现自动泊车技术，停车场SLAM建图的精度要求越来越高。传统的停车场SLAM建图经常会出现特征匹配失败，跟踪丢失等现象，使得SLAM的精度较低。此外，由于时间和空间的移动，同一区域的特征信息也会有所差别，这使得很难基于外观的地图重新定位车辆。
[0003]SLAM建图可分为视觉SLAM和激光SLAM，激光SLAM受到激光雷达成本的制约，难以实现量产；视觉SLAM由于采集的数据更加丰富，相机的成本较低，一直受到青睐，但视觉SLAM技术较为复杂，对计算机的要求更高，并且视觉SLAM的精度问题一直备受关注。

技术实现思路

[0004]为了提高室内停车场SLAM建图的精度和实时性，本专利技术提供了一种适用于室内停车场的语义地图构建及定位方法，改善了停车场SLAM建图精度较低，优化方法复杂，从而解决了无人车在室内停车场环境下行驶安全性低的问题。
[0005]本专利技术提供了一种适用于室内停车场的语义地图构建及定位方法，包括如下步骤：
[0006]S1、无人车在移动的过程中，通过车载相机采集停车场周围环境数据；
[0007]S2、对所采集的停车场周围环境数据进行图像处理，获取相机图像
‑
路面鸟瞰图；
[0008]S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图；针对所获取的鸟瞰图使用车位提取算法自动生成停车位，将停车位显示在局部语义地图上；
[0009]S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图；
[0010]S5、应用所生成全局语义地图，实现其它进入该室内停车场的车辆的定位和导航。
[0011]进一步，所述相机图像
‑
路面鸟瞰图是通过对相机进行标定获取相机的内外参，并通过IPM逆投影变换和ORB图像拼接和图像融合的方法获得。
[0012]进一步，S3中采用U
‑
net卷积神经网络模型对鸟瞰图进行语义分割，过程如下：
[0013]步骤1，对训练数据集进行剪裁和归一化等预处理操作；
[0014]步骤2，利用主干特征提取网络获取五个初步有效特征层；
[0015]步骤3，利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合，获得一个融合了所有特征的有效特征层；
[0016]步骤4，根据语义类别的个数调整最终获得的有效特征层的通道数，并通过特征预
测环节对图像中每个特征点进行分类预测，从而获得带语义信息的停车场图像。
[0017]进一步，语义类别包括停车线、停车线拐角，车道线、车标、减速带和自由空间。
[0018]进一步，S3中车位提取算法自动生成停车位的过程如下：
[0019]步骤1，将鸟瞰图由RGB图转为灰度图，并利用高斯滤波去除噪声；
[0020]步骤2，基于滤波后的图像，采用伽马变换进行图像增强，并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角；
[0021]步骤3，基于检测到的停车线标线和停车线拐角自动生成停车位。
[0022]进一步，利用高效位姿优化的方法实现回环检测和位姿图优化的融合进而生成全局语义地图，高效位姿优化方法为：
[0023]将每一帧局部语义地图存储到内存中，并输出初始位姿数据；
[0024]将每一帧局部语义地图通过滑动窗口的方法进行局部优化，并且随着窗口的移动，每移动一定的位移会产生一个关键帧，计算相邻两个关键帧之间的位姿矩阵，并将位姿矩阵作为后端位姿图优化的位姿约束条件；将关键帧输入到回环检测模块，回环检测的结果也将作为后端位姿图优化的约束条件；每完成一次位姿图优化，需检测位姿发生大变化的关键帧，并通过相对位姿矩阵更新其周围普通帧的位姿矩阵。
[0025]进一步，采用基于词袋模型的回环检测，方法包括：
[0026]步骤1，通过ORB算法提取局部语义地图上的特征描述子，并根据视觉词典中单词的分布情况，将局部语义地图转为数值向量；
[0027]步骤2，根据向量相似度计算当前局部语义图像与先前采集到的各局部语义图像之间的相似度，并依据相似度结果，确定回环候选，计算公式如下，
[0028][0029]其中，v
c
为当前图像，v
r
为参考图像，s(v
c
,v
r
)为当前图像与参考图像的相似度分数，相似度分数在0到1之间，两幅图像越相似，则值越接近于1。
[0030]步骤3，基于回环候选，通过时间一致性检验和几何一致性检验确定最终的回环候选单位，并对最终的回环候选通过ICP算法进行闭合校正。
[0031]进一步，位姿图优化的过程为：以图的形式建立优化模型；图由结点和边组成，所述结点是指每一帧语义图中车辆和传感器的初始位姿矩阵，所述边是指相邻两帧之间车辆和传感器的相对位姿矩阵，根据图优化模型中边和结点的关系，列出边误差方程，并使用高斯
‑
牛顿法迭代进行优化。
[0032]进一步，在S5中，将全局语义地图上传至云服务器中，并在云服务器中进行压缩；进入该室内停车场的车辆通过其自车的相机和IMU(惯性测量单元)所采集的信息相互融合得到车辆实时的位姿，进而生成一条估计的轨迹，最后使用扩展卡尔曼滤波平滑轨迹。
[0033]本专利技术的有益效果：
[0034]针对区域狭窄、视线常被遮挡的室内停车场环境，本专利技术通过将停车场图像合成为环视鸟瞰图的形式，有效的增加了无人车的感知范围，提高了无人车行驶时的安全性和泊车的准确性。
[0035]考虑到室内停车场大多是无质感、无纹理的墙壁，本专利技术采用视觉语义信息构建停车场地图并进行车辆定位。与传统的停车场SLAM建图相比，视觉语义信息对视角和光照
变化具有长期稳定性和鲁棒性，可有效的提高停车场SLAM建图的精度。
[0036]为了提供无人车足够的、准确的车位信息，本专利技术提出了一种车位提取算法，有效地提高了自动泊车的效率。
[0037]此外，为了满足视觉SLAM实时性的要求，本专利技术改善了传统的位姿优化的方法，具体地，本专利技术采用融合回环检测和位姿图优化的方法，在消除里程计累积漂移的同时，有效地降低了后端优化的算法复杂度，提高了优化的效率，满足视觉SLAM实时性的要求。有效地降低了SLAM建图的算法复杂度。
附图说明
[0038]图1为本专利技术提供的算法整体框架示意图
[0039]图2为本专利技术提供的环视鸟瞰图的结果示意图
[0040]图3为本专利技术提供的U
‑
net卷积神经网络模型结构示意图
[0041]图4为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于室内停车场的语义地图构建及定位方法，其特征在于，包括如下步骤：S1、无人车在移动的过程中，通过车载相机采集停车场周围环境数据；S2、对所采集的停车场周围环境数据进行图像处理，获取相机图像
‑
路面鸟瞰图；S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图；针对所获取的鸟瞰图使用车位提取算法自动生成停车位，将停车位显示在局部语义地图上；S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图；S5、应用所生成全局语义地图，实现其它进入该室内停车场的车辆的定位和导航。2.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法，其特征在于，所述相机图像
‑
路面鸟瞰图是通过对相机进行标定获取相机的内外参，并通过IPM逆投影变换和ORB图像拼接和图像融合的方法获得。3.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法，其特征在于，S3中采用U
‑
net卷积神经网络模型对鸟瞰图进行语义分割，过程如下：步骤1，对训练数据集进行剪裁和归一化等预处理操作；步骤2，利用主干特征提取网络获取五个初步有效特征层；步骤3，利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合，获得一个融合了所有特征的有效特征层；步骤4，根据语义类别的个数调整最终获得的有效特征层的通道数，并通过特征预测环节对图像中每个特征点进行分类预测，从而获得带语义信息的停车场图像。4.根据权利要求3所述的一种适用于室内停车场的语义地图构建及定位方法，其特征在于，语义类别包括停车线、停车线拐角，车道线、车标、减速带和自由空间。5.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法，其特征在于，S3中车位提取算法自动生成停车位的过程如下：步骤1，将鸟瞰图由RGB图转为灰度图，并利用高斯滤波去除噪声；步骤2，基于滤波后的图像，采用伽马变换进行图像增强，并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角；步骤3，基于检测到的停车线标线和停车线拐角自动生成停车位。6.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法，其特征在于，利用高效位姿优化...

【专利技术属性】
技术研发人员：陈一枭，江浩斌，沈青原，尹晨辉，
申请(专利权)人：江苏大学，
类型：发明
国别省市：