一种停车场车辆定位方法及系统技术方案

本发明专利技术涉及一种基于语义信息及图像边缘特征的停车场车辆定位方法及系统，其中方法包括以下步骤：在车辆运行过程中，实时获取以车身为原点的鸟瞰图；利用图像分割神经网络对鸟瞰图进行图像分割，检测鸟瞰图中的语义对象，提取分割图像的图像边缘特征；利用目标检测神经网络对鸟瞰图进行停车位信息的提取，并利用文本识别网络对于提取到的停车位信息中的文本标识进行检测，得到语义信息；以图像边缘特征和语义信息作为输入，建立停车场环境地图，并保存GPS传感器轨迹数据；基于GPS传感器轨迹数据计算车辆位姿，根据先验地图进行车辆定位。与现有技术相比，本发明专利技术具有定位精确、鲁棒性强等优点。性强等优点。性强等优点。

【技术实现步骤摘要】
一种停车场车辆定位方法及系统


[0001]本专利技术涉及自动驾驶领域，尤其是涉及一种基于语义信息及图像边缘特征的停车场车辆定位方法及系统。

技术介绍

[0002]近年来，自动驾驶的市场需求不断增加，自动代客泊车是自动驾驶领域的一个重要应用。在该任务中，车辆需要导航进入停车场并自动抵达目标地点，因此，精确定位是其应用的最重要前提。为了实现精确定位，车辆配备了各种传感器，如GPS、相机、激光雷达、IMU等，同时出现了大量不同的定位方法，如视觉SLAM方法，视觉惯导SLAM方法，激光SLAM方法等。为了降低传感器的成本，当前的算法研究主要集中在基于视觉的定位上。但是传统的视觉定位在面对自动代客泊车场景的时候存在一些问题：一方面，室内和地下停车场大多由无纹理的墙壁、立柱和地面组成，这导致了特征检测和匹配并不稳定，传统的视觉方法容易出现跟踪丢失的问题；另一方面，在停车场中，大部分车辆会经常移动位置，这导致在大部分时间里，并不能使用基于传统视觉的SLAM算法所建立的先验地图进行定位。

技术实现思路

[0003]本专利技术的目的是为了提供一种基于语义信息及图像边缘特征的停车场车辆定位方法及系统，采用语义特征作为系统的输入，特征长期稳定，且对视角和光照的变化具有鲁棒性，实现了一种高精度的停车场环境定位技术。
[0004]本专利技术的目的可以通过以下技术方案来实现：
[0005]一种基于语义信息及图像边缘特征的停车场车辆定位方法，包括以下步骤：
[0006]S1、在车辆运行过程中，实时获取以车身为原点的鸟瞰图；
[0007]S2、利用图像分割神经网络对鸟瞰图进行图像分割，检测鸟瞰图中的语义对象，提取分割图像的图像边缘特征；
[0008]S3、利用目标检测神经网络对鸟瞰图进行停车位信息的提取，并利用文本识别网络对于提取到的停车位信息中的文本标识进行检测，得到语义信息；
[0009]S4、以图像边缘特征和语义信息作为输入，建立停车场环境地图，并保存GPS传感器轨迹数据；
[0010]S5、基于GPS传感器轨迹数据计算车辆位姿，根据先验地图进行车辆定位。
[0011]所述S1包括以下步骤：
[0012]S11、获取车辆上搭载的鱼眼相机拍摄的各视角图片，其中，所述鱼眼相机分别搭载于车辆的前保险杠、左右后视镜、后备箱上；
[0013]S12、将鱼眼相机拍摄的各视角图片拼接成以车身为原点的鸟瞰图。
[0014]所述S12包括以下步骤：
[0015]S121、鱼眼相机畸变矫正；
[0016]S122、在鱼眼相机视野重合区域布置标定板，利用其角点对于鱼眼相机拍摄的照
片进行透视变换，将畸变矫正后的图像变换为俯视图；
[0017]S123、在不同相机拍摄到的图像的重叠区域寻找对应点，计算两张俯视图之间的仿射变换关系；
[0018]S124、根据仿射变换关系，采用自适应加权系数法对四幅变换后的俯视图进行融合，得到鸟瞰图。
[0019]所述S4基于SLAM算法实现，具体包括以下步骤：
[0020]S41、构建位姿推测器，根据里程计数据推测目标时刻的车辆位姿；
[0021]S42、采用相关性匹配算法，在预测位姿周围建立搜索窗口，在搜索窗口中计算粗略位姿，并根据图像边缘特征和语义信息，利用最小二乘法确定点云与地图的匹配程度及语义对象间的匹配程度，对粗略位姿进行优化，计算精确车辆位姿；
[0022]S43、利用子地图与精确车辆位姿，构建全局地图，并利用子图、位姿、语义对象间的匹配关系，对全局地图进行优化。
[0023]所述S5包括以下步骤：
[0024]S51、通过坐标系变换将GPS传感器轨迹数据变换为场地坐标系下轨迹数据；
[0025]S52、使用点云匹配算法对齐场地坐标系与SLAM算法中坐标系；
[0026]S53、对比当前车辆位姿与先验地图中各轨迹节点之间的距离，判断距离是否小于阈值，若小于阈值，则利用当前位姿作为初始位姿；
[0027]S54、根据初始位姿与先验地图进行车辆的定位。
[0028]一种基于语义信息及图像边缘特征的停车场车辆定位系统，包括：
[0029]鸟瞰图获取模块，用于在车辆运行过程中，实时获取以车身为原点的鸟瞰图；
[0030]图像边缘特征提取模块，用于利用图像分割神经网络对鸟瞰图进行图像分割，检测鸟瞰图中的语义对象，提取分割图像的图像边缘特征；
[0031]语义信息提取模块，用于利用目标检测神经网络对鸟瞰图进行停车位信息的提取，并利用文本识别网络对于提取到的停车位信息中的文本标识进行检测，得到语义信息；
[0032]地图构建模块，用于以图像边缘特征和语义信息作为输入，建立停车场环境地图，并保存GPS传感器轨迹数据；
[0033]车辆定位模块，用于基于GPS传感器轨迹数据计算车辆位姿，根据先验地图进行车辆定位。
[0034]所述鸟瞰图获取模块包括：
[0035]多视角图像获取模块，用于获取车辆上搭载的鱼眼相机拍摄的各视角图片，其中，所述鱼眼相机分别搭载于车辆的前保险杠、左右后视镜、后备箱上；
[0036]图像拼接模块，用于将鱼眼相机拍摄的各视角图片拼接成以车身为原点的鸟瞰图。
[0037]所述图像拼接模块执行以下步骤：
[0038]鱼眼相机畸变矫正；
[0039]在鱼眼相机视野重合区域布置标定板，利用其角点对于鱼眼相机拍摄的照片进行透视变换，将畸变矫正后的图像变换为俯视图；
[0040]在不同相机拍摄到的图像的重叠区域寻找对应点，计算两张俯视图之间的仿射变换关系；
[0041]根据仿射变换关系，采用自适应加权系数法对四幅变换后的俯视图进行融合，得到鸟瞰图。
[0042]所述地图构建模块基于SLAM算法实现，具体执行以下步骤：
[0043]构建位姿推测器，根据里程计数据推测目标时刻的车辆位姿；
[0044]采用相关性匹配算法，在预测位姿周围建立搜索窗口，在搜索窗口中计算粗略位姿，并根据图像边缘特征和语义信息，利用最小二乘法确定点云与地图的匹配程度及语义对象间的匹配程度，对粗略位姿进行优化，计算精确车辆位姿；
[0045]利用子地图与精确车辆位姿，构建全局地图，并利用子图、位姿、语义对象间的匹配关系，对全局地图进行优化。
[0046]所述车辆定位模块执行以下步骤：
[0047]通过坐标系变换将GPS传感器轨迹数据变换为场地坐标系下轨迹数据；
[0048]使用点云匹配算法对齐场地坐标系与SLAM算法中坐标系；
[0049]对比当前车辆位姿与先验地图中各轨迹节点之间的距离，判断距离是否小于阈值，若小于阈值，则利用当前位姿作为初始位姿；
[0050]根据初始位姿与先验地图进行车辆的定位。
[0051]与现有技术相比，本专利技术具有以下有益效果：
[0052]1、本专利技术利用停车场环境中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义信息及图像边缘特征的停车场车辆定位方法，其特征在于，包括以下步骤：S1、在车辆运行过程中，实时获取以车身为原点的鸟瞰图；S2、利用图像分割神经网络对鸟瞰图进行图像分割，检测鸟瞰图中的语义对象，提取分割图像的图像边缘特征；S3、利用目标检测神经网络对鸟瞰图进行停车位信息的提取，并利用文本识别网络对于提取到的停车位信息中的文本标识进行检测，得到语义信息；S4、以图像边缘特征和语义信息作为输入，建立停车场环境地图，并保存GPS传感器轨迹数据；S5、基于GPS传感器轨迹数据计算车辆位姿，根据先验地图进行车辆定位。2.根据权利要求1所述的一种基于语义信息及图像边缘特征的停车场车辆定位方法，其特征在于，所述S1包括以下步骤：S11、获取车辆上搭载的鱼眼相机拍摄的各视角图片，其中，所述鱼眼相机分别搭载于车辆的前保险杠、左右后视镜、后备箱上；S12、将鱼眼相机拍摄的各视角图片拼接成以车身为原点的鸟瞰图。3.根据权利要求2所述的一种基于语义信息及图像边缘特征的停车场车辆定位方法，其特征在于，所述S12包括以下步骤：S121、鱼眼相机畸变矫正；S122、在鱼眼相机视野重合区域布置标定板，利用其角点对于鱼眼相机拍摄的照片进行透视变换，将畸变矫正后的图像变换为俯视图；S123、在不同相机拍摄到的图像的重叠区域寻找对应点，计算两张俯视图之间的仿射变换关系；S124、根据仿射变换关系，采用自适应加权系数法对四幅变换后的俯视图进行融合，得到鸟瞰图。4.根据权利要求1所述的一种基于语义信息及图像边缘特征的停车场车辆定位方法，其特征在于，所述S4基于SLAM算法实现，具体包括以下步骤：S41、构建位姿推测器，根据里程计数据推测目标时刻的车辆位姿；S42、采用相关性匹配算法，在预测位姿周围建立搜索窗口，在搜索窗口中计算粗略位姿，并根据图像边缘特征和语义信息，利用最小二乘法确定点云与地图的匹配程度及语义对象间的匹配程度，对粗略位姿进行优化，计算精确车辆位姿；S43、利用子地图与精确车辆位姿，构建全局地图，并利用子图、位姿、语义对象间的匹配关系，对全局地图进行优化。5.根据权利要求4所述的一种基于语义信息及图像边缘特征的停车场车辆定位方法，其特征在于，所述S5包括以下步骤：S51、通过坐标系变换将GPS传感器轨迹数据变换为场地坐标系下轨迹数据；S52、使用点云匹配算法对齐场地坐标系与SLAM算法中坐标系；S53、对比当前车辆位姿与先验地图中各轨迹节点之间的距离，判断距离是否小于阈值，若小于阈值，则利用当前位姿作为初始位姿；S54、根据初始位姿与先验地图进行车辆的定位。
6.一种基...

【专利技术属性】
技术研发人员：董延超，齐天一，
申请(专利权)人：同济大学，
类型：发明
国别省市：