一种基于语义边缘对齐的由粗到精的多传感器融合定位方法技术

本发明专利技术涉及无人驾驶、视觉定位技术领域，具体来说是一种基于语义边缘对齐的由粗到精的多传感器融合定位方法，包括获取高精地图、原始图像、消费级的车载GPS以及轮子里程计的步骤，本发明专利技术是一种低成本的以视觉传感器为主的高精定位方法，通过融合里程计和车载GPS信息获得鲁棒的定位结果，通过提取图像中稳定的语义特征，进行语义边缘对齐来得到车辆位姿的估计，对齐的方式不需要显式的进行三维地图特征和二维图像特征的数据关联，而是隐式的通过最小化投影点的光度残差来进行位姿的估计。最小化投影点的光度残差来进行位姿的估计。最小化投影点的光度残差来进行位姿的估计。

【技术实现步骤摘要】
一种基于语义边缘对齐的由粗到精的多传感器融合定位方法


[0001]本专利技术涉及无人驾驶、视觉定位
，具体来说是一种基于语义边缘对齐的由粗到精的多传感器融合定位方法。

技术介绍

[0002]高精度定位在机器人自主导航，无人驾驶等领域扮演着重要角色。车辆在自主行驶的过程中每个时刻均需要估计其在地图中的位置，即解决“我在哪”这样一个终极命题。根据所使用的传感器的不同，存在着不同的定位方案。使用最广泛的一种定位方案是结合GNSS
‑
IMU的惯性导航系统，尽管有着较高的精度和鲁棒性，但其在面对长隧道，高楼林立的闹市区域或遮挡严重的高架桥下等场景的时候，由于GPS信号的缺失或者多路径效应的影响，惯性导航系统无法输出高精度的定位估计结果。同时高精度的惯性导航系统因为成本较高而无法进行大规模的商业化生产，从而对其使用造成了限制。激光雷达由于其测量精度高，在无人驾驶的定位感知领域得到了广泛应用。但在大尺度范围内的激光雷达slam中，其地图占据的存储量巨大，同时激光雷达高昂的成本使得其更多的应用在配送，仓储机器人等领域，难以在量产无人驾驶的定位中得到应用。视觉传感器由于其成本低，感知信息丰富的特点在智能汽车领域已经得到了广泛的应用。视觉slam中目前较为成熟的特征点法通过提取图像中的显著特征，在不同时刻的图像间通过匹配建立特征关联，最后在一个非线性优化框架中同时完成地图的构建和位姿的估计，但传统的视觉特征点在面对多变的环境，如光照的变化，天气的变化，视角的变化时容易失效，从而无法鲁棒的完成定位任务。近年来，随着深度学习技术的发展，从图像中进行环境的语义感知变得实时且精确。在无人驾驶环境中，包含了如车道线，路牌，杆子等常见的语义信息，这些信息相对鲁棒，不容易发生变化，从而为定位算法提供了丰富稳定的观测，同时为了克服单一视觉定位稳定性不足的问题，引入了车载低精度GPS,车载里程计信息来增加定位输出的鲁棒性和精确性。在这样的背景下，提出了一种基于高精度矢量地图的以视觉传感器为主的多传感器融合定位方法，该方法应用由粗到精的状态估计范式，通过语义边缘对齐来进行车辆位姿的估计。

技术实现思路

[0003]本专利技术的目的在于解决现有技术的不足，提出了一种应用在结构化的场景中，基于高精地图的以视觉语义信息为主的多传感器融合定位方法，在嵌入式平台上可以鲁棒精确的输出载体相对于地图的位姿。
[0004]为了实现上述目的，设计一种基于语义边缘对齐的由粗到精的多传感器融合定位方法，包括获取高精地图、原始图像、消费级的车载GPS以及轮子里程计的步骤，其特征在于方法具体如下：A.输入的原始图像首先会经过语义分割网络进行处理得到语义分割图;B.系统初始化，获取当前车辆的初始化位姿；C.计算当前帧的位姿初值；
D.基于当前帧的位姿初值从高精度地图中搜索语义元素，形成对应的地图元素集合，对三维地图点按照一定的距离进行插值采样形成散点；E.将采样后的三维地图点根据当前帧的位姿初值投影到图像上，并在图像上做均匀采样；F.将地图点在代价图像上的投影点光度残差作为非线性优化问题的优化目标，优化车辆本体的位姿使得投影点整体光度残差最小；位姿优化的残差表达式如下：其中I代表语义代价图像，π为相机成像模型，T_wb代表车辆相对于高精地图的位姿，也就是优化估计的状态量，T_bc表示相机相对于车辆的外参，P_w为三维地图点，1.0为代价图像中的灰度的最大值，即图像中亮度最大值；G.在系统运行的过程中，会实时构建一个基于固定长度的滑动窗口的位姿图；H.当前帧的位姿跟踪结束后，系统输出当前帧的车辆定位结果，即相对于高精地图的位置和姿态。
[0005]进一步地，输入的原始图像首先会经过语义分割网络进行处理分别得到车道线的语义分割图、杆子的语义分割图和路牌的语义分割图，为了能够在图像上进行代价构建，会对语义分割图像进行交替的图像腐蚀膨胀处理得到代价图像，对于路牌的分割图像，会首先使用拉普拉斯变换方法从二值分割图像中进行边缘提取，然后再进行腐蚀膨胀处理得到路牌对应的非线性优化的代价图像。
[0006]进一步地，系统初始化具体方法如下：步骤一.获取第一帧的输入，判断第一帧输入的GPS信号的有效性， 满足要求则将其记录为第一个有效二维轨迹点，否则退出重新进入步骤A；步骤二.获取第二帧的输入，判断第二帧输入的GPS信号的有效性，如果有效且与第一个轨迹点的距离适中，则将其记录为第二个有效二维轨迹点，若不满足条件，则重新进步骤一；步骤三.完成步骤二后，将车辆平面坐标设置为第二个有效轨迹点，车辆高度通过在高精地图中搜索得到，滚动角和俯仰角置为0,航向角根据第一个有效点和第二个有效点的矢量方向确定；步骤四.在步骤三的初始位置和姿态的基础上，进行位姿搜索，设定搜索间隔和搜索数量，计算每种位姿下的语义地图点在代价图像上的投影得分，将投影得分最高的位姿作为当前车辆的初始化位姿。
[0007]进一步地，步骤C中根据前后两帧的里程计数据计算两帧间的位姿增量，利用位姿增量和前一帧的位姿计算当前帧的位姿初值。
[0008]进一步地，步骤C中如果当前帧的GPS观测为有效状态且定位系统在较长时间内未经过纵向位置的更新，则利用当前帧的GPS测量更新当前帧的车辆纵向位置。
[0009]进一步地，步骤F中优化的时候会采用两阶段优化，第一阶段对所有投影点形成的
残差施加鲁棒核，以对离群点观测对最小二乘优化问题造成的影响进行约束，第二阶段将一阶段优化后残差超过一定阈值的观测进行去除，对剩余观测不施加鲁棒核，重新进行优化求解。
[0010]进一步地，步骤G中新的帧被加入，最老的帧被移除，当车辆处于静止状态的时候，次新帧会被移除，位姿图中的优化变量包括当前帧以及历史帧的位姿，观测约束包括窗口中每帧的视觉边缘对齐的位姿以及两帧之间的里程计的约束。
[0011]本专利技术同现有技术相比，其优点在于：是一种低成本的以视觉传感器为主的高精定位方法，通过融合里程计和车载GPS信息获得鲁棒的定位结果，通过提取图像中稳定的语义特征，进行语义边缘对齐来得到车辆位姿的估计，对齐的方式不需要显式的进行三维地图特征和二维图像特征的数据关联，而是隐式的通过最小化投影点的光度残差来进行位姿的估计；是一种低成本，高精度，鲁棒的应用于自动驾驶的定位方法。
附图说明
[0012]图1是本专利技术高精地图示意图；图2是本专利技术车道线语义分割图；图3是本专利技术车道线代价图；图4是本专利技术路牌语义分割图；图5是本专利技术路牌代价图；图6是本专利技术流程图；图7是本专利技术原始及优化后的位姿地图点投影结果图；图中：A为原始位姿地图点投影结果B为优化后的位姿地图点投影结果。
具体实施方式
[0013]下面结合附图对本专利技术作进一步说明，本专利技术的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0014]本专利技术提出一种视觉高精定位方法，使得结合单目相机及高精地图数据可以完成高精地图覆盖区域中道路的车辆高精度定位，对地图中的道路本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义边缘对齐的由粗到精的多传感器融合定位方法，包括获取高精地图、原始图像、消费级的车载GPS以及轮子里程计的步骤，其特征在于方法具体如下：A.输入的原始图像首先会经过语义分割网络进行处理得到语义分割图;B.系统初始化，获取当前车辆的初始化位姿；C.计算当前帧的位姿初值；D.基于当前帧的位姿初值从高精度地图中搜索语义元素，形成对应的地图元素集合，对三维地图点按照一定的距离进行插值采样形成散点；E.将采样后的三维地图点根据当前帧的位姿初值投影到图像上，并在图像上做均匀采样；F.将地图点在代价图像上的投影点光度残差作为非线性优化问题的优化目标，优化车辆本体的位姿使得投影点整体光度残差最小；位姿优化的残差表达式如下：其中I代表语义代价图像，π为相机成像模型，T_wb代表车辆相对于高精地图的位姿，也就是优化估计的状态量，T_bc表示相机相对于车辆的外参，P_w为三维地图点，1.0为代价图像中的灰度的最大值，即图像中亮度最大值；G.在系统运行的过程中，会实时构建一个基于固定长度的滑动窗口的位姿图；H.当前帧的位姿跟踪结束后，系统输出当前帧的车辆定位结果，即相对于高精地图的位置和姿态。2.如权利要求1所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法，其特征在于输入的原始图像首先会经过语义分割网络进行处理分别得到车道线的语义分割图、杆子的语义分割图和路牌的语义分割图，为了能够在图像上进行代价构建，会对语义分割图像进行交替的图像腐蚀膨胀处理得到代价图像，对于路牌的分割图像，会首先使用拉普拉斯变换方法从二值分割图像中进行边缘提取，然后再进行腐蚀膨胀处理得到路牌对应的非线性优化的代价图像。3.如权利要求1所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法，其特征在于系统初始化具体方法如下：步骤一.获取第一帧的输入，判断第一帧输入的GPS信号的有效性， 满足要求则将其记...

【专利技术属性】
技术研发人员：郭成成，成二康，白昕晖，曹旭东，
申请(专利权)人：纽劢科技上海有限公司，
类型：发明
国别省市：