一种众包高精地图的构建方法、系统、电子设备及车辆技术方案

本发明专利技术提供一种基于多摄像头的众包高精地图的构建方法、系统、电子设备及车辆，分为车端建图与云端融合更新两部分。一方面利用自车各类传感器，通过细分地面要素和非地面要素，在车端完成建图，另一方面通过云端地图学习将海量的众包数据进行融合/更新，对环境差异导致的识别结果的误差、系统误差和随机误差进行修正，消除单一车辆无法消除的自身误差，得到众包高精地图，本发明专利技术得到的地图精度更高，能够满足高级别自动驾驶定位与导航规划的需求。够满足高级别自动驾驶定位与导航规划的需求。够满足高级别自动驾驶定位与导航规划的需求。

【技术实现步骤摘要】
一种众包高精地图的构建方法、系统、电子设备及车辆


[0001]本专利技术涉及高精地图生成
，尤其涉及基于多摄像头的众包高精地图的构建方法及系统。

技术介绍

[0002]处于信息技术革命下的汽车产业，正逐步向个性化、数字化、智能化方向迈进。世界各国也出台了一系列的政策法规，促进自动驾驶产业快速落地。而高精地图数据，作为智能驾驶系统的经验和记忆，能够解决现有自动驾驶中感知能力不足，稳定性差等问题，加速自动驾驶产业落地。然而现有的高精地图生产方案存在一定的局限性：对车载传感器的精度要求高，价格昂贵无法大规模量产；需要专业的人员和车辆进行实地数据采集，然后进行地图生产加工。以上问题导致高精地图的生产成本高，更新周期慢，造成实际道路的覆盖度低，无法满足全场景自动驾驶的要求。
[0003]中国专利文献CN112862881A公开了一种基于众包多车摄像头数据的道路地图构建与融合的方法，该方法将车载摄像头采集到的连续图像作为信息源，依靠检测到的道路标记的亮度值和亮度比作为融合过程中的参考置信度，以获取基于车相机数据的地图变化要素判断，广泛应用于自动驾驶地图更新中。但该方法主要解决地面标线的构建与更新，对于非地面地图要素，如：交通标识、高架物、防护栏等的构建并未涉及，而这些要素对自动驾驶的定位、规划控制等功能起着关键作用，且完全依赖车辆自身的车载摄像头作为信息源。
[0004]中国专利文献CN110599570A公开了一种基于众包数据开放场景下的地图生成方法及系统，该方法利用集成了感知算法的ADAS相机和车辆行驶时的GPS轨迹信息，进行真实交通设施信息和驾驶行为的收集，通过大数据聚合处理得到开放场景下的地图。但该方法完全依赖车辆自身传感器，虽然可以通过多次测量获取海量数据，但大数据聚合后的结果无法消除自身的系统误差，最后得到的地图无法广泛应用于其它车辆，并且也未涉及非地面地图要素。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术的目的是提供一种众包高精地图的构建方法、系统及存储介质，利用自车各类传感器，通过细分地面要素和非地面要素，并对环境差异导致的识别结果的误差、系统误差和随机误差进行修正，在车端完成建图，在云端进行融合，得到的地图精度更高，能够满足高级别自动驾驶定位与导航规划的需求。
[0006]为实现上述目的，本专利技术采取以下技术方案：
[0007]本专利技术在第一方面，提供一种基于多摄像头的众包高精地图的构建方法，所述方法分为车端建图与云端融合更新两部分。
[0008]S1、车端建图，用于完成自车行驶过程中局部地图构建，具体包括如下步骤：
[0009]S11、自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、GNSS、IMU的位姿数据以及轮速计采集的数据。
[0010]S12、采用地图要素感知模型，将图像数据进行语义分割和目标检测，获取像素级和目标级的地图要素分类结果，分为地面元素与非地面元素。
[0011]S13、对地图要素分类结果进行特征提取，得到地面特征、非地面特征和点/线特征。
[0012]S14、使用特征提取结果构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计。
[0013]S15、恢复地面元素和非地面元素的物理尺度。
[0014]S16、结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据。
[0015]S17、数据脱敏与加密后，向云服务器自车传输车端地图数据和车身的状态与环境信息。
[0016]S2、云端融合更新。主要是通过云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图。具体包括如下步骤：
[0017]S21、云端系统经过鉴权接收不同车辆上传的自车建图数据，形成海量众包数据；
[0018]S22、进行数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系，进行要素之间的分类和配准对齐，建立数据基准；
[0019]S23、对不同车载传感器在同一路段的多次数据进行聚合融合处理，形成准确的认知结果；
[0020]S24、对海量众包数据的相同要素数据进行聚类处理，生成众包地图要素数据；
[0021]S25、在无传统高精地图的区域众包生成地图数据，再由云端系统融合不同车辆的众包数据形成一个完整准确的高精地图。
[0022]以上的方案中，所述地面元素是指铺设在道路表面的元素，包含车道线、人行道、停止线、转向箭头；所述非地面元素是指架设在道路上的元素，包含交通标识、红绿灯、龙门架、杆状物。
[0023]进一步地，在以上方案中，所述S17之前，还包括收集车身的状态与环境信息，在进行S18时同时向云服务器传输收集到车身的状态与环境信息。
[0024]进一步地，在以上方案中，所述S17中，在向云服务器传输车端地图数据前，需根据云端调度指令确定是否需要上传原始图像数据。
[0025]本专利技术在第二方面，还提供一种基于多摄像头的众包高精地图的构建系统，包括车端建图系统和云端融合更新系统。
[0026]所述车端建图系统用于完成自车行驶过程中局部地图构建，包括如下功能模块。
[0027]第一数据处理模块，配置为自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、GNSS、IMU的位姿数据以及轮速计采集的数据。
[0028]特征提取模块，配置为采用地图要素感知模型，将图像数据进行语义分割和目标检测，获取像素级和目标级的地图要素分类结果，分为地面元素与非地面元素和点/线特征。
[0029]定位模块，配置为使用提取结果作为目标级的特征信息，构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计。
[0030]本地建图模块，配置为实现恢复地面元素和非地面元素的物理尺度；然后结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据。
[0031]加密模块，数据脱敏与加密后，向云服务器自车传输车端地图数据。
[0032]所述云端融合更新系统别配置为通过云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图，包括如下功能模块。
[0033]数据接收模块，别只为云端经过鉴权接收不同车辆上传的自车建图数据，形成海量众包数据。
[0034]地图学习模块，配置为先进行数据清洗与对齐分类，利用现实世界各种道路要素的空间语义信息和关系，进行要素之间的分类和配准对齐，建立数据基准；然后，对不同车载传感器在同一路段的多趟数据进行聚合融合处理，形成准确的认知结果；最后对海量众包数据的相同要素数据进行聚类处理，生成众包地图要素数据。
[0035]地图编辑模块，配置为进行人工编辑、自动化处理和地图验证。
[0036]本专利技术在第三方面，还提供一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种众包高精地图的构建方法，其特征在于，包括步骤：S1，车端建图，完成自车行驶过程中局部地图构建；S11，自车将各个传感器的输入做时间对齐，输入包括各个摄像头的图像数据、全球卫星导航系统GNSS的数据、惯性测量单元IMU的数据以及轮速计采集的数据；S12，采用地图要素感知模型，将图像数据进行语义分割和目标检测，获取像素级和目标级的地图要素分类结果，分为地面元素与非地面元素；S13，对地图要素分类结果进行特征提取，得到地面特征、非地面特征；S14，使用特征提取的结果构成位姿估计图模型的节点，结合GNSS、IMU的数据得到约束方程，迭代求解获取车辆当前位姿的最优估计；S15，恢复地面元素和非地面元素的物理尺度；S16，结合地图要素分类结果进行各地图要素轮廓提取，得到自车车端地图数据；S17，数据脱敏与加密后，向云服务器传输车端地图数据；S2，云端服务器对不同车辆局部建图结果进行融合更新，得到众包高精地图。2.根据权利要求1所述的众包高精地图的构建方法，其特征在于，所述地面元素是指铺设在道路表面的元素，包含车道线、人行道、停止线、转向箭头；所述非地面元素是指架设在道路上的元素，包含交通标识、红绿灯、龙门架、杆状物。3.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，所述地图要素感知模型采用多任务深度神经网络，网络包括骨干网、neck、任务头，骨干网完成通用特征提取，任务头针对不同的地图要素分为目标检测和语义分割任务，通过语义分割任务得到像素级的地图要素分类结果，通过目标检测任务得到相应地图要素的矩形检测框；neck部分根据任务头的不同，通过不同的特征金字塔提取相应的更为精细的特征。4.根据权利要求1或2所述的众包高精地图的构建方法，其特征在于，所述S15包括：S151，恢复地面元素物理尺度：对T时刻感知到的地面元素GE
i，T
，通过IPM逆透变换得到尺度一致的“俯视图”表达，同时结合车道线的几何关系进一步修正地面元素的尺度，加上T时刻融合定位的结果P
T
，得到GE
i
的物理尺度；S152，恢复非地面元素物理尺度：对T时刻感知到的非地面元素N
‑
GE
i,T
，T+1时刻感知到的非地面元素N
‑
GE
j,T+1
，其中i表示T时刻感知到的第i个非地面元素，j表示T时刻感知到的第j个非地面元素，通过匹配算法得到T、T+1时刻同一个地图要素在两次感知中的结果为N
‑
GE
i,T
与N
‑
GE
j,T+1
，此时融合定位的结果为P
T
与P
T+1
，其中包含车辆的位置与姿态，由三角测量恢复出N
‑
GE
j
相对于自身深度信息，结合绝对定位P即恢复N
‑
GE
j
的物理尺度。5.根据权利要求4所述的众包高精地图的构建方法，其特征在于，对于S151还包括，通过车辆在行驶过程中对同一地图要素的多次观测，得到同一地图要素的多个绝对物理尺度信息，通过滤波对多次观测的结果进行融合得到更为准确的地面元素的绝对物理尺度数据。6.根据权利要求4所述的众包高精地图的构建方法，其特征在于，对于S152还包括，结合车辆行驶过程中对同一地图要素的多次观测，进一步收敛估计误差，得到准确的非地面元素的物理尺度信息。7.根据权利要求1或2所述...

【专利技术属性】
技术研发人员：王志铠，李健，王立，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：