【技术实现步骤摘要】
本申请涉及智能驾驶，具体涉及一种基于视觉语义的建图方法、装置、存储介质及电子设备。
技术介绍
1、随着智能驾驶技术的发展，车辆中普遍配置了全景环视影像系统，从而让驾驶员更好地了解车辆周边的环境情况，然而，目前的全景环视影像系统仍然存在车底这一视觉盲区。
2、相关应用中，针对全景环视拼接图，可以利用深度神经网络进行静态道路标识元素的分割，将分割结果当做图像间匹配的特征。但是当全景环视拼接图存在车底盲区时，会使相关特征被截断或者完全被遮挡，从而增加特征匹配过程中的错误率，使建图的误差增大甚至失败。
技术实现思路
1、有鉴于此，本申请实施例提供了一种基于视觉语义的建图方法、装置、存储介质及电子设备。
2、第一方面，本申请一实施例提供了一种基于视觉语义的建图方法，包括：获取目标车辆在目标环境中采集的当前时刻的多路环视图像；对多路环视图像进行鸟瞰拼接，生成第一关键帧图像，第一关键帧图像中包括车底盲区；确定第一关键帧图像对应的无车底盲区的多幅历史帧图像；基于多幅历史帧图像，对第一关键帧图像中的车底盲区进行纹理贴图，得到无车底盲区的第二关键帧图像；基于目标车辆的初始位姿，将第二关键帧图像转化为局部语义地图；对目标车辆在目标环境中的多个时刻的局部语义地图进行拼接，生成目标环境的全局地图。
3、结合第一方面，在第一方面的某些实现方式中，基于多幅历史帧图像，对第一关键帧图像中的车底盲区进行纹理贴图，得到无车底盲区的第二关键帧图像，包括：在多幅历史帧图像中确定用于贴图
4、结合第一方面，在第一方面的某些实现方式中，在多幅历史帧图像中确定用于贴图第一关键帧图像中的车底盲区的参考帧图像，包括：基于目标车辆的行驶参数，分别确定多幅历史帧图像与第一关键帧图像的变换矩阵；基于目标采样误差，以第一关键帧图像中的特征信息为标准，对多幅历史帧图像各自对应的特征信息进行随机采样，确定多幅历史帧图像各自对应的采样值，采样值表征历史帧图像中的特征信息与第一关键帧图像中的特征信息的匹配度；基于多幅历史帧图像与第一关键帧图像的变换矩阵、多幅历史帧图像各自对应的采样值，从多幅历史帧图像中确定参考帧图像。
5、结合第一方面，在第一方面的某些实现方式中，基于有效贴图区域，对第一关键帧图像中的车底盲区进行纹理贴图，得到第二关键帧图像，包括：确定车底盲区的轮廓线；沿着轮廓线，向远离车底盲区的方向外扩目标距离得到外边线，将轮廓线和外边线组成的区域作为过渡区域；基于有效贴图区域，对第一关键帧图像中的车底盲区进行纹理贴图，得到待校准图像；确定待校准图像中的有效贴图区域的灰度梯度值；基于灰度梯度值，对待校准图像中的过渡区域的灰度值进行校准，得到第二关键帧图像。
6、结合第一方面，在第一方面的某些实现方式中，基于目标车辆的初始位姿，将第二关键帧图像转化为局部语义地图，包括：对第二关键帧图像进行语义特征提取，得到第二关键帧图像中包含的目标对象的语义特征，语义特征包括位置特征、方向特征和类别特征；确定目标车辆在当前时刻的位姿；基于第二关键帧图像中包含的目标对象的语义特征、目标车辆在当前时刻的位姿和初始位姿，将第二关键帧图像转化为局部语义地图。
7、结合第一方面，在第一方面的某些实现方式中，对目标车辆在目标环境中的多个时刻的局部语义地图进行拼接，生成目标环境的全局地图，包括：在多个时刻的局部语义地图中确定至少两幅待匹配的局部语义地图；分别在至少两幅待匹配的局部语义地图中确定目标点云和源点云；基于目标点云的几何特征，确定目标点云中的每个点到源点云的最邻近点；基于目标点云中的每个点到源点云的最邻近点，对目标车辆在目标环境中的多个时刻的局部语义地图进行拼接，生成目标环境的全局地图。
8、结合第一方面，在第一方面的某些实现方式中，基于视觉语义的建图方法还包括：基于目标车辆的初始位姿，对全局地图中的特征进行匹配，确定目标车辆的当前位姿。
9、第二方面，本申请一实施例提供了一种基于视觉语义的建图装置，包括：获取模块，用于获取目标车辆在目标环境中采集的当前时刻的多路环视图像；第一拼接模块，用于对多路环视图像进行鸟瞰拼接，生成第一关键帧图像，第一关键帧图像中包括车底盲区；确定模块，用于确定第一关键帧图像对应的无车底盲区的多幅历史帧图像；贴图模块，用于基于多幅历史帧图像，对第一关键帧图像中的车底盲区进行纹理贴图，得到无车底盲区的第二关键帧图像；转化模块，用于基于目标车辆的初始位姿，将第二关键帧图像转化为局部语义地图；第二拼接模块，用于对目标车辆在目标环境中的多个时刻的局部语义地图进行拼接，生成目标环境的全局地图。
10、第三方面，本申请一实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于执行第一方面所述的方法。
11、第四方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行第一方面所述的方法。
12、在本实施例中，通过运动补偿的方式，将历史帧图像根据特定的变换条件贴图到第一关键帧图像的车底盲区，消除了视觉盲区带来的特征遮挡和截断影响，保证了第二关键帧图像的语义特征的连续性和准确性，避免建图过程中出现特征截断或者丢失，为用户驾驶提供辅助，提升了用户体验。此外，本申请无需安装额外的摄像头模组，成本低廉。
本文档来自技高网...【技术保护点】
1.一种基于视觉语义的建图方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述多幅历史帧图像，对所述第一关键帧图像中的车底盲区进行纹理贴图，得到无车底盲区的第二关键帧图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述在所述多幅历史帧图像中确定用于贴图所述第一关键帧图像中的车底盲区的参考帧图像，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述有效贴图区域，对所述第一关键帧图像中的车底盲区进行纹理贴图，得到所述第二关键帧图像，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述目标车辆的初始位姿，将所述第二关键帧图像转化为局部语义地图，包括：
6.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述目标车辆在所述目标环境中的多个时刻的局部语义地图进行拼接，生成所述目标环境的全局地图，包括：
7.根据权利要求1至4任一项所述的方法，其特征在于，还包括：
8.一种基于视觉语义的建图装置，其特征在于，包括：
9.一种计
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于视觉语义的建图方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述多幅历史帧图像，对所述第一关键帧图像中的车底盲区进行纹理贴图，得到无车底盲区的第二关键帧图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述在所述多幅历史帧图像中确定用于贴图所述第一关键帧图像中的车底盲区的参考帧图像，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述有效贴图区域，对所述第一关键帧图像中的车底盲区进行纹理贴图，得到所述第二关键帧图像，包括：
5.根据权利要求1至4任一项所述的方法，其特征在...
【专利技术属性】
技术研发人员：侯晨波，王媛，王东虎，侯欢欢，杨波，刘春霞，
申请(专利权)人：北京茵沃汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。