【技术实现步骤摘要】
本申请涉及导航，尤其涉及一种点云视觉融合方法、装置、电子设备及存储介质。
技术介绍
1、当前机器人、自动驾驶、ar（augmented reality，增强现实）眼镜等设备都配备了包括激光雷达、摄像头等多个传感器，同时在使用过程中需要进行建图和定位（即时定位与地图构建，simultaneous localization and mapping，简称slam），在这个过程中，通常需考虑将点云和视觉传感器检测到的数据进行融合，相关技术中在数据融合时通过将这两类传感器的数据进行特征提取、特征匹配、紧耦合优化，以得到统一的建图、定位结果，且由于利用了更多信息，得到的结果相对准确。
2、但是，由于点云所表达的信息为空间位置和反射强度，图像所表达的信息为像素坐标和颜色，两者在表达上差别巨大，在将点云数据和图像融合时，匹配难度较高，精度不容易保证，容易出错。
技术实现思路
1、为解决或部分解决相关技术中存在的问题，本申请提供一种点云视觉融合方法、装置、电子设备及存储介质，能够在不做跨传感器的特征提取和特征匹配的情况下，实现点云和图像的数据融合，提高了slam的稳定性和精度。
2、本申请第一方面提供一种点云视觉融合方法，包括：
3、构建语义点云地图，并获取当前图片；所述当前图片与当前位姿对应；
4、对所述当前图片进行语义分割，得到所述当前图片中像素的类别；
5、计算不同类别的似然场和似然场梯度；
6、基于所述语义点云地图、所述
7、通过所述残差块更新所述当前位姿；更新后的当前位姿用于更新所述语义点云地图。
8、优选的，所述计算不同类别的似然场和似然场梯度包括；
9、针对所述当前图片的每个类别，建立类别矩阵；
10、分别对所述每个类别的所述类别矩阵进行高斯滤波，得到所述每个类别的似然场；
11、对所述每个类别的所述似然场进行索贝尔滤波，得到所述每个类别的似然场梯度。
12、优选的，所述似然场梯度包括在x方向的第一子梯度和在y方向的第二子梯度，所述对所述每个类别的所述似然场进行索贝尔滤波，得到所述每个类别的似然场梯度包括：
13、针对所述每个类别的所述似然场，分别在x方向和y方向进行索贝尔滤波，得到所述第一子梯度和所述第二子梯度。
14、优选的，所述基于所述语义点云地图、所述似然场和所述似然场梯度构建残差块包括：
15、获取初始图片对应的初始位姿；
16、在所述语义点云地图中确定所述初始位姿前方预设范围内属于所述当前图片像素类别的数据点集；
17、分别获取所述数据点集中每个类别的似然场和似然场梯度；
18、根据所述似然场和所述似然场梯度构建残差块。
19、优选的，所述分别获取所述数据点集中每个类别点云的似然场和似然场梯度包括：
20、针对所述数据点集中每个类别的点云，通过所述当前位姿将所述每个类别的点云投影至所述当前图片，将处于所述当前图片对应范围的点云确定为有效点；
21、根据投影结果，通过双线性插值获取各个所述有效点的似然场和似然场梯度，并将似然场确定为对应有效点的误差。
22、优选的，所述根据所述似然场和所述似然场梯度构建残差块包括：
23、针对各个所述有效点的似然场和似然场梯度，通过链式法则计算各个所述有效点相对于所述当前位姿的优化矩阵；
24、根据各个所述有效点的误差和所述优化矩阵构建所述残差块。
25、优选的，所述通过所述残差块更新所述当前位姿之后的步骤包括：
26、返回所述针对所述数据点集中每个类别的点云，通过所述当前位姿将所述每个类别的点云投影至所述当前图片，将处于所述当前图片对应范围的点云确定为有效点的步骤，直至满足预设条件。
27、本申请第二方面提供一种点云视觉融合装置，包括：
28、构建模块，用于构建语义点云地图，并获取当前图片；所述当前图片与当前位姿对应；
29、分割模块，用于对所述当前图片进行语义分割，得到所述当前图片中像素的类别；
30、计算模块，用于计算不同类别的似然场和似然场梯度；
31、残差块模块，用于基于所述语义点云地图、所述似然场和所述似然场梯度构建残差块；
32、更新模块，用于通过所述残差块更新所述当前位姿；更新后的当前位姿用于更新所述语义点云地图。
33、优选的，计算模块包括；
34、类别矩阵子模块，用于针对所述当前图片的每个类别，建立类别矩阵；
35、第一滤波子模块，用于分别对所述每个类别的所述类别矩阵进行高斯滤波，得到所述每个类别的似然场；
36、第二滤波子模块，用于对所述每个类别的所述似然场进行索贝尔滤波，得到所述每个类别的似然场梯度。
37、优选的，所述似然场梯度包括在x方向的第一子梯度和在y方向的第二子梯度，第二滤波子模块还用于针对每个类别的所述似然场，分别在x方向和y方向进行索贝尔滤波，得到所述第一子梯度和所述第二子梯度。
38、优选的，残差块模块包括：
39、初始位姿子模块，用于获取初始图片对应的初始位姿；
40、点集子模块，用于在所述语义点云地图中确定所述初始位姿前方预设范围内属于所述当前图片像素类别的数据点集；
41、获取子模块，用于分别获取所述数据点集中每个类别的似然场和似然场梯度；
42、构建子模块，用于根据所述似然场和所述似然场梯度构建残差块。
43、优选的，计算子模块包括：
44、投影单元，用于针对所述数据点集中每个类别的点云，通过所述当前位姿将所述每个类别的点云投影至所述当前图片，将处于所述当前图片对应范围的点云确定为有效点；
45、获取单元，用于根据投影结果，通过双线性插值获取各个所述有效点的似然场和似然场梯度，并将似然场确定为对应有效点的误差。
46、优选的，残差块模块包括：
47、优化矩阵子模块，用于针对各个所述有效点的似然场和似然场梯度，通过链式法则计算各个所述有效点相对于所述当前位姿的优化矩阵；
48、残差块子模块，用于根据各个所述有效点的误差和所述优化矩阵构建所述残差块。
49、优选的，该装置还包括：
50、返回模块，用于返回所述针对所述数据点集中每个类别的点云，通过所述当前位姿将所述每个类别的点云投影至所述当前图片，将处于所述当前图片对应范围的点云确定为有效点的步骤，直至满足预设条件。
51、本申请第三方面提供一种电子设备，包括：
52、处理器；以及
53、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
54、本申请第四方面提本文档来自技高网...
【技术保护点】
1.一种点云视觉融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述计算不同类别的似然场和似然场梯度包括；
3.根据权利要求2所述的方法，其特征在于，所述似然场梯度包括在x方向的第一子梯度和在y方向的第二子梯度，所述对所述每个类别的所述似然场进行索贝尔滤波，得到所述每个类别的似然场梯度包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述语义点云地图、所述似然场和所述似然场梯度构建残差块包括：
5.根据权利要求4所述的方法，其特征在于，所述分别获取所述数据点集中每个类别点云的似然场和似然场梯度包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述似然场和所述似然场梯度构建残差块包括：
7.根据权利要求5所述的方法，其特征在于，所述通过所述残差块更新所述当前位姿之后的步骤包括：
8.一种点云视觉融合装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存储有可执行代
...【技术特征摘要】
1.一种点云视觉融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述计算不同类别的似然场和似然场梯度包括；
3.根据权利要求2所述的方法，其特征在于，所述似然场梯度包括在x方向的第一子梯度和在y方向的第二子梯度，所述对所述每个类别的所述似然场进行索贝尔滤波，得到所述每个类别的似然场梯度包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述语义点云地图、所述似然场和所述似然场梯度构建残差块包括：
5.根据权利要求4所述的方法，其特征在于，所述分别获取所述数...
【专利技术属性】
技术研发人员：单国航，贾双成，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。