视觉定位方法及相关装置、电子设备和存储介质制造方法及图纸

本申请公开了一种视觉定位方法及相关装置、电子设备和存储介质，其中，视觉定位方法包括：获取待定位图像及其拍摄位置，并获取拍摄位置处的建筑地图；其中，待定位图像中拍摄有第一建筑，且建筑地图中第二建筑为由面片构成的模型；获取待定位图像中第一建筑的第一点云，并获取建筑地图中第二建筑的第二点云；基于第一点云和第二点云，分析得到第一位姿；基于第一建筑的第一轮廓优化第一位姿，得到待定位图像的最终位姿。上述方案，能够提升视觉定位向大规模场景扩展的能力，并减少其资源占用。用。用。

【技术实现步骤摘要】
视觉定位方法及相关装置、电子设备和存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种视觉定位方法及相关装置、电子设备和存储介质。

技术介绍

[0002]在城市中，根据拍摄到的场景图像估计相机位姿是一种极具应用价值的技术，其可以应用于城市级AR(Augmented Reality，增强现实)、自动驾驶等领域，并起到重要作用。
[0003]目前，现有的视觉定位技术通常依靠提取图像的纹理特征，并与模型纹理进行匹配，从而估计出相机位姿。这种技术一方面需要构建包含纹理信息的稠密模型，大大限制了向大规模场景扩展的能力，另一方面由于对纹理特征敏感，故需频繁地更新模型，从而需要大量资源。有鉴于此，如何提升视觉定位向大规模场景扩展的能力，并减少其资源占用。

技术实现思路

[0004]本申请提供一种视觉定位方法及相关装置、电子设备和存储介质。
[0005]本申请第一方面提供了一种视觉定位方法，包括：获取待定位图像及其拍摄位置，并获取拍摄位置处的建筑地图；其中，待定位图像中拍摄有第一建筑，且建筑地图中第二建筑为由面片构成的模型；获取待定位图像中第一建筑的第一点云，并获取建筑地图中第二建筑的第二点云；基于第一点云和第二点云，分析得到第一位姿；基于第一建筑的第一轮廓优化第一位姿，得到待定位图像的最终位姿。
[0006]因此，获取待定位图像及其拍摄位置，并获取拍摄位置处的建筑地图，且待定位图像中拍摄有第一建筑，建筑地图中第二建筑为由面片构成的模型，在此基础上，获取待定位图像中第一建筑的第一点云，并获取建筑地图中第二建筑的第二点云，以及基于第一点云和第二点云，分析得到第一位姿，从而基于第一建筑的第一轮廓优化第一位姿，得到待定位图像的最终位姿，一方面由于仅需建筑地图即可实现位姿估计，而建筑地图中第二建筑又是由面片构成的模型，即无需构建包含纹理信息的稠密模型，从而可以大大降低地图构建成本并大大提升向大规模场景扩展的能力，另一方面由于无需纹理信息，即对纹理特征并不敏感，从而也无需频繁地更新模型，有利于减少资源占用。故此，能够提升视觉定位向大规模场景扩展的能力，并减少其资源占用。
[0007]其中，第一点云包括若干第一三维点，第二点云包括若干第二三维点；基于第一点云和第二点云，分析得到第一位姿，包括：提取各个第一三维点的第一特征表示，并提取各个第二三维点的第二特征表示；其中，第一特征表示和第二特征表示均包含点云局部几何信息和点云全局关系信息；基于第一特征表示和第二特征表示进行特征匹配，得到第一位姿。
[0008]因此，第一点云包括若干第一三维点，第二点云包括若干第二三维点，提取各个第一三维点的第一特征表示，并提取各个第二三维点的第二特征表示，且第一特征表示和第二特征表示均包含点云局部几何信息和点云全局关系信息，在此基础上，基于第一特征表
示和第二特征表示进行特征匹配，得到第一位姿，也就是说，每个三维点的特征表示不仅包含其局部范围内的几何特征，还进一步包含其与其他三维点之间的关系特征，从而能够提升特征表示的准确性，进而有利于提升第一位姿的准确性。
[0009]其中，特征提取步骤包括：将若干待处理三维点的初始特征表示进行下采样编码，得到若干采样三维点的局部特征表示和空间位置信息；对于各个采样三维点，将采样三维点及其参考三维点的局部特征表示进行第一融合，得到第一融合表示；其中，参考三维点基于空间位置信息从若干采样三维点中选择得到；基于若干采样三维点的第一融合表示进行上采样解码，得到若干待处理三维点的最终特征表示；其中，在待处理三维点为第一三维点的情况下，最终特征表示为第一特征表示，在待处理三维点为第二三维点的情况下，最终特征表示为第二特征表示。
[0010]因此，将若干待处理三维点的初始特征表示进行下采样编码，得到若干采样三维点的局部特征表示和空间位置信息，对于各个采样三维点，将采样三维点及其参考三维点的局部特征表示进行第一融合，得到第一融合表示，且参考三维点基于空间位置信息从若干采样三维点中选择得到，在此基础上，再基于若干采样三维点的第一融合表示进行上采样解码，得到若干待处理三维点的最终特征表示，且在待处理三维点为第一三维点的情况下，最终特征表示为第一特征表示，在待处理三维点为第二三维点的情况下，最终特征表示为第二特征表示，一方面通过下采样编码能够提取出各个采样三维点的点云局部几何信息，另一方面通过基于空间位置信息选择采样三维点的参考三维点，并将采样三维点及其参考三维点的局部特征表示进行第一融合，能够提取出各个采样三维点的点云全局关系信息，从而结合两者并通过上采样解码能够提取出各个待处理三维点的点云局部几何信息和点云全局关系信息，有利于提升特征表示的准确性。
[0011]其中，基于若干采样三维点的第一融合表示进行上采样解码，得到若干待处理三维点的最终特征表示，包括：将采样三维点的局部特征表示和第一融合表示进行第二融合，得到第二融合表示；将若干采样三维点的第二融合表示进行上采样解码，得到若干待处理三维点的最终特征表示。
[0012]因此，在上采样解码过程中，将采样三维点的局部特征表示和第一融合表示进行第二融合，得到第二融合表示，在此基础上，再将若干采样三维点的第二融合表示进行上采样编码，得到若干待处理三维点的最终特征表示，即在上采样解码过程中同时参考下采样编码所得到的局部特征表示，能够融合浅层特征信息和深层语义信息，有利于进一步提升特征表示的准确性。
[0013]其中，对于各个采样三维点，将采样三维点及其参考三维点的局部特征表示进行特征进行第一融合，得到第一融合表示，包括：将各个采样三维点分别作为当前三维点，并将当前三维点之外的采样三维点作为候选三维点；选择与当前三维点之间的空间距离满足第一条件的候选三维点，作为当前三维点对应的参考三维点；其中，空间距离是基于空间位置信息计算得到的；基于各个采样三维点及其对应的参考三维点，构建无向图；其中，无向图中节点表示采样三维点的局部特征表示，且代表采样三维点及其参考三维点的局部特征表示的节点之间存在连接边；基于无向图进行特征融合，得到各个采样三维点的第一融合表示。
[0014]因此，将各个采样三维点分别作为当前三维点，并将当前三维点之外的采样三维
点作为候选三维点，选择与当前三维点之间的空间距离满足第一条件的候选三维点，作为当前三维点对应的参考三维点，且空间距离是基于空间位置信息计算得到的，在此基础上，基于各个采样三维点及其对应的参考三维点，构建无向图，且无向图中节点表示采样三维点的局部特征表示，且代表采样三维点及其参考三维点的局部特征表示的节点之间存在连接边，在此基础上，再基于无向图进行特征融合，得到各个采样三维点的第一融合表示，故基于各个采样三维点的空间位置信息构建出无向图，并在无向图的基础上进行特征融合，有利于提升特征融合的效率和准确性。
[0015]其中，在选择与当前三维点之间的空间距离满足第一条件的候选三维点，作为当前三维点对应的参考三维点之前，方法还包括：以建筑地图在拍摄位置处相交于参考平面的直线为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：获取待定位图像及其拍摄位置，并获取所述拍摄位置处的建筑地图；其中，所述待定位图像中拍摄有第一建筑，且所述建筑地图中第二建筑为由面片构成的模型；获取所述待定位图像中所述第一建筑的第一点云，并获取所述建筑地图中所述第二建筑的第二点云；基于所述第一点云和所述第二点云，分析得到第一位姿；基于所述第一建筑的第一轮廓优化所述第一位姿，得到所述待定位图像的最终位姿。2.根据权利要求1所述的方法，其特征在于，所述第一点云包括若干第一三维点，所述第二点云包括若干第二三维点；所述基于所述第一点云和所述第二点云，分析得到第一位姿，包括：提取各个所述第一三维点的第一特征表示，并提取各个所述第二三维点的第二特征表示；其中，所述第一特征表示和所述第二特征表示均包含点云局部几何信息和点云全局关系信息；基于所述第一特征表示和所述第二特征表示进行特征匹配，得到所述第一位姿。3.根据权利要求2所述的方法，其特征在于，特征提取步骤包括：将若干待处理三维点的初始特征表示进行下采样编码，得到若干采样三维点的局部特征表示和空间位置信息；对于各个所述采样三维点，将所述采样三维点及其参考三维点的局部特征表示进行第一融合，得到第一融合表示；其中，所述参考三维点基于所述空间位置信息从所述若干采样三维点中选择得到；基于所述若干采样三维点的第一融合表示进行上采样解码，得到所述若干待处理三维点的最终特征表示；其中，在所述待处理三维点为所述第一三维点的情况下，所述最终特征表示为所述第一特征表示，在所述待处理三维点为所述第二三维点的情况下，所述最终特征表示为所述第二特征表示。4.根据权利要求3所述的方法，其特征在于，所述基于所述若干采样三维点的第一融合表示进行上采样解码，得到所述若干待处理三维点的最终特征表示，包括：将所述采样三维点的局部特征表示和第一融合表示进行第二融合，得到第二融合表示；将所述若干采样三维点的第二融合表示进行上采样解码，得到所述若干待处理三维点的最终特征表示。5.根据权利要求3所述的方法，其特征在于，所述对于各个所述采样三维点，将所述采样三维点及其参考三维点的局部特征表示进行第一融合，得到第一融合表示，包括：将各个所述采样三维点分别作为当前三维点，并将所述当前三维点之外的采样三维点作为候选三维点；选择与所述当前三维点之间的空间距离满足第一条件的候选三维点，作为所述当前三维点对应的参考三维点；其中，所述空间距离是基于所述空间位置信息计算得到的；基于各个所述采样三维点及其对应的参考三维点，构建无向图；其中，所述无向图中节点表示所述采样三维点的局部特征表示，且代表所述采样三维点及其参考三维点的局部特
征表示的节点之间存在连接边；基于所述无向图进行特征融合，得到各个所述采样三维点的第一融合表示。6.根据权利要求5所述的方法，其特征在于，在所述选择与所述当前三维点之间的空间距离满足第一条件的候选三维点，作为所述当前三维点对应的参考三维点之前，所述方法还包括：以所述建筑地图在所述拍摄位置处相交于参考平面的直线为中轴线，建立用于投影三维点的投影圆柱；其中，所述参考平面与所述建筑地图的地面平行；将各个所述采样三维点分别投影至所述投影圆柱的侧面，得到对应的投影三维点；基于所述投影三维点在所述侧面的曲面距离，得到对应所述采样三维点之间的空间距离。7.根据权利要求3所述的方法，其特征在于，所述特征表示是由特征提取模型提取得到的，所述特征提取模型包括编码网络、图神经网络和解码网络...

【专利技术属性】
技术研发人员：章国锋，鲍虎军，崔兆鹏，李海，范天行，翟宏佳，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：