室内定位方法和系统、AR室内定位导航方法和系统技术方案

本发明专利技术涉及室内定位导航领域，公开一种室内定位方法和系统、AR室内定位导航方法和系统；室内定位方法包括使用单目相机采集图像并构建先验地图，使用视觉惯性里程计的实时位姿解算方法解算单目相机的相对位姿，根据视觉特征地图在视觉词袋模型的基础上结合几何信息和语义信息将单目相机的相对位姿变换为绝对位姿，结合室内路网地图、栅格地图和实景深度对单目相机的绝对位姿进行定位轨迹纠偏，室内定位系统包括实现各步骤的模块；AR室内定位导航方法在室内定位方法的基础上使用AR实时导航，系统包括移动终端和可在移动终端上运行AR室内定位导航方法的计算机程序。本发明专利技术可以提高图像匹配准确率、定位精度和纠偏能力。定位精度和纠偏能力。定位精度和纠偏能力。

【技术实现步骤摘要】
室内定位方法和系统、AR室内定位导航方法和系统


[0001]本专利技术涉及室内定位导航
，尤其是指一种室内定位方法和系统、AR室内定位导航方法和系统。

技术介绍

[0002]随着智慧城市、物联网、移动互联等行业的迅速发展，人们对于高精度室内位置服务的需求日趋强烈。传统的室内定位方法大多基于电磁波、声波等，都属于有源定位，信号容易被干扰导致定位精度降低；计算机视觉定位作为无源定位具有更强的抗干扰能力，而其中单目视觉惯性里程系统又凭借其低廉的成本和较为精准的定位能力在众多视觉里程计中脱颖而出。
[0003]目前的单目视觉惯性里程计已有一定技术研究基础，其中视觉系统利用摄像头实时捕获图像，再根据图像变化来估计自身位姿，惯性测量单元则可以获取设备短时间内的位姿变化，通过两者的紧耦合以实现可靠的室内定位。但该定位方法存在两个主要问题：一是图像特征跟踪严重依赖场景，在空间结构相似、纹理特征缺失、运动物体充斥的场景下，图像匹配易出错，定位效果差。针对这个问题，（专利公开号为：CN112381877A）不仅采集了与室内环境匹配的多张图像，还对每张环境采集图像中的三维物体进行了多类型的视觉定位特征提取，以提高特征匹配的鲁棒性；（专利公开号为：CN114708309A）充分利用建筑平面图的先验信息，设计了一套端到端建筑平面图到三维路标点集配准的深度学习模型，改变了传统的图像匹配模式，更加稳定；（专利公开号为：CN112329798A）对词袋模型中每个单词的场景表征能力进行计算，并提出了基于单词可信度修正直方图核函数的相似度度量方法，提高了图像相似度度量的准确度；（论文名称：基于动态物体特征点去除的视觉里程计算法，来源：《计算机测量与控制》）将获取图像中的动态物体特征点剔除，以提高匹配准确率，该方法更便于应用在人流量大或车流量大的环境中。
[0004]二是缺乏对定位轨迹的纠偏能力，完全依赖回环检测。针对这个问题，（专利公开号为：CN114739410A）在视觉定位的基础上结合使用了PDR（行人航迹推算算法）技术，构建了PDR步长估计模型，通过加权融合定位方法来提高定位精度；（专利公开号为：CN113358117A）采用了基于条件随机场的三维地图匹配算法来对视觉惯性里程计的输出进行修正。
[0005]综上所述，现有的单目视觉惯性里程计方法在一定条件下已具备室内场景的定位和导航能力，但仍然存在以下问题：在场景结构相似、纹理特征不足、运动物体繁多的情况下，图像匹配准确率会大幅降低，易产生运动跟踪失败以及无法重定位的问题；同时，在大范围、长时间、无回环的里程计运行过程中，由于缺乏有效的轨迹纠偏策略，定位误差会不断累积且无法消除。

技术实现思路

[0006]为此，本专利技术所要解决的技术问题在于克服现有技术中的不足，提供一种室内定
位方法和系统、AR室内定位导航方法和系统，可以提高图像匹配准确率、定位精度和纠偏能力。
[0007]为解决上述技术问题，本专利技术提供了一种室内定位方法，包括：步骤1：使用单目相机采集图像并构建视觉特征地图和室内路网地图，所述视觉特征地图包括视觉标签图像，所述视觉特征地图用于重定位单目相机，所述室内路网地图用于支撑导航路径的规划；步骤2：使用视觉惯性里程计的实时位姿解算方法，根据单目相机采集的图像和惯性测量单元采集的惯性测量单元数据解算出每一时刻单目相机的相对位姿；步骤3：根据所述视觉特征地图，在视觉词袋模型的基础上结合几何信息和语义信息对单目相机进行重定位，将单目相机的相对位姿变换为绝对位姿；步骤4：结合所述室内路网地图、栅格地图和实景深度对单目相机的所述绝对位姿进行定位轨迹纠偏，得到纠偏后的定位轨迹。
[0008]作为优选的，根据所述视觉特征地图，在视觉词袋模型的基础上结合几何信息和语义信息对单目相机进行重定位，将单目相机的相对位姿变换为绝对位姿，具体包括：步骤3.1：使用左右分幅策略补充图像的几何信息，使用深度学习语义分割模型强化图像的语义信息，结合所述结合几何信息和语义信息使用视觉词袋模型计算图像的相似度；步骤3.2：对相似度得分超过预设阈值的两张图像分别进行特征点提取和暴力匹配，确定当前测试图像和匹配的视觉标签图像的2d
‑
2d特征点的对应关系；步骤3.3：根据当前测试图像和匹配的视觉标签图像的2d
‑
2d特征点的对应关系以及视觉特征地图中视觉标签图像的2d特征点和3d地理坐标的对应关系，求解对应关系之间的变换旋转向量和平移向量；使用所述变换旋转向量和平移向量对当前匹配的视觉标签图像的单目相机位姿进行平移旋转变换得到当前单目相机在世界坐标系中的绝对位姿。
[0009]作为优选的，所述使用左右分幅策略补充图像的几何信息，使用深度学习语义分割模型强化图像的语义信息，结合所述结合几何信息和语义信息使用视觉词袋模型计算图像的相似度，具体包括：步骤3.1.1：使用轻量级网络对所有视觉标签图像进行目标检测，找出待掩膜的噪声目标，剔除噪声目标的图像特征点得到掩膜后的图像特征点及其描述子；步骤3.1.2：对图像进行左右两侧的对半分幅，将掩膜后的图像特征点和描述子分别存入左图、右图两个不同的数据库中，其中视觉特征地图中的视觉标签图像作为预存数据优先存储，实时获取的图像帧作为测试数据逐帧存储；步骤3.1.3：分别计算掩膜后的所有视觉标签图像左图与当前测试图像左图、所有视觉标签图像右图与当前测试图像右图的相似度得分，再将两个得分相加作为最终的相似度得分。
[0010]作为优选的，结合所述室内路网地图、栅格地图和实景深度对单目相机的所述绝对位姿进行定位轨迹纠偏，具体包括：步骤4.1：使用图像深度预测算法估计真实场景中单目相机与障碍物的实际距离，根据所述实际距离对定位轨迹进行纠偏；步骤4.2：在使用实景深度纠偏后，判断室内场景的类型，若此时的室内场景狭窄
交错则执行步骤4.3，若此时的室内场景开阔空旷则执行步骤4.4；步骤4.3：根据所述室内路网地图中的路网节点和节点间的路网边对定位轨迹进行纠偏，步骤4.4：构建栅格图像并计算当前轨迹点与可通行区域的几何关系进行纠偏。
[0011]作为优选的，所述使用图像深度预测算法估计真实场景中单目相机与障碍物的实际距离，根据所述实际距离对定位轨迹进行纠偏，具体包括：步骤4.1.1：读取单目相机上传感器的重力值，计算所述重力值在X、Y、Z三个方向上的分量，根据所述三个方向上的分量计算单目相机与水平面的夹角；若所述单目相机与水平面的夹角满足预设阈值条件，则执行步骤4.1.2，否则剔除单目相机采集的该图像；步骤4.1.2：实时读取筛选后的单目相机采集的图像，输入轻量级的全卷积残差网络中进行场景深度预测，输出预测深度图像，将所述预测深度图像中的二维像素坐标转换为三维点云坐标；步骤4.1.3：筛选所述三维点云坐标中距离相机较近的点云，将筛选后的点云网格化并根据障碍物在高程方向上垂直连续的几何特征识别出障碍物，计算单目相机和所述障碍物平面的垂线距离；步骤4.1.4：根据单目相机的当前位姿，确定二维的所述预测深度图像中单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内定位方法，其特征在于，包括：步骤1：使用单目相机采集图像并构建视觉特征地图和室内路网地图，所述视觉特征地图包括视觉标签图像，所述视觉特征地图用于重定位单目相机，所述室内路网地图用于支撑导航路径的规划；步骤2：使用视觉惯性里程计的实时位姿解算方法，根据单目相机采集的图像和惯性测量单元采集的惯性测量单元数据解算出每一时刻单目相机的相对位姿；步骤3：根据所述视觉特征地图，在视觉词袋模型的基础上结合几何信息和语义信息对单目相机进行重定位，将单目相机的相对位姿变换为绝对位姿；步骤4：结合所述室内路网地图、栅格地图和实景深度对单目相机的所述绝对位姿进行定位轨迹纠偏，得到纠偏后的定位轨迹。2.根据权利要求1所述的室内定位方法，其特征在于：根据所述视觉特征地图，在视觉词袋模型的基础上结合几何信息和语义信息对单目相机进行重定位，将单目相机的相对位姿变换为绝对位姿，具体包括：步骤3.1：使用左右分幅策略补充图像的几何信息，使用深度学习语义分割模型强化图像的语义信息，结合所述结合几何信息和语义信息使用视觉词袋模型计算图像的相似度；步骤3.2：对相似度得分超过预设阈值的两张图像分别进行特征点提取和暴力匹配，确定当前测试图像和匹配的视觉标签图像的2d
‑
2d特征点的对应关系；步骤3.3：根据当前测试图像和匹配的视觉标签图像的2d
‑
2d特征点的对应关系以及视觉特征地图中视觉标签图像的2d特征点和3d地理坐标的对应关系，求解对应关系之间的变换旋转向量和平移向量；使用所述变换旋转向量和平移向量对当前匹配的视觉标签图像的单目相机位姿进行平移旋转变换得到当前单目相机在世界坐标系中的绝对位姿。3.根据权利要求2所述的室内定位方法，其特征在于：所述使用左右分幅策略补充图像的几何信息，使用深度学习语义分割模型强化图像的语义信息，结合所述结合几何信息和语义信息使用视觉词袋模型计算图像的相似度，具体包括：步骤3.1.1：使用轻量级网络对所有视觉标签图像进行目标检测，找出待掩膜的噪声目标，剔除噪声目标的图像特征点得到掩膜后的图像特征点及其描述子；步骤3.1.2：对图像进行左右两侧的对半分幅，将掩膜后的图像特征点和描述子分别存入左图、右图两个不同的数据库中，其中视觉特征地图中的视觉标签图像作为预存数据优先存储，实时获取的图像帧作为测试数据逐帧存储；步骤3.1.3：分别计算掩膜后的所有视觉标签图像左图与当前测试图像左图、所有视觉标签图像右图与当前测试图像右图的相似度得分，再将两个得分相加作为最终的相似度得分。4.根据权利要求1
‑
3任一项所述的室内定位方法，其特征在于：结合所述室内路网地图、栅格地图和实景深度对单目相机的所述绝对位姿进行定位轨迹纠偏，具体包括：步骤4.1：使用图像深度预测算法估计真实场景中单目相机与障碍物的实际距离，根据所述实际距离对定位轨迹进行纠偏；步骤4.2：在使用实景深度纠偏后，判断室内场景的类型，若此时的室内场景狭窄交错则执行步骤4.3，若此时的室内场景开阔空旷则执行步骤4.4；步骤4.3：根据所述室内路网地图中的路网节点和节点间的路网边对定位轨迹进行纠
偏，步骤4.4：构建栅格图像并计算当前轨迹点与可通行区域的几何关系进行纠偏。5.根据权利要求4所述的室内定位方法，其特征在于：所述使用图像深度预测算法估计真实场景中单目相机与障碍物的实际距离，根据所述实际距离对定位轨迹进行纠偏，具体包括：步骤4.1.1：读取单目相机上传感器的重力值，计算所述重力值在X、Y、Z三个方向上的分量，根据所述三个方向上的分量计算单目相机与水平面的夹...

【专利技术属性】
技术研发人员：沈姜威，王涛，蒋如乔，钱程扬，
申请(专利权)人：苏州工业园区测绘地理信息有限公司，
类型：发明
国别省市：