一种视觉重定位方法、装置、设备及存储介质制造方法及图纸

本申请提供一种视觉重定位方法、装置、电子设备及存储介质，通过获取用于视觉重定位的第一图像；从地图数据库中获取与第一图像匹配的第二图像；分别提取第一图像和第二图像中目标区域的图像信息，所述图像信息包括主方向和角点；根据图像信息对第一图像进行位姿估计，得到第一图像的初始位姿；基于初始位姿，对第一图像和第二图像中的特征点进行匹配以生成匹配点对，根据生成的所有匹配点对进行位姿估计，得到第一图像的位姿。本方案中，视觉重定位结合了目标区域的图像信息，而非完全依赖特征提取来恢复位姿，目标区域的图像信息基本不会变化且对光照变化不敏感，解决了目前视觉重定位对光照变化敏感的问题，实现了快速又鲁棒的视觉重定位。视觉重定位。视觉重定位。

【技术实现步骤摘要】
一种视觉重定位方法、装置、设备及存储介质


[0001]本申请涉及视觉导航
，具体涉及一种视觉重定位方法、装置、设备及存储介质。

技术介绍

[0002]VSLAM(Visual Simultaneous Localization and Mapping，视觉同时定位和建图)是一个集合了视觉里程计、建图和重定位的算法系统，近年来发展很快。在AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、机器人(例如，扫地机器人、服务机器人等)、无人驾驶设备(例如，无人驾驶汽车、无人机)等领域中得到广泛应用。
[0003]重定位算法主要是解决定位失败的相机基于全局地图重新搜索自身的位置信息的过程，也就是在已有地图上恢复位姿的过程。
[0004]最传统的方式是基于特征点来做重定位，当前图片中2D特征点和已知的3D地图中的特征点利用描述子进行匹配，而后再根据匹配上的点集计算相机到地图的变换关系，即在地图中的位姿。优点是解释性强、稳定、快速；难点在于特征点对于相机的角度变换、光照的变换是比较敏感的，在这些情况下，特征点的匹配精度比较低，所以导致定位难以快速恢复。
[0005]随着深度学习的发展，可以利用神经网络强大的特征学习和拟合能力来做重定位。根据网络的不同任务，出现基于特征学习和回归的两种方法。优点是鲁棒性比较好，抗光照以及环境变化影响，缺点是深度学习对内存以及计算资源需求很大，在现有嵌入式产品中基本无法使用。

技术实现思路

[0006]本申请的目的是提供一种视觉重定位方法及装置、一种自主移动设备、一种电子设备以及一种计算机可读存储介质。
[0007]本申请第一方面提供一种视觉重定位方法，包括：
[0008]获取用于视觉重定位的第一图像；
[0009]从地图数据库中获取与第一图像匹配的第二图像，第一图像和第二图像中均包括目标区域；
[0010]分别提取第一图像和第二图像中目标区域的图像信息，所述图像信息包括主方向和角点；
[0011]根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计，得到第一图像的初始位姿；
[0012]基于第一图像的初始位姿，对第一图像和第二图像中的特征点进行匹配以生成匹配点对，根据生成的所有匹配点对进行位姿估计，得到第一图像的位姿。
[0013]在一种可能的实现方式中，所述分别提取第一图像和第二图像中目标区域的图像
信息之前，还包括：
[0014]对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对；
[0015]确定生成的初始匹配点对的数量小于预设阈值。
[0016]在一种可能的实现方式中，所述目标区域包括天花板区域；提取所述第一图像中目标区域的图像信息，包括：
[0017]对所述第一图像进行逆透视变换，得到仰视天花板区域的变换图像；
[0018]提取所述变换图像中天花板区域的图像信息。
[0019]在一种可能的实现方式中，所述提取所述变换图像中天花板区域的图像信息，包括：
[0020]基于霍夫变换提取所述变换图像中天花板区域的主方向；
[0021]基于角点检测提取所述变换图像中天花板区域的角点。
[0022]在一种可能的实现方式中，所述基于霍夫变换提取所述变换图像中天花板区域的主方向，包括：
[0023]基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线；
[0024]将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。
[0025]在一种可能的实现方式中，所述根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计，得到第一图像的初始位姿，包括：
[0026]比较第一图像和第二图像中目标区域的主方向，得到第一图像对应的偏航角；
[0027]比较第一图像和第二图像中目标区域的角点的平移信息，得到第一图像对应的坐标；
[0028]根据第一图像对应的偏航角和坐标得到第一图像的初始位姿。
[0029]在一种可能的实现方式中，所述从地图数据库中获取与第一图像匹配的第二图像，包括：
[0030]从地图数据库中获取与第一图像相似度最大的第二图像。
[0031]本申请第二方面提供一种自主移动设备，包括：
[0032]图像传感器，用于采集用于视觉重定位的第一图像；
[0033]存储器，用于存储地图数据库；
[0034]处理器，用于从所述存储器存储的地图数据库中获取与所述图像传感器采集的第一图像匹配的第二图像，第一图像和第二图像中均包括目标区域，分别提取第一图像和第二图像中目标区域的图像信息，所述图像信息包括主方向和角点，根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计，得到第一图像的初始位姿，基于第一图像的初始位姿，对第一图像和第二图像中的特征点进行匹配以生成匹配点对，根据生成的所有匹配点对进行位姿估计，得到第一图像的位姿。
[0035]本申请第三方面提供一种视觉重定位装置，包括：
[0036]第一获取模块，用于获取用于视觉重定位的第一图像；
[0037]第二获取模块，用于从地图数据库中获取与第一图像匹配的第二图像，第一图像和第二图像中均包括目标区域；
[0038]区域提取模块，用于分别提取第一图像和第二图像中目标区域的图像信息，所述图像信息包括主方向和角点；
[0039]第一位姿估计模块，用于根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计，得到第一图像的初始位姿；
[0040]第二位姿估计模块，用于基于第一图像的初始位姿，对第一图像和第二图像中的特征点进行匹配以生成匹配点对，根据生成的所有匹配点对进行位姿估计，得到第一图像的位姿。
[0041]在一种可能的实现方式中，所述第二位姿估计模块，还用于在所述区域提取模块分别提取第一图像和第二图像中目标区域的图像信息之前，对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对；
[0042]确定生成的初始匹配点对的数量小于预设阈值。
[0043]在一种可能的实现方式中，所述目标区域包括天花板区域；
[0044]所述区域提取模块，具体用于：
[0045]对所述第一图像进行逆透视变换，得到仰视天花板区域的变换图像；
[0046]提取所述变换图像中天花板区域的图像信息。
[0047]在一种可能的实现方式中，所述区域提取模块，具体用于：
[0048]基于霍夫变换提取所述变换图像中天花板区域的主方向；
[0049]基于角点检测提取所述变换图像中天花板区域的角点。
[0050]在一种可能的实现方式中，所述区域提取模块，具体用于：
[0051]基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线；
[0052]将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。
...

【技术保护点】

【技术特征摘要】
1.一种视觉重定位方法，其特征在于，包括：获取用于视觉重定位的第一图像；从地图数据库中获取与第一图像匹配的第二图像，第一图像和第二图像中均包括目标区域；分别提取第一图像和第二图像中目标区域的图像信息，所述图像信息包括主方向和角点；根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计，得到第一图像的初始位姿；基于第一图像的初始位姿，对第一图像和第二图像中的特征点进行匹配以生成匹配点对，根据生成的所有匹配点对进行位姿估计，得到第一图像的位姿。2.根据权利要求1所述的方法，其特征在于，所述分别提取第一图像和第二图像中目标区域的图像信息之前，还包括：对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对；确定生成的初始匹配点对的数量小于预设阈值。3.根据权利要求1所述的方法，其特征在于，所述目标区域包括天花板区域；提取所述第一图像中目标区域的图像信息，包括：对所述第一图像进行逆透视变换，得到仰视天花板区域的变换图像；提取所述变换图像中天花板区域的图像信息。4.根据权利要求3所述的方法，其特征在于，所述提取所述变换图像中天花板区域的图像信息，包括：基于霍夫变换提取所述变换图像中天花板区域的主方向；基于角点检测提取所述变换图像中天花板区域的角点。5.根据权利要求4所述的方法，其特征在于，所述基于霍夫变换提取所述变换图像中天花板区域的主方向，包括：基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线；将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。6.根据权利要求1所述的方法，其特征在于，所述根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计，得到第一图像的初始位姿，包括：比较第一图像和第二图像中目标区域的主方向，得到第一图像对应的偏航角；比较第一图像和第二图像中目标区域的角点的平移信息，得到第一图像对应的坐标；根据第一图像对应的偏航角和坐标得到...

【专利技术属性】
技术研发人员：王晓佳，
申请(专利权)人：杭州萤石软件有限公司，
类型：发明
国别省市：