【技术实现步骤摘要】
本申请涉及三维重建领域，特别是涉及一种基于图像相似度及共视图传递的建图系统、方法、计算机设备和计算机可读存储介质。
技术介绍
1、在增强现实(augmented reality，简称为ar)领域，用户可以使用手机、佩戴ar眼镜等设备，进行虚实融合的的线下空间ar体验。
2、为了实现大空间的ar体验，常规做法是使用slam、sfm配合尺度恢复等视觉三维重建算法，提前在该环境建立ar地图；进一步的，根据需求制作摆放ar内容。用户通过视觉定位，融合ar眼镜的slam模块，计算高帧率(如72hz)的摄像头相对于ar地图的变换关系transform，把用户局部跟踪的位姿转换成ar地图坐标系下的位姿，即可通过该位姿体验到该空间下的ar内容。
3、在相关技术中，线下场景中经常会遇到人造或自然的重复纹理，例如，商场环境下，常见的电梯间、消火栓、分布在不同空间的同一种品牌logo等重复纹理，这些重复纹理，会造成图像错误匹配，进而导致建图错误。
4、在大空间ar体验场景，当存在重复纹理导致建图失败时，由于地图范围较大且图像特征繁多，几乎不可能通过人工筛选的方式修复地图，因此，导致地图的修复成本巨大。
技术实现思路
1、本申请实施例提供了一种基于图像相似度及共视图传递的建图系统、方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中三维地图建图容易出错且难以修复的问题。
2、第一方面，本申请实施例提供了一种基于图像相似度及共视图传递的建图系统，所
3、所述相似度模块用于，基于各个图像匹配对中已匹配特征点对应区域之间的相似度和未匹配特征点对应区域之间的相似度，确定错误匹配对，并根据所述错误匹配对中的图像对匹配区域的特征点进行聚类，以确定重复纹理区域；
4、所述共视图传递模块用于，用于根据各个图像匹配对的共视图，获取所述错误匹配对中各个误匹配图像对应的传递图像，并根据所述传递图像在所述误匹配图像的投影结果进行聚类，以确定重复纹理区域；
5、所述建图模块用于，从原始图像构建的图像匹配中，删除所述重复纹理区域的特征点匹配对之后得到优化后匹配对，基于所述优化后匹配对进行三维重建。
6、在其中一些实施例中，所述相似度模块包括提取模块和筛选模块，其中：
7、所述提取模块用于，获取任意一个图像匹配对中的已匹配特征点和未匹配特征点，并通过ransac对所述已匹配特征点进行几何校验；
8、所述筛选模块用于，分别根据所述已匹配特征点和所述未匹配特征点，确定图像对未匹配区域和图像对已匹配区域，并通过图像相似度算法，根据所述图像匹配对中两个图像之间定图像对未匹配区域和图像对已匹配区域的相似度，确定所述错误匹配对。
9、在其中一些实施例中，所述筛选模块包括算法处理模块和比较模块，其中：
10、所述算法处理模块用于，根据图像相似度算法，获取所述图像匹配对中两个图像之间图像对已匹配区域的相似度，得到第一相似度，
11、以及，获取所述图像匹配对中两个图像之间图像对未匹配区域的相似度，得到第二相似度；
12、所述比较模块用于，基于所述第一相似度和所述第二相似度，通过预设策略获取各个匹配对的相似度分值，并通过将所述相似度分值与预设分值区间比较，从所有匹配对中确定所述错误匹配对。
13、在其中一些实施例中，所述系统还包括校验模块，所述校验模块用于，在确定所述错误匹配对之后：
14、根据所述错误匹配对中的任意一张图像与其他图像形成的匹配对的数量，从所述错误匹配对中获取第一错误匹配对；
15、以及，判断所述第一错误匹配中内所有共视特征点数量是否大于第一预设阈值，若是，将其保存为第二错误匹配对，并发送校验成功信息至所述相似度模块，以指示所述相似度模块：据所述第二错误匹配对中图像对匹配区域的特征点进行聚类，以确定所述重复纹理区域。
16、在其中一些实施例中，所述校验模块还用于：
17、基于所述投影结果，获取落入所述异常区域内的投影点数量，在所述传递图像中，获取投影点数量大于第二预设阈值的目标传递图像；
18、将所述目标传递图像发送至所述共视图模块，以指示所述共视图模块，根据所述目标传递图像中落入所述图像对匹配区域内的特征点进行聚类，以确定所述重复纹理区域。
19、在其中一些实施例中，所述建图模块包括特征点匹配对删除模块和三维重建模块，其中：
20、所述特征点匹配对删除模块，用于通过循环合并迭代删除机制，根据所述聚类的结果进行重复纹理特征点匹配对删除，得到所述优化后匹配对；
21、所述三维重建模块，用于基于所述优化后匹配对进行三维sfm重建。得到不包含重复纹理区域的三维地图。
22、第二方面，本申请实施例还提供了一种基于图像相似度及共视图传递的建图方法，所述方法包括：
23、基于各个图像匹配对中已匹配特征对应区域之间的相似度和未匹配特征点对应区域之间的相似度，确定错误匹配对，并根据所述错误匹配对中的图像对匹配区域的特征点进行聚类，以确定重复纹理区域；
24、根据各个图像匹配对的共视图，获取所述错误匹配对中各个误匹配图像对应的传递图像，并根据所述传递图像在所述误匹配图像的投影结果进行聚类，以确定重复纹理区域；
25、从原始图像构建的图像匹配中，删除所述重复纹理区域的特征点匹配对之后得到优化后匹配对，基于所述优化后匹配对进行三维重建。
26、在其中一些实施例中，基于各个图像匹配对中已匹配特征点之间的相似度和未匹配特征点之间的相似度，确定错误匹配包括：
27、获取任意一个图像匹配对中的已匹配特征点和未匹配特征点，并通过ransac对所述已匹配特征点进行几何校验；
28、通过图像相似度算法，根据所述图像匹配对中两个图像之间已匹配特征点的相似度和未匹配特征点的相似度，确定所述错误匹配对。
29、第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第二方面所述的方法。
30、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第二方面所述的方法。
31、相比于相关技术，本申请实施例提供的基于图像相似度及共视图传递的建图系统，相比较于传统方式中依靠人工删选剔除错误匹配对的方法，在无需人员参与下，即可自动化在删除存在重复纹理的凸包区域的特征点匹配对之后进行三维重建，得到的场景地图将具备更好的精度和定位成功率；
32、此外，本模块结合校验模块对各个重复纹理区域进行校验，从而得到真实性更高的重复纹理区域，使得系统不会误删除非重复纹理的特征点匹配对，提升了建图过程的安全性；...
【技术保护点】
1.一种基于图像相似度及共视图传递的建图系统，其特征在于，所述系统包括：相似度模块、共视图传递模块和建图模块，其中：
2.根据权利要求1所述的系统，其特征在于，所述相似度模块包括提取模块和筛选模块，其中：
3.根据权利要求2所述的系统，其特征在于，所述筛选模块包括算法处理模块和比较模块，其中：
4.根据权利要求1所述的系统，其特征在于，所述系统还包括校验模块，所述校验模块用于，在确定所述错误匹配对之后：
5.根据权利要求4所述的系统，其特征在于，所述校验模块还用于：
6.根据权利要求1所述的系统，其特征在于，所述建图模块包括特征点匹配对删除模块和三维重建模块，其中：
7.一种基于图像相似度及共视图传递的建图方法，其特征在于，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，基于各个图像匹配对中已匹配特征点对应区域之间的相似度和未匹配特征点对应区域之间的相似度，确定错误匹配对包括：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7至8中任一项所述的方法。
...【技术特征摘要】
1.一种基于图像相似度及共视图传递的建图系统，其特征在于，所述系统包括：相似度模块、共视图传递模块和建图模块，其中：
2.根据权利要求1所述的系统，其特征在于，所述相似度模块包括提取模块和筛选模块，其中：
3.根据权利要求2所述的系统，其特征在于，所述筛选模块包括算法处理模块和比较模块，其中：
4.根据权利要求1所述的系统，其特征在于，所述系统还包括校验模块，所述校验模块用于，在确定所述错误匹配对之后：
5.根据权利要求4所述的系统，其特征在于，所述校验模块还用于：
6.根据权利要求1所述的系统，其特征在于，所述建图模块包括特征点匹配对删除...
【专利技术属性】
技术研发人员：毛扬军，王成，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。