本公开具体涉及基于图像的三维重建方法及装置、计算机可读介质以及电子设备。方法包括：采集图像序列并获取定位信息；在图像序列中选取第一图像后序的连续多帧后序图像，对第一图像与各后序图像进行特征点匹配以筛选与第一图像匹配的后序图像，生成第一图像匹配对并建立第一图像与后序图像的匹配关系；以及利用定位信息在图像序列中筛选与第一图像位置匹配的第二图像集合，对第一图像与第二图像集合中的各图像进行特征点匹配以筛选与第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与第二图像的匹配关系；基于第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；基于全局匹配关系对图像序列三维重建。配关系对图像序列三维重建。配关系对图像序列三维重建。
【技术实现步骤摘要】
基于图像的三维重建处理方法及装置
[0001]本公开涉及图像处理
，具体涉及一种基于图像的三维重建方法、一种基于图像的三维重建装置、一种计算机可读介质以及一种电子设备。
技术介绍
[0002]在计算机视觉领域，三维重建是一个研究重点。一般来说，现有技术中常用的三维重建算法包括：SFM(Structure from motion，运动恢复结构)技术、Dynamic Fusion(动态融合)算法、Bundle Fusion(捆绑融合)算法等等。在相关技术中，大多采用基于图像特征进行匹配筛选的方式，比较依赖图像特征描述子的鲁棒性。然而对于局部相似纹理，图像特征并不能有效解决此种场景重建。例如，相同的标志牌或logo出现在不同地方时，可能会出现错误匹配；即，将不属于同一处地方的图片相互关联，这会严重降低三维重建的精度，甚至导致建图失败。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0004]本公开提供一种基于图像的三维重建方法、一种基于图像的三维重建装置、一种计算机可读介质以及一种电子设备，能够有效的避免图像误匹配的情况，提升重建地图的精度。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本公开的第一方面，提供一种基于图像的三维重建方法，包括：
[0007]采集图像序列，并获取各图像的定位信息；
[0008]在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及
[0009]利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系；
[0010]基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
[0011]根据本公开的第二方面，提供一种基于图像的三维重建装置，包括：
[0012]数据采集模块，用于采集图像序列，并获取各图像的定位信息；
[0013]第一图像匹配模块，用于在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一
图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及
[0014]第二图像匹配模块，用于利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系；
[0015]重建模块，用于基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
[0016]根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于图像的三维重建方法。
[0017]根据本公开的第四方面，提供一种电子设备，包括：
[0018]一个或多个处理器；
[0019]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的基于图像的三维重建方法。
[0020]本公开的一种实施例所提供的基于图像的三维重建方法，首先采集图像序列，并在采集图像时标记各图像的定位信息；利用各图像之后的连续多帧后续图像进行匹配图像的筛选并建立匹配关系；在建立上述的匹配关系之后，再利用各图像对应的定位信息进行再次筛选位置匹配的图像，并计算位置匹配的图像之间的特征匹配关系，从而能够根据位置信息实现回环检测；实现了仅对相同空间位置附件的图像进行非序列化的匹配，进而极大减少了错误回环匹配，提升了建图精度以及鲁棒性。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1示意性示出本公开示例性实施例中一种基于图像的三维重建方法的流程示意图；
[0024]图2示意性示出本公开示例性实施例中一种图像采集方法的流程示意图；
[0025]图3示意性示出本公开示例性实施例中一种图像匹配方法的流程示意图；
[0026]图4示意性示出本公开示例性实施例中一种基于图像的三维重建装置的组成示意图；
[0027]图5示意性示出本公开示例性实施例中一种电子设备的结构示意图。
具体实施方式
[0028]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加
全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0029]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0030]在计算机视觉的相关技术中，通常使用SFM技术来恢复三维环境的空间结构。传统的SFM算法一般包括：特征提取与匹配、计算初始匹配对及点云、光束平差、然后重复添加新的图像帧数据再结合一定策略进行光束平差等步骤依次进行来实现三维重建。对于序列化的图像输入在特征匹配环节常见的方法主要有两种：一种为序列化匹配，另一种则为全局暴力匹配。其中序列化匹配在大尺度环境下会由于累计误差积累过大导致无法形成回环。为了保证最终地图在一个大尺度环境下仍与实际地图保持一致，常使用暴力搜索对所有的图像进行特征的匹配计算，来增加一些回环图像对，减少累计误差。但这样的方式使得计算量较大、耗时较长。基于此，现有的方法通常还是基于图像特征进行匹配筛选，比较依赖图像特征描述子的鲁本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像的三维重建方法，其特征在于，包括：采集图像序列，并获取各图像的定位信息；在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系；基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。2.根据权利要求1所述的基于图像的三维重建方法，其特征在于，所述采集图像序列，并获取各图像的定位信息，包括：响应于图像采集指令，激活单目相机进行RGB图像采集；以及调用超宽带驱动程序，以获取采集所述RGB图像时的位置信息，并将该位置信息配置为所述RGB图像的定位信息。3.根据权利要求1所述的基于图像的三维重建方法，其特征在于，所述对所述第一图像与所述后序图像进行特征点匹配，以筛选所述第一图像匹配的后序图像，并建立所述第一图像与所述后序图像的匹配关系，包括：对所述第一图像和后序图像进行特征提取以获取二维特征点，以及各所述二维特征点对应的特征描述子；利用所述特征描述子计算所述第一图像与后序图像之间特征点的距离，并将距离小于预设阈值的特征点建立所述第一图像与后序图像之间的特征点匹配对；基于上述第一图像和所述后序图像构建对应的基础矩阵，基于所述基础矩阵利用随机抽样一致性算法对所述特征点匹配对进行筛选；若筛选后的特征点匹配数量大于预设阈值，则判断所述第一图像与所述后序图像匹配并建立所述第一图像与所述后序图像之间的匹配关系。4.根据权利要求1所述的基于图像的三维重建方法，其特征在于，所述利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，包括：分别计算所述第一图像的定位信息与所述图像序列中的其他图像的定位信息之间的距离；若所述距离小于预设距离阈值，则将对应的图像添加至所述第二图像集合。5.根据权利要求1或3所述的基于图像的三维重建方法，其特征在于，所述生成第一图像匹配对并建立所述第一图像与所述后序图像...
【专利技术属性】
技术研发人员：宁海宽，李姬俊男，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。