一种大规模无序图像快速运动恢复结构的方法及系统技术方案

本发明专利技术公开了一种大规模无序图像快速运动恢复结构的方法及系统，首先，提出了一种多层图贪心策略从图像集合中选择多个核；其次，将所有图像按照它们到核的最优重建路径进行聚类，并提出了一种分层最短路径算法寻找最优重建路径；最后，提出了一种径向融合聚类方法将一个图像聚类中的非核图像划分成平衡的子类，使其在不降低精度的同时，可以并行处理，数据划分结束后，按照分层的策略对其进行重建，重建完成后，对得到的若干个独立的子模型进行合并，最后将合并了叶子聚类模型的基模型进行合并，得到完整的模型。可以显著提高重建效率，还可以解决由图像分布不均、场景重叠不连续导致的重建精确度和完整度问题。

Method and system for large scale unordered image fast motion recovery structure

The invention discloses a system and a large-scale, fast image disorder structure from motion method firstly, proposes a multi-level greedy strategy from multiple nuclear collection image; secondly, all images according to their optimal path to the reconstruction of nuclear cluster, and proposed a hierarchical shortest path algorithm to find the optimal path of reconstruction; finally, proposes a radial fusion clustering method to an image clustering in the image is divided into non nuclear balance subclasses, the accuracy is not decreased at the same time, can be processed in parallel, data partition after the end, in accordance with the hierarchical strategy for the reconstruction of the reconstruction after the completion of the merger of several independent sub model, finally merge based model leaves clustering model combined with a full model. It can significantly improve the reconstruction efficiency, but also can solve the problem of the reconstruction accuracy and integrity caused by the uneven distribution of the image and the overlap of the scene.

【技术实现步骤摘要】

本专利技术属于计算机视觉
，更具体地，涉及一种大规模无序图像快速运动恢复结构的方法及系统。
技术介绍
从图像中恢复场景真实的三维结构，是计算机视觉技术的一个重要应用。随着成像设备的普及和互联网的发展，利用网络图像进行重建，可大大简化数据采集过程，降低数据获取成本，成为近年来的研究热点。然而，网络图像具有数据量大、图象重叠关系未知、相机参数未知等特点，给重建算法带来了新的挑战。目前，针对大规模无序图像集合，通常采用运动恢复结构(StructurefromMotion，SFM)方法进行重建。典型的SFM流程主要包含三个步骤。1)图像匹配。在每幅图像上分别提取特征点，并对图像间的特征点进行匹配，然后，利用误匹配剔除算法剔除错误匹配。2)重建初始模型。从图像集合中选取两幅初始图像，并用其重建初始三维模型，选取的两幅图像应满足：拥有最多的特征匹配个数，同时具有较宽的基线。3)添加新的图像。不断从剩下的图像中选出和当前三维模型有重叠的图像，加入当前模型，估计其相机姿态，并引入新的三维点。新的图像的相机参数由n点透视(Perspective-n-Point，PnP)算法求出，并利用集束调整(BundleAdjustment，BA)算法进一步优化。如果一个图像对应的相机参数被估计出来，则这幅图像被称作已经标定的图像；反之，称其为未标定图像。虽然上述方法在中小规模数据上得到了广泛应用，但是无法适应大规模数据处理的需要。首先，当图像数量很多时，顺序地添加这些图像会消耗大量的时间。其次，图像在空间中不是均匀分布的，如果三维结构通过重叠较弱的图像进行传递，会产生较大的误差。最后，图像间的重叠可能是不连续的，采用一个起点重建可能会因为缺少场景重叠断掉。因此，需要在数据分析的基础上，合理地将图像集合划分成多个适合重建的子集，并选取多个最优的重建起点进行重建。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种大规模无序图像快速运动恢复结构的方法及系统，首先，提出了一种多层图贪心策略从图像集合中选择多个核；其次，将所有图像按照它们到核的最优重建路径进行聚类，并提出了一种分层最短路径算法寻找最优重建路径；最后，提出了一种径向融合聚类方法将一个图像聚类中的非核图像划分成平衡的子类，使其在不降低精度的同时，可以并行处理，从而可以显著提高重建效率。由此解决现有技术中大规模数据重建中的速度问题，以及由图像分布不均、场景重叠不连续导致的重建精确度和完整度问题。为实现上述目的，按照本专利技术的一个方面，提供了一种大规模无序图像快速运动恢复结构的方法，包括：(1)对于包含N幅图像的大规模无序图像集合，在每幅图像上提取特征点并对图像间的特征点进行匹配，根据匹配结果生成相似性匹配关系图S和差异性匹配关系图D，其中，N在103以上；(2)在相似性匹配关系图S中，采用多层贪心策略寻找多个核，在每个核中选择一幅起点图像，作为图像重建的起点；(3)在差异性匹配关系图D中，采用分层最短路径算法求取图像集合中核之外的每幅图像到核的最优重建路径，并根据最优重建路径将所有图像以核为中心划分成多个图像聚类，其中，每个图像聚类由两部分组成：一部分是位于中心的核，另一部分是核周围的图像，称为叶子图像，图像聚类的数目与核的数目一致；(4)采用径向融合聚类算法对各图像聚类中的叶子图像进一步划分，得到多个叶子图像聚类；(5)所有核独立地并行重建，每个核重建得到场景的一个基模型；(6)所有叶子图像聚类独立地并行重建，将每个叶子图像聚类加到其所属的核重建的基模型中，得到多个独立的子模型；(7)合并所有包含相同基模型的子模型，得到不同图像聚类的模型；(8)合并步骤(7)得到的图像聚类的模型，得到完整的场景模型。优选地，步骤(1)具体包括如下子步骤：(1.1)从N幅图像中的每幅图像上提取图像特征点，计算这些特征点的特征描述符，其中，N在103以上；(1.2)将每一幅图像I作为查询图像，利用图像检索方法检索I的K幅近邻图像，将图像I分别和这K幅图像进行特征点的匹配，并剔除误匹配的特征点，其中，I、K为正整数；(1.3)构建相似性匹配关系图S：生成N个顶点表示N幅图像，如果两幅图像之间的匹配特征点对数大于预设阈值，则在这两幅图像对应的顶点之间添加一条边，其中，边的权值nij表示图像i与图像j之间的匹配特征点对数，ni表示图像i与其他图像有匹配关系的特征点的数量，nj表示图像j与其他图像有匹配关系的特征点的数量；(1.4)构建差异性匹配关系图D：生成N个顶点表示N幅图像，如果两幅图像之间的匹配特征点对数大于预设阈值，则在这两幅图像对应的顶点之间添加一条边，边的权值dij＝1-sij；优选地，步骤(2)具体包括如下子步骤：(2.1)计算一组递减的边权阈值i＝1,2,...,k，将相似性匹配关系图S分成k层，第i层中只加入边权值大于θi的边，其中，a设置为大于或等于差异性匹配关系图S中的最小边权值的一个固定阈值，b为差异性匹配关系图S中的最大边权值，Ω为预设值；(2.2)从第1层至第k层，依次在每一层中寻找核，对于在第i层中找到的核，将核中包含的图像所对应的顶点从所有大于i的层中删除；(2.3)在每一个核中，寻找一幅图像作为重建的起点图像。优选地，步骤(2.2)具体包括如下子步骤：(2.2.1)初始化层次标号i＝1，核中包含的理想图像数量为m；(2.2.2)在第i层中求连通分量，并将第i层中所有连通分量按连通分量的大小进行降序排序，并初始化连通分量标号j＝1，其中，连通分量的大小表示连通分量包含的顶点的数量；(2.2.3)若第j个连通分量的大小大于ξ*m，则将第j个连通分量中的所有顶点对应的图像按照步骤(2)所述的方法寻找核，其中，ξ为预设值；(2.2.4)若第j个连通分量的大小大于m但是小于ξ*m，则将该连通分量中的所有顶点对应的图像组成一个核，并将该连通分量中的所有顶点从所有大于i的层中删除，标号j加一，并执行步骤(2.2.3)；(2.2.5)若第j个连通分量的大小小于m，则终止该层中寻找核的操作，并判断i＜k是否成立，若成立则将i加1，并执行步骤(2.2.2)，若不成立则执行步骤(2.3)；优选地，步骤(2.3)具体包括如下子步骤：(2.3.1)采用近邻传播聚类AP算法对核中的图像进行初始聚类，其中，AP聚类算法需要的吸引子系数根据相似性匹配关系图S中的边权值得到；(2.3.2)由AP聚类算法得到的所有初始聚类的中心，以及这些初始聚类的中心在相似性匹配关系图S上的邻接点集合，构成起点图像的候选集合；(2.3.3)对每一个候选集合中的图像v，计算该图像v的置信度：δ(v)＝hdeg(v)+β1·hsim(v)+β2·hndeg(v)，其中，hdeg(v)表示v在相似性匹配关系图S上的度，hsim(v)表示v在相似性匹配关系图S上和v邻接顶点的平均相似度，hndeg(v)表示v在相似性匹配关系图S上邻接顶点的度的平均值，β1和β2是权重系数；(2.3.4)将候选集合中置信度δ(v)最大时对应的图像作为核的起点图像。优选地，步骤(3)具体包括如下子步骤：(3.1)计算一组递增的边权阈值i＝1,2,...,L，将差异性匹配关系图D分成L层，第i层中只加入边权值小于φi的边，本文档来自技高网...

【技术保护点】
一种大规模无序图像快速运动恢复结构的方法，其特征在于，包括：(1)对于包含N幅图像的大规模无序图像集合，在每幅图像上提取特征点并对图像间的特征点进行匹配，根据匹配结果生成相似性匹配关系图S和差异性匹配关系图D，其中，N在103以上；(2)在相似性匹配关系图S中，采用多层贪心策略寻找多个核，在每个核中选择一幅起点图像，作为图像重建的起点；(3)在差异性匹配关系图D中，采用分层最短路径算法求取图像集合中核之外的每幅图像到核的最优重建路径，并根据最优重建路径将所有图像以核为中心划分成多个图像聚类，其中，每个图像聚类由两部分组成：一部分是位于中心的核，另一部分是核周围的图像，称为叶子图像，图像聚类的数目与核的数目一致；(4)采用径向融合聚类算法对各图像聚类中的叶子图像进一步划分，得到多个叶子图像聚类；(5)所有核独立地并行重建，每个核重建得到场景的一个基模型；(6)所有叶子图像聚类独立地并行重建，将每个叶子图像聚类加到其所属的核重建的基模型中，得到多个独立的子模型；(7)合并所有包含相同基模型的子模型，得到不同图像聚类的模型；(8)合并步骤(7)得到的图像聚类的模型，得到完整的场景模型。

【技术特征摘要】
1.一种大规模无序图像快速运动恢复结构的方法，其特征在于，包括：(1)对于包含N幅图像的大规模无序图像集合，在每幅图像上提取特征点并对图像间的特征点进行匹配，根据匹配结果生成相似性匹配关系图S和差异性匹配关系图D，其中，N在103以上；(2)在相似性匹配关系图S中，采用多层贪心策略寻找多个核，在每个核中选择一幅起点图像，作为图像重建的起点；(3)在差异性匹配关系图D中，采用分层最短路径算法求取图像集合中核之外的每幅图像到核的最优重建路径，并根据最优重建路径将所有图像以核为中心划分成多个图像聚类，其中，每个图像聚类由两部分组成：一部分是位于中心的核，另一部分是核周围的图像，称为叶子图像，图像聚类的数目与核的数目一致；(4)采用径向融合聚类算法对各图像聚类中的叶子图像进一步划分，得到多个叶子图像聚类；(5)所有核独立地并行重建，每个核重建得到场景的一个基模型；(6)所有叶子图像聚类独立地并行重建，将每个叶子图像聚类加到其所属的核重建的基模型中，得到多个独立的子模型；(7)合并所有包含相同基模型的子模型，得到不同图像聚类的模型；(8)合并步骤(7)得到的图像聚类的模型，得到完整的场景模型。2.根据权利要求1所述的方法，其特征在于，步骤(1)具体包括如下子步骤：(1.1)从N幅图像中的每幅图像上提取图像特征点，计算这些特征点的特征描述符，其中，N在103以上；(1.2)将每一幅图像I作为查询图像，利用图像检索方法检索I的K幅近邻图像，将图像I分别和这K幅图像进行特征点的匹配，并剔除误匹配的特征点，其中，I、K为正整数；(1.3)构建相似性匹配关系图S：生成N个顶点表示N幅图像，如果两幅图像之间的匹配特征点对数大于预设阈值，则在这两幅图像对应的顶点之间添加一条边，其中，边的权值nij表示图像i与图像j之间的匹配特征点对数，ni表示图像i与其他图像有匹配关系的特征点的数量，nj表示图像j与其他图像有匹配关系的特征点的数量；(1.4)构建差异性匹配关系图D：生成N个顶点表示N幅图像，如果两幅图像之间的匹配特征点对数大于预设阈值，则在这两幅图像对应的顶点之间添加一条边，边的权值dij＝1-sij。3.根据权利要求2所述的方法，其特征在于，步骤(2)具体包括如下子步骤：(2.1)计算一组递减的边权阈值i＝1,2,...,k，将相似性匹配关系图S分成k层，第i层中只加入边权值大于θi的边，其中，a设置为大于或等于差异性匹配关系图S中的最小边权值的一个固定阈值，b为差异性匹配关系图S中的最大边权值，Ω为预设值；(2.2)从第1层至第k层，依次在每一层中寻找核，对于在第i层中找到的核，将核中包含的图像所对应的顶点从所有大于i的层中删除；(2.3)在每一个核中，寻找一幅图像作为重建的起点图像。4.根据权利要求3所述的方法，其特征在于，步骤(2.2)具体包括如下子步骤：(2.2.1)初始化层次标号i＝1，核中包含的理想图像数量为m；(2.2.2)在第i层中求连通分量，并将第i层中所有连通分量按连通分量的大小进行降序排序，并初始化连通分量标号j＝1，其中，连通分量的大小表示连通分量包含的顶点的数量；(2.2.3)若第j个连通分量的大小大于ξ*m，则将第j个连通分量中的所有顶点对应的图像按照步骤(2)所述的方法寻找核，其中，ξ为预设值；(2.2.4)若第j个连通分量的大小大于m但是小于ξ*m，则将该连通分量中的所有顶点对应的图像组成一个核，并将该连通分量中的所有顶点从所有大于i的层中删除，标号j加一，并执行步骤(2.2.3)；(2.2.5)若第j个连通分量的大小小于m，则终止该层中寻找核的操作，并判断i＜k是否成立，若成立则将i加1，并执行步骤(2.2.2)，若不成立则执行步骤(2.3)。5.根据权利要求3所述的方法，其特征在于，步骤(2.3)具体包括如下子步骤：(2.3.1)采用近邻传播聚类AP算法对核中的图像进行初始聚类，其中，AP聚类算法需要的吸引子系数根据相似性匹配关系图S中的边权值得到；(2.3.2)由AP聚类算法得到的所有初始聚类的中心，以及这些初始聚类的中心在相似性匹配关系图S上的邻接点集合，构成起点图像的候选集合；(2.3.3)对每一个候选集合中的图像v，计算该图像v的置信度：δ(v)＝hdeg(v)+β1·hsim(v)+β2·hndeg(v)，其中，hdeg(v)表示v在相似性匹配关系图S上的度，hsim(v)表示v在相似性匹配关系图S上和v邻接顶点的平均相似度，hndeg(v)表示v在相似性匹配关系图S上邻接顶点的度的平均值，β1和β2是权重系数；(2.3.4)将候选集合中置信度δ(v)最大时对应的图像作为核的起点图像...

【专利技术属性】
技术研发人员：陶文兵，孙琨，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42