基于同一场景散乱照片集的三维重构方法，分为３个阶段：第１阶段，两两图像特征匹配与相对相机运动估计；该阶段分为４个步骤：（１）对每两幅图像进行双向最近邻搜索与特征域约束，得到候选对应；（２）对候选对应进行视差域对应约束，得到假设对应；（３）对假设对应进行图像坐标标准化，求满足假设对应的本质矩阵估计；（４）分解本质矩阵得到相机运动的４组可能解，进行可容错正向深度约束确定最终解；第２阶段，基于第１阶段的结果选择最佳初始重构相机对，使用标准的稀疏重构方法，同时恢复相机姿态和场景的稀疏几何信息；第３阶段，基于第２阶段的结果进行选择性准密匹配，使用三角测量方法重建准密的３Ｄ场景点云模型。本发明专利技术既能获得可靠的相机姿态估计，又能得到高密度的场景几何信息，且大大缩短了重构时间，具有较高的重构效率，适合处理数据量较大的散乱照片集。
【技术实现步骤摘要】
本专利技术属于虚拟现实技术与计算机视觉领域，具体地说是由同一场景的散乱照片进行三 维重构，包括恢复相机的拍摄位置、方向和视域，以及稠密的3D场景点云模型，主要用于 对PC或Internet上数码照片资源进行三维组织、以及基于图像的绘制与浏览等。技术背景计算机视觉中，多视图几何的三维重建理论和算法在过去的二十几年里已经得到了较成 熟的发展，文献1—R. Hartley, and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2000.全面深入地推导并总结了相关理论和算法。针对相机已标定 或未标定的不同情况，由一组特征对应同时恢复未知的三维场景结构和相机位置的方法 (Structure from Motion, SfM)都已得到成功应用。但是传统的三维重构通常针对的是序列 图像，可由相机拍摄或从视频中提取序列图像帧，序列图像具备进行三维重构至关重要的良 好性质l)相继图像间的相机中心距离(基线)小，小基线能保证较好的特征匹配；2)图像 有序，非常有利于特征匹配、特征点跟踪串联的质量和效率，尤其是它们保证了相机较均匀 规则的运动，这对三维重构计算和相机运动参数的恢复有着决定性影响。然而随着数字摄像技术与Internet的迅速发展，有不可计数的图像资源在传播与共享，这 些图像的复杂性对基于图像的三维重构技术在Internet上的发展和应用提出了巨大挑战，这些 无组织、未定标的图像可能拍摄年代不同，且具有不同光照、不同分辨率、不同图像质量， 传统的三维重建方法已经远远不能满足这样的需求。文献2—M. Brown and D. Lowe， Unsupervised 3d Object Recognition and Reconstruction in Unordered Dataset， Proc. International Conf. on 3D Digital Imaging and Modeling, pp. 56-63, 2005. 提出了一种无监督的基于无序图像库的三维物体识别与重建方法，首先利用SIFT特征算子在 所有图像中寻找匹配，用RANSAC算法寻找满足基础矩阵约束的一致匹配，将每个匹配子集 看作一个三维物体的构成，然后分别用SfM (Structure from Motion)方法同时恢复相机运动 和三维物体几何信息。但该方法存在缺陷有l)假设匹配错误率非常高，经过RANSAC算法 剔除的错误匹配很少，计算的基础矩阵不可靠；2)以最佳匹配对作为SfM初始相机对，而 不考虑退化情况极易导致病态估计；3)恢复的几何信息是稀疏三维特征点，远不能满足视觉 需求。文献3~N. Snavely， S. Seitz, and R. Szeliski, Photo Tourism: Exploring Photo Collections in 3D, Proc. ACM Transactions on Graphics, 25(3):835-846， 2006.利用特征匹配和SfM方法自动 恢复相机姿态和场景的稀疏三维点，并结合视图变形、非真实感渲染等基于图像会制技术， 开发了一个端到端3D照片浏览系统，即为微软公司产品Photosynth的前身。其三维重建方 法类似文献2，主要改善了文献2方法的前两点缺陷1)提高了初始匹配特征域约束的比率 与RANSAC估计中的错误概率，提高了计算可靠性；2)进行初始相机姿态估计，更合理地 选择SfM过程的初始相机对，增加了对退化情况的检查，并利用EXIF数据中的焦距信息估 计初始相机内参。但重建结果仍然是稀疏的三维场景点，通过增加图像的办法可以获得更多 的三维特征点，但随着图像的增加，SfM过程的速度变的非常慢，根据文献3的实验数据， 需要花几天的时间处理1千张照片。文献4—M. Lhuillier, and L. Quan， A quasi-dense Approach to Surface Reconstruction from Uncalibrated Images, IEEE Trans on Pattern Analysis and Machine Intelligence, 27(3》418-433， 2005.提出了一种由未定标图像获取三维表面模型的准密方法。首先，通过由视差梯度和 ZNCC置信约束的最佳匹配传播，获得准密对应像素；其次，通过局部单应约束重采样，获 得子像素级别(8X8区域)的准密对应点；再次，利用RANSAC算法估计基础矩阵F，重新 进行增加F约束的最佳匹配传播和重采样，获得准密对应点；最后，再利用RANSAC估计基 础矩阵，并剔除异常准密对应点。该方法弥补了稀疏方法与稠密方法之间的空白，且增大了 良好匹配的基线宽度，但同样不适用于复杂情况，仅在相机内参变化较小时，对较大基线的 两幅视图能获得较好的准密匹配结果；当相机内参变换较大时，反而可能得到比稀疏匹配更 糟糕的结果；此外，该方法时间开销较大。文献1中方法是针对序列图像的稀疏重建；文献2研究了基于无序图像的稀疏重建方法， 得到的点模型不具有视觉表现力，且恢复的相机姿态可靠性差；文献3对文献2的方法进行 了改进，获得了较好的稀疏场景模型，但为此复出了巨大的时间开销；文献4中方法能够重 建出高密度的场景模型，但适用于序列图像的情况。上述各种方法均不能从同一场景的无序 散乱照片重建出高密度的3D场景点云模型，能够有效地降低时间开销，同时保证相机姿态 的可靠性。
技术实现思路
本专利技术的技术解决问题克服现有技术的不足，提供一种基于同一场景散乱照片集的三 维重构方法，该方法既能获得可靠的相机姿态估计，又能得到高密度的场景几何信息，且大 大縮短了重构时间，降低时间开销，具有较高的重构效率，适合处理数据量较大的散乱照片集。本专利技术的技术解决方案，分为3个阶段 第1阶段，两两图像特征匹配与相对相机运动估计，该阶段分为4个步骤(1) 对每两幅图像进行双向最近邻搜索与特征域约束，得到候选对应；(2) 对候选对应进行视差域对应约束，得到假设对应；G)对假设对应进行图像坐标标准化，以本质矩阵作为参数模型，求假设对应的参数模 型估计；再利用本质矩阵反约束假设对应，得到初步匹配；(4)分解本质矩阵得到相机运动的4组可能解，进行可容错正向深度约束，确定最终解； 再利用相机运动反约束初步匹配，得到最终匹配；第2阶段，基于第1阶段的结果进行初始重构相机对量化选择，然后再使用标准的稀疏 重构方法，同时恢复相机姿态和场景的稀疏几何信息；第3阶段，基于第2阶段的结果进行选择性准密匹配，再使用三角测量方法重建准密的 3D场景点云模型。所述第1阶段的步骤(l)中双向最近邻搜索与特征域约束的方法为对于两幅图像(//,/》， 首先，由用户设置正、逆向特征域约束比率巾，A;其次，对图像/7上的每个特征点p,在 图像/2上寻找4个最近邻作为潜在匹配;然后，进行正向特征域约束将第.5个最近邻视为 距离Q的误配，若潜在匹配距离与e/比值小于rt/，则为该潜在匹配在//上寻找1个最近邻； 最后，进行逆向特征域约本文档来自技高网...
【技术保护点】
基于同一场景散乱照片集的三维重构方法，其特征在于：所述的重构方法分为３个阶段，具体如下： 第１阶段，两两图像特征匹配与相对相机运动估计，该阶段分为４个步骤： （１）对每两幅图像进行双向最近邻搜索与特征域约束，得到候选对应； （２）对候选对应进行视差域对应约束，得到假设对应； （３）对假设对应进行图像坐标标准化，求假设对应的参数模型估计，得到本质矩阵；再利用本质矩阵反约束假设对应，得到初步匹配； （４）分解本质矩阵得到相机运动的４组可能解，进行可容错正向深度约束，确定最终解；再利用相机运动反约束初步匹配，得到最终匹配； 第２阶段，基于第１阶段的结果进行初始重构相机对量化选择，然后再使用标准的稀疏重构方法，同时恢复相机姿态和场景的稀疏几何信息； 第３阶段，基于第２阶段的结果进行选择性准密匹配，再使用三角测量方法重建准密的３Ｄ场景点云模型。
【技术特征摘要】
【专利技术属性】
技术研发人员：齐越，沈旭昆，何爽，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。