一种基于在线结构分析的室内场景实时重建方法技术

本发明专利技术公开了一种基于在线结构分析的室内场景实时重建方法，该方法采用深度相机作为输入，对每一帧输入的深度图进行逐像素的标记，将深度图中的各个平面及物体分别标记出来，利用标记将对应的平面和物体进行更新，然后合成新的深度图用于下一帧摄像机的位置的计算；本发明专利技术通过结构信息对KinectFusion进行了增强，能够将其中的平面和物体进行分割，通过实时分析，对结构信息进行更新，使得用户能够操纵整个扫描过程，减少了扫描的工作量；通过对平面结构，平面之间的相互关系，重复物体进行分析，能够进一步提高系统的稳定性，并使得结果更加精确。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，该方法采用深度相机作为输入，对每一帧输入的深度图进行逐像素的标记，将深度图中的各个平面及物体分别标记出来，利用标记将对应的平面和物体进行更新，然后合成新的深度图用于下一帧摄像机的位置的计算；本专利技术通过结构信息对KinectFusion进行了增强，能够将其中的平面和物体进行分割，通过实时分析，对结构信息进行更新，使得用户能够操纵整个扫描过程，减少了扫描的工作量；通过对平面结构，平面之间的相互关系，重复物体进行分析，能够进一步提高系统的稳定性，并使得结果更加精确。【专利说明】
本专利技术设计室内场景在线分析与实时重建技术，尤其涉及。
技术介绍
本专利技术相关的研究背景简述如下:1.基于深度相机的3D场景恢复 深度相机的一大优势就是其实时获取深度图像的能力，因此带动了深度相机在3D场景恢复中应用的普及。有代表性的算法是KinectFusion，通过GPU加速将深度图实时累加到均匀体素当中，并通过体素进行摄像机位置计算(Izadi, Shahram, etal.〃KinectFusion:real_time3D reconstruction and interaction using a movingdepth camera."Proceedings of the24th annual ACM symposium on User interfacesoftware and technology.ACM，2011)。为了使恢复的场景不受体素尺寸的限制，可以釆用移动体素的方法将不处于工作区域的体素换出(Roth, Henry, and MarsetteVona."Moving Volume KinectFusion.^BMVC.2012.;Whelan, Thomas,et al."Robusttracking for real-time dense RGB-D mapping with Kintinuous.〃(2012).还可以通过建立空间层次结构(Chen，Jiawen，Dennis Bautembachj and ShahramIzad1."Scalable real-time volumetric surface reconstruction.〃ACM Transactionson Graphics (TOG) 32.4(2013):113.)，或者空间哈希表实现大空间的存储(Nieflner，，Μ.，Zollhofer,，Μ.,Izadi, S., &Stamminger, M.(2013).Real-time3D reconstruction atscale using voxel hashing.ACM Transactions on Graphics (TOG), 32(6), 169.X尽管这些算法能够实时扫描高精度的3D数据，然而仍然受到深度相机输出噪声很大的影响，其精度远不足以主动形成封闭回路。因此便出现了离线计算的方法，对整个摄像机轨迹进行全局优化(Zhou, Q.Y.，&Koltun, V.(2013).Dense scene reconstructionwith points of interest.ACM Transactions on Graphics (TOG)，32 (4)，112.X 还有一种在扫描场景中进行回路检测的方法(Du, H.，Henry, P.，Ren, X.，Cheng, Μ.，Goldman, D.B., Seitz, S.M., &Fox, D.(2011,September).1nteractive3D modeling ofindoor environments with a consumer depth camera.1n Proceedings of thel3thinternational conference on Ubiquitous computing (pp.75-84).ACM.)。这些方法都没有利用结构信息，因此恢复精度依然会受到限制。2.结构分析在典型的室内场景中，结构化信息大量存在，比如人造的平面和立方体，平面之间的垂直或平行关系，以及重复出现的物体。这些结构化信息可以帮助3D重建，并提高重建精度。曼哈顿平面假设已经被用于基于图像的室内场景深度恢复(Furukawa, Y., Curless, B., Seitz, S.M., &Szeliski, R.(2009, June).Manhattan-worldstere0.1nComputer Vision and Pattern Recognition,2009.CVPR2009.1EEEConference on (pp.1422-1429).1EEE.)，还被用于室内场景3维布局，比如计算房间和方块形物体的形状和位置(Lee，D.C.，Hebert, Μ.，&Kanade，Τ.(2009，June).Geometric reasoning for single image structure recovery.1n Computer Visionand Pattern Recognition, 2009.CVPR2009.1EEE Conference on (pp.2136-2143).1EEE; Lee, D.C.，Gupta, A.，Hebert, M.，&Kanade，T.(2010，November).Estimating SpatialLayout of Rooms using Volumetric Reasoning about Objects and Surfaces.1nNIPS (Vol.1，N0.2，p.3) ;Del Peroj L.，Bowdishj J.，Fried, D.，Kermgardj B.，Hartley，E.，&Barnard，K.(2012,June).Bayesian geometric modeling of indoor scenes.1n Computer Vision and Pattern Recognition (CVPR),2012IEEE Conferenceon (pp.2719-2726).1EEE.)。在室外场景恢复中，可以从多视角利用图分割方法恢复出平M(Tomono, M.(2012, May).1mage-based planar reconstruction for dense roboticmapping.1n Robotics and Automation (ICRA)，2012IEEE International Conferenceon (pp.3005-3012).1EEE.)。这样可以很好地分割出室外平面物体，例如道路，人行道以及建筑平面。然而这些方法的输入都是图像，并且都是非实时的应用。平面检测已经被用于减小摄像机追踪的误差，并用于物体层次的场景分析(Taguchij Y.，Jianj Y.D.，Ramalingamj S.，&Feng，C.Point-Plane SLAM for 本文档来自技高网...

【技术保护点】
一种基于在线结构分析的室内场景实时重建方法，其特征在于，包括以下步骤：（1）体数据融合：首先根据上一帧深度图和摄像机位置，用ICP计算当前帧的摄像机位置，将当前帧深度图融合到体数据中去，并从当前帧的摄像机位置重新计算当前视点下体素隐式曲面的深度图，并从体数据中读出每一个体素的ID值，这个ID包含每一个体素的对应的平面或物体；（2）平面像素标记：对每一个像素，根据从体数据中读出的ID值，标记出已知平面，然后从未标记为平面的像素中识别出新的平面并进行标记；（3）物体像素标记：对所有还没有被标记为平面的像素，根据从体数据中读出的ID值，标记出已知物体，然后从未标记为平面或物体的像素中识别出新的物体并进行标记；（4）平面边界点标记：找出所有平面的边界点，记录下这些边界点对应的平面及空间坐标；（5）场景数据更新：根据从当前帧标记出的平面像素，以及平面的边界点，更新平面方程及平面的边界，或创建新的平面；根据平面的相互关系，对平面进一步修整；根据从当前帧标记出的物体像素，更新物体的包围盒，并搜索重复物体；最后将当前帧所有的标记都写入体素中，并根据标记合成出新的深度图，把合成的深度图用于下一帧摄像机位置计算。...

【技术特征摘要】

【专利技术属性】
技术研发人员：周昆，张译中，许威威，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33