基于双层配准方法的室内三维场景重建方法技术

本发明专利技术属于计算机视觉与智能机器人的交叉领域，涉及一种基于双层配准方法的大范围室内场景的重建方法。解决了现有室内场景重建方法所需设备昂贵、计算复杂度高和实时性差的问题。该方法包括：Kinect标定，SURF特征点提取与匹配，特征点对到三维空间点对的映射，基于RANSAC与ICP方法的三维空间点双层配准，更新场景。本发明专利技术采用Kinect获取环境数据，基于RANSAC和ICP，提出双层配准方法，实现经济快速的室内三维场景重建，有效提高重建算法的实时性和重建精度。该方法可适用于服务机器人领域及其他与三维场景重建有关的计算机视觉领域。

【技术实现步骤摘要】

本专利技术属于计算机视觉与智能机器人的交叉领域，涉及一种室内环境三维重建技术，尤其涉及一种基于双层配准方法的大范围室内场景的重建方法。
技术介绍
近年来，随着信息技术的不断发展，对三维场景重建技术的需求不断增长，经济快速的室内三维场景重建方法成为诸多领域亟待解决的关键性技术问题。在家庭服务机器人领域，人口老龄化弓I发的智能家庭服务机器人市场需求日益强烈。目前，市场上大部分服务机器人因无法感知三维环境只能在特定的场景下提供单一简单的服务，这一问题严重制约着家庭服务机器人产业的发展。三维场景重建是计算机视觉、智能机器人、虚拟现实等领域的研究热点问题之一。传统的三维重建方法根据获取三维数据的方式不同可以分为两类:基于激光扫描技术的三维重建方法和基于视觉的三维重建方法。针对室内大范围的三维场景重建问题现有方法仍然存较大的局限性。基于激光的三维重建方法，通过激光扫描仪获取场景的深度数据或距离图像，利用深度数据的配准实现单帧数据与全局数据的对齐。这样只是获得了三维场景的几何信息，需要通过增加一台摄像机获取场景的纹理信息并映射到重建出几何模型上，这就要解决一个由照片到几何的映射问题。基于激光扫描的三维重建方法虽然可以获取较高精度的三维几何模型，但纹理映射的难度较大，从而生成具有真实感的三维模型比较困难，同时激光设备价格高昂，一般应用在数字考古、地形勘测、数字博物馆等领域，很难在大规模的民用领域普及。基于视觉的三维重建方法，即采用计算机视觉方法进行物体三维模型重建，是指利用数字摄像机作为图像传感器，综合运用图像处理视觉计算等技术进行非接触三维测量，用计算机程序获取物体的三维信息。其优势在于不受物体形状限制，重建速度较快，可以实现全自动或半自动建模等，是三维重建的一个重要发展方向。根据使用摄像机数目的不同，可以分为单目视觉法、双目视觉法、三目视觉法或多目视觉法。单目视觉法使用一台摄像机进行三维重建，通过图像的二维特征推导出深度信息，这些二维特征包括明暗、纹理、焦点、轮廓等。其优点是设备结构简单，使用单幅或少数几张图像就可以重建出物体三维模型。但是通常要求的条件比较理想化，实际应用情况不是很理想，重建效果一般。双目视觉法，也称立体视觉法，将双目视差信息转换为深度信息。其优点是方法成熟，能够稳定地获得较好的重建结果；不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。多目视觉法的基本思想是通过增加摄像机提供额外的约束，以此来避免双目视觉中的问题。其优点是重建效果优于双目视觉法，但设备结构更加复杂，成本更高，控制上也比较难。近年来，随着RGBD(彩色和深度)传感器技术的发展，比如微软推出的Kinect，为三维场景重建提供了新的方案。目前关于Kinect三维重建方法的研究在单一物体的三维重建方面取得了一些成果，在室内场景重建方面的研究仍处于起步阶段。RichardA.Newcombe等人采用Kinect获取环境信息，利用ICP方法，实现环境信息的三维重建。由于该方法在GPU硬件上实现，对GPU硬件配置要求较高，且受GPU内存的限制，只能重建3mX 3mX 3m的范围，无法满足大范围室内三维场景创建的需求。
技术实现思路
为了克服上述三维重建方法中存在的问题，本专利技术提供了一种经济快速的、。本专利技术采用的技术方案如下:利用Kinect获取环境的RGB和深度图像信息，通过提取RGB图像的SURF特征点，以特征点匹配信息作为关联数据，结合随机抽样一致性(Random sample Consensus,RANSAC)方法和迭代最临近点(Iterative closest point, ICP)方法，提出一种三维数据双层配准方法。该方法主要包括以下内容:第一，利用RANSAC方法获取相邻两中贞(Frame-To-Frame )三维数据的旋转平移变换矩阵，累积该结果获取Kinect的相对位置变化。通过设定阈值，当Kinect位置变化超过一定大小时增加一帧数据，将该数据设定为关键帧(KeyFrame)并完成初次配准；第二，利用ICP方法获取相邻关键帧(KeyFrame-To-KeyFrame )的精确变换矩阵，完成精确配准。利用双层配准方法获取的KeyFrame数据以及相邻KeyFrame间的变换矩阵,完成三维环境的重建。，其包括以下步骤:步骤一,进行Kinect标定。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数构成相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。在图像测量和机器视觉应用中，摄像机参数的标定是非常关键的环节，其标定结果的精度及稳定性直接影响最终结果的准确性。Kinect是一种微软发布的XB0X360体感周边外设，同时提供深度和彩色(RGB)图像信息。深度信息利用红外摄像机采用主动方式获取，每一帧由640*480像素组成，探测深度范围为0.5 4.0米，纵向角度范围为43°，横向角度范围为57°，可获取6平方米范围内物体的深度信息。同时，Kinect上装有一个640*480像素的RGB摄像头。同时提供RGB信息和深度信息这一特性对于三维重建至关重要，方便深度信息与RGB信息对齐。Kinect传感器的标定参数包括红外摄像机(深度传感器)内参，RGB摄像机内参以及红外摄像机与RGB摄像机之间的外参三个部分。本专利技术采用张正友的平面标定法对RGB摄像机进行标定。红外摄像机内参数以及红外摄像机与RGB摄像机之间的外参使用微软官方提供的数据。步骤二，特征点的提取与匹配。特征提取:通过分析图像信息，决定图像中的每个点是否属于一个图像特征。特征提取的结果是把图像上的点划分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。SURF (Speeded-Up RobustFeatures)特征点是目前计算图像特征最流行的方法，该方法提取的特征具有尺度不变、旋转不变的性能，同时对光照变化和仿射、透视变换具有不变性。SURF在重复度、独特性、鲁棒性3个方面，均超越或者接近以往提出的同类方法，并且在计算速度上具有明显的优势。本专利技术提取RGB图像的SURF特征点，包括特征点检测和特征点描述两个部分。采用基于欧氏距离的最邻近法进行特征点匹配，利用K-D树的数据结构进行搜索，根据最近两个特征点的距离比确定是否接受这一匹配对。步骤三，图像匹配点到三维坐标映射。根据Kinect的校正模型建立图像平面与空间三维点坐标间的转换关系，确定三维空间点到图像平面的投影模型，用下面的函数表示:U= (P)其中，P为三维空间点，U为图像平面坐标，π (P)表示空间三维点到图像平面的映射函数。通过图像特征点的匹配得到在图像平面的对应点对，利用三维空间点到图像平面的投影模型获取图像特征点对应的三维空间点坐标，进一步得到两帧数据对应的三维点对。步骤四，基于RANSAC与ICP的三维空间点双层配准。配准是指同一区域内以不同成像手段所获得的不同图像地理坐标的匹配。包括几何纠正、投影变换与统一比例尺三种处理。配准结果表示为矩阵:Tcw = 其中，下标“cw”表示从世界坐标系到当前Kinec本文档来自技高网...

【技术保护点】
一种基于双层配准方法的室内三维场景重建方法，其特征在于包括以下步骤：步骤一，进行Kinect标定，方法如下：（1）打印一张棋盘模板；（2）从多个角度拍摄棋盘；（3）检测出图像中的特征点，即棋盘的每一个黑色交叉点；（4）求出Kinect标定的参数：红外摄像机的内参矩阵Kir： K ir = f uIR 0 u IR 0 f vIR v IR 0 0 1 其中，(fuIR,fvIR)是红外摄像机的焦距，取值(5,5)，(uIR,vIR)是红外摄像机像平面中心坐标，取值(320,240)；RGB摄像机的内参数矩阵Kc： K c = f u 0 u 0 0 f v v 0 0 0 1 其中，(fu,fv)是RGB摄像机的焦距，(u0,v0)是RGB摄像机像平面中心坐标；红外摄像机与RGB摄像机间的外部参数为：T＝[RIRc,tIRc]其中，RIRc为旋转矩阵，tIRc平移向量，直接使用微软官方提供的参数： R IRc = 1 0 0 0 1 0 0 0 1 tIRc＝[0075  0  0]TKinect坐标系向上为y轴正方向，向前为z轴正方向，向右为x正方向；将Kinect的起始点位置设定为世界坐标系原点，世界坐...

【技术特征摘要】

【专利技术属性】
技术研发人员：贾松敏，郭兵，王可，李秀智，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11