一种基于单个Kinect的简易高效三维人体重建方法技术

本发明专利技术公开了一种基于单个Kinect的简易高效三维人体重建方法，该三维人体重建方法包括以下步骤：1)获取点云；2)点云预处理；3)局部对齐；4)全局对齐；5)表面重建。用户可以很容易地在诸如家里或办公室这样狭窄的空间内实现三维人体建模，所需要的仅仅是一台个人电脑和一台Kinect。为了使人体建模更加快速、准确和方便，本发明专利技术提出了一种有效的全身扫描的数据采集策略，只通过六个角度，每个角度三帧的扫描，便可以完全覆盖人体。而对Kinect捕捉到的点云数据的处理，包含局部对齐和在全局对齐两个步骤。这种新的三维人体建模方法可适用于大多数应用，比如数字测量、产品设计和在线购物。

【技术实现步骤摘要】

本专利技术涉及三维人体建模的
，特别涉及一种基于单个Kinect的简易高效三维人体重建方法。
技术介绍
三维物体快速建模技术是当前计算机图形学领域的重要研究课题之一，三维物体快速建模技术是目前物体模型快速重构的发展趋势。三维物体重建能够更加便宜，三维模型如照片和视频一样容易获得。这种技术被应用于许多计算机图形的应用程序，如动画，计算机游戏，人机交互和虚拟现实，都需要精确的三维模型。如电子商务网站平台，在线购物网站，游戏领域等。RGB-D相机是一种新兴的扫描设备。RGB-D相机结合了光学相机和三维激光扫描仪的优势。它可以获得测量物体的三维信息，几乎是一种便携式的光学相机。三维建模通过使用RGB-D摄像机获取物体的三维信息比使用扫描仪要经济实惠得多，尤其是使用微软的Kinect设备。Kinect本来是微软公司开发的Xbox360主机的周边外设，主要用于人机实时交互。基于Kinect的重建技术有如下的优势：Kinect能够快速获取场景三维信息；Kinect是一种主动传感器，它不受环境可见光谱的干扰；Kinect的核心设备是彩色摄像机、红外线发射器和红外线CMOS摄影机，这些设备都比较廉价，因而Kinect的售价也较为低廉；此外，Kinect的操作与普通摄像机类似，易于使用。微软还开发了一个开源项目Kinect Fusion，可以帮助普通用户同时扫描和重建场景的模型，目前已有很多基于这种技术的应用程序，如纽康等，用Kinect Fusio来进行表面映射和跟踪，或重建室内空间。然而，通过Kinect Fusion进行三维建模只利用了深度信息，并且没有考虑物体变形的问题。此外，用RGB-D摄像机进行三维人体建模时，为方便扫描，用户必须使自己的全身都被摄像机扫描到。虽然也有一种方法是把三台Kinect在置在前方和后方来达到全身覆盖，但扫描的速度和精度都不理想，一个好的扫描策略仍然是提高三维建模的效率和方便性的重要手段。ICP(Iterative Closest Point)算法，即迭代最近点算法，是一种基于自由形态曲面的配准方法。当多帧数据重叠的区域非常靠近时，因ICP算法具有较高的效率和较好的可靠性，通常被研究者采用。对静态物体的扫描，ICP算法是当前比较通用的研究三维形状物体对齐的技术，是一种基于自由形态曲面的配准方法。ICP算法的基本思想是：根据前一帧上的数据点集在后一帧扫描数据上找到对应的点集，即找到初始匹配点。然后以对应点间的距离的平方和最小为原则，建立目标方程。再根据最小二乘法原理来转换参数，即找到精确匹配点。三维人体重建所需要的是一组不同角度的人体点云数据。重建时要首先解决的问题就是如何通过匹配它们的重叠区域进行刚性的逐帧对齐。目前，基于图像和基于形状的方法的研究已经得到了很好的成果。基于图像的对齐通常是基于稀疏特征匹配和极线几何的方法，如Khoshelham等人提出的一种通过极线搜索来获得更精确的对齐效果的方法；而基于形状对齐的方法通常是基于迭代最近点算法(ICP)。由于ICP及其各种衍生算法可以解决局部刚性对准问题，通常实时三维重建中对齐连续帧的方法就是基于这样的方法，特别是使用Kinect进行的人体模型重建。数据帧对齐算法的效率和鲁棒性是有待突破的关键技术问题。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于单个Kinect的简易高效三维人体重建方法，该方法基于深度摄像机的三维人体建模技术，使用单个Kinect，通过六个角度，每个角度三帧的扫描获得人体点云信息，然后经由对捕捉到的点云数据的处理快速高效生成三维人体模型。本专利技术的目的通过下述技术方案实现：一种基于单个Kinect的简易高效三维人体重建方法，所述方法包括下列步骤：S1、使用单个Kinect扫描人体，获得人体颜色和深度数据，进行数据分割，去除背景，产生点云数据；S2、进行人体点云数据的局部对齐，使用刚性ICP将每个角度的三个点云对齐，然后合并成一个点云；S3、进行人体点云数据的全局对齐，具体包括：S301、初始配准，对初始位置进行优化，选取点云的边缘部分的点集作控制点集，用刚性ICP对齐，使点云的边缘部分重合，为下一步的对齐提供较好的初始状态；S302、刚性配准，用刚性ICP进行点云数据间的精细配准；S303、非刚性配准，用基于Embedded Deformation Graph的非刚性配准方法进行点云数据间的精细配准；S4、用得到的完整人体点云进行泊松表面重建得到最终的三维人体模型。进一步地，所述步骤S1具体包括：S101、使用单个Kinect扫描人体以获取人体点云数据；S102、对人体RGB-D数据进行去背景处理；S103、修复数据误差，将亮度和色调落差大的部分从点云中删去。进一步地，所述步骤S101、使用Kinect扫描人体以获取人体点云数据具体过程如下：将Kinect放在人体腰部的高度，距人体水平距离为0.8-1.2米，扫描时，人体首先正面面对Kinect站好，然后依次沿右转5个60度，让Kinect扫描到人体的6个角度,上述6个角度分别为正面、正面左转60度、正面右转60度、背面、背面左转60度、背面右转60度；在每一个角度中分别拍摄上、中、下三帧图像，其中上帧对应kinect上转20度，下帧对应kinect下转20度，中帧对应kinect无任何旋转。进一步地，所述步骤S2具体包括：S201、将每个角度的上和下两帧图像的点云通过旋转变换粗略地对齐到中帧图像的点云上；S202、使用刚性ICP算法，将上、中、下三帧图像的点云对齐且合并到中帧图像的点云上形成一个点云。进一步地，所述刚性ICP包括以下步骤：1)分别计算两个点集P和Q的重心，并把两个点集分别平移到其重心处；2)根据一定的几何特征作为标准，分别在两个点集中选取对应点对，生成控制点集C和D；3)通过奇异值分解的方法求出使控制点集C匹配到D上的空间变换f；4)根据空间变换f对点集P实行变换；5)判定是否达到精度要求或抵达最大迭代次数，是则终止算法，否则重复上述步骤直至算法终止。进一步地，所述步骤S303、非刚性配准，用基于Embedded Deformation Graph的非刚性配准方法进行点云数据间的精细配准具体过程如下：S3031、对于输入的两个点云P和Q，对点云P下采样得到一个较小的点云G，对点云P和Q下采样得到较小的点云C和D；S3032、使用点云G构建Embedded Deformation Graph，点云G上的点构成Graph的节点，然后每个节点包含一个变换矩阵，每个变换矩阵由一个旋转矩阵R和一个平移矩阵T组成；S3033、使用点云C和D寻找对应点对，即对点云C中的每个点寻找其在点云D上的对应点；S3034、使用对应点对和Embedded Deformation Graph计算变换矩阵，Graph上每一个节点有一个变换矩阵，每个变换矩阵由一个旋转矩阵和一个平移矩阵组成，最小化E＝Erigid+Esmooth+Ecorr，最小化Erigid是为了保证单个旋转矩阵的刚性程度，最小化Esmooth是为了保证整体变换的光滑程度，最小化Ecorr是为了把对应点之间的距离缩小；S3035、计算出变换矩阵后便可以使用Embedded De本文档来自技高网...

【技术保护点】
一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述方法包括下列步骤：S1、使用单个Kinect扫描人体，获得人体颜色和深度数据，进行数据分割，去除背景，产生点云数据；S2、进行人体点云数据的局部对齐，使用刚性ICP将每个角度的三个点云对齐，然后合并成一个点云；S3、进行人体点云数据的全局对齐，具体包括：S301、初始配准，对初始位置进行优化，选取点云的边缘部分的点集作控制点集，用刚性ICP对齐，使点云的边缘部分重合，为下一步的对齐提供较好的初始状态；S302、刚性配准，用刚性ICP进行点云数据间的精细配准；S303、非刚性配准，用基于Embedded Deformation Graph的非刚性配准方法进行点云数据间的精细配准；S4、用得到的完整人体点云进行泊松表面重建得到最终的三维人体模型。

【技术特征摘要】
1.一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述方法包括下列步骤：S1、使用单个Kinect扫描人体，获得人体颜色和深度数据，进行数据分割，去除背景，产生点云数据；S2、进行人体点云数据的局部对齐，使用刚性ICP将每个角度的三个点云对齐，然后合并成一个点云；S3、进行人体点云数据的全局对齐，具体包括：S301、初始配准，对初始位置进行优化，选取点云的边缘部分的点集作控制点集，用刚性ICP对齐，使点云的边缘部分重合，为下一步的对齐提供较好的初始状态；S302、刚性配准，用刚性ICP进行点云数据间的精细配准；S303、非刚性配准，用基于Embedded Deformation Graph的非刚性配准方法进行点云数据间的精细配准；S4、用得到的完整人体点云进行泊松表面重建得到最终的三维人体模型。2.根据权利要求1所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述步骤S1具体包括：S101、使用单个Kinect扫描人体以获取人体点云数据；S102、对人体RGB-D数据进行去背景处理；S103、修复数据误差，将亮度和色调落差大的部分从点云中删去。3.根据权利要求1所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述步骤S101、使用Kinect扫描人体以获取人体点云数据具体过程如下：将Kinect放在人体腰部的高度，距人体水平距离为0.8-1.2米，扫描时，人体首先正面面对Kinect站好，然后依次沿右转5个60度，让Kinect扫描到人体的6个角度,上述6个角度分别为正面、正面左转60度、正面右转60度、背面、背面左转60度、背面右转60度；在每一个角度中分别拍摄上、中、下三帧图像，其中上帧对应kinect上转20度，下帧对应kinect下转20度，中帧对应kinect无任何旋转。4.根据权利要求3所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述步骤S2具体包括：S201、将每个角度的上和下两帧图像的点云通过旋转变换粗略地对齐到中帧图像的点云上；S202、使用刚性ICP算法，将上、中、下三帧图像的点云对齐且合并到中帧图像的点云上形成一个点云。5.根据权利要求1或4任一所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述刚性ICP包括以下步骤：1)分别计算两个点集P和Q的重心，并把两个点集分别平移到其重心处；2)根据一定的几何特征作为标准，分别在两个点集中选取对应点对，生成控制点集C和D；3)通过奇异值分解的方法求出使控制点集C匹配到D上的空间变换f；4)根据空间变换f对点集P实行变换；5)判定是否达到精度要求或抵达最大迭代次数，是则终止算法，否则重复上述步骤直至算法终止。6.根据权利要求1所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述步骤S303、非刚性配准，用基于Embedded DeformationGraph的非刚性配准方法进行点云数据间的精细配准具体过程如下：S3031、对于输入的两个点云P和Q，对点云P下采样得到一个较小的点云G，对点云P和Q下采样得到较小的点云C和D；S3032、使用点云G构建Embedded Deformation Graph，点云G上的点构成Graph的节点，然后每个节点包含一个变换矩阵，每个变换矩阵由一个旋转矩阵R和一个平移矩阵T组成；S3033、使用点云C和D寻找对应点对，即对点云C中的每个点寻找其在点云D上的对应点；S3034、使用对应点对和Embedded Deformation Graph计算变换矩阵，Graph上每一个节点有一个变换矩阵，每个变换矩阵由一个旋转矩阵和一个平移矩阵组成，最小化E＝Erigid+Esmooth+Ecorr，最小化Erigid是为了保证单个旋转矩阵的刚性程度，最小化Esmooth是为了保证整体变换的光滑程度，最小化Ecorr是为了把对应点之间的距离缩小；S3035、计算出变换矩阵后便可以使用Embedded Deformation Graph将点云P进行变形从而对齐到点云Q上。7.根据权利要求6所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，采用高斯牛顿法求解非线性最小二乘问题E＝Erigid+Esmooth+Ecorr，在高斯牛顿法的每一次迭代中，求解线性方程组时用cholesky分解方法。8.根据权利要求5所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述空间变换f的求解思想为：根据几何特性对数据进行匹配，并设这些匹配点为假想的对应点，然后根据上述对应关系求解运动参数，再利用上述运动参数对数据进行变换，并利用同一几何特征，确定新的对应关系，重复上述过程。9.根据权利要求5所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述几何特征是空间中点到平面之间的距离最小的点。10.根据权利要求5所述的一种基于单个Kinect的简易高效三维人体重建方法，其特征在于，所述刚性ICP的算法具体过程如下：设三维空间中的两个点pi＝(xi，yi，zi)，qi＝(xj，yj，zj)，它们的欧式距离可以表示为： d ( p i , q i ) = | | p i - q i | | = ( x i - x j ) 2 + ( y i - y j ) 2 + ( z i - z j ) 2 ; ]]>三维点云匹配问题的目的是找到使P匹配上Q的旋转矩阵R和平移矩阵T，对于qi＝R·pi+T,i＝1,2...N利用最小二乘法求解最优解使 E = Σ i = 1 N | R · p i + T - q i | 2 ]]>最小时的R和T，先对平移矩阵T进行初始的估算，具体方法是分别得到点集P和Q的中心： p = 1 n Σ i = 1 N p i , q = 1 n Σ i = 1 N q i ]]>分别将点集P和Q平移至中心点处：p'i＝pi-p,q'i＝qi-q则上述最优化目标函数可以转化为： E = Σ i = 1 N | R · ( p ′ i + p ) + T - ( q ′ i + q ) | 2 ]]>最优化问题分解为求使E最小的R，根据R求出T；选取P、Q两个点集中一部分具有可靠的对应关系的点作为控制点，配准问题转化为： E = Σ i = 1 N | R · c i + T - d i | 2 ]]>计算对应点对之间的距离时采用点与平面之间的距离，配准问题转化为： E = Σ i = 1 N ( ( R · c i + T - d i ...

【专利技术属性】
技术研发人员：毛爱华，张弘，柳雨新，罗洁，郑颖龙，李桂清，韩国强，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44