可变形物体的全局非刚性配准与重建方法技术

本发明专利技术属于计算机应用领域、三维重建、配准，为实现处理三维目标物体的大动作的变形。本发明专利技术采用的技术方案是，可变形物体的全局非刚性配准与重建方法，假定有n个视角的模型，记为U

【技术实现步骤摘要】
可变形物体的全局非刚性配准与重建方法
本专利技术属于计算机应用领域、三维重建、配准，具体讲，涉及基于稀疏表示的全局非刚性表面对齐与重建方法。
技术介绍
在计算机图形学和计算机视觉领域，动态三维重建是一个热点研究问题，它旨在通过单个或多个相机恢复出相应的动态场景。随着商用深度相机的出现，例如微软的Kinect，重建出一个场景的模型和纹理变的越来越方便，而且成本也越来越低。如今，它在很多领域得到了应用，比如3D打印、游戏和电影。为了实现动态的三维重建，一些研究组设计了一些多相机系统。李坤等人(LiK,DaiQ,XuW.MarkerlessShapeandMotionCaptureFromMultiviewVideoSequences.[J].IEEETransactionsonCircuits&SystemsforVideoTechnology,2011,21(3):320-334.)于清华大学用20个相机搭建了一个圆顶状的多相机系统，这个系统的原理是通过多视角立体方法和基于体素变形方法实现同步采集和恢复动态场景里的任意目标和其纹理。Aguiar等人(DeAguiarE,StollC,TheobaltC,etal.Performancecapturefromsparsemulti-viewvideo[J].AcmTransactionsonGraphics,2008,27(3):15-19.)用8个相机构建了一个稀疏采样的系统，此系统是通过结合基于表面的变形技术和基于体素的变形技术实现了对三维目标的形态和动作的有效获取和重建。然而，这种多相机系统在实际应用中会遇到很多的限制，比如，这种多相机系统成本很高，难以维护而且不易携带。因而，由于微软公司Kinect相机的低成本和其多传感器，使它得到了很广的应用。Tong等人(TongJ,ZhouJ,LiuL,etal.Scanning3DFullHumanBodiesUsingKinects[J].IEEETransactionsonVisualization&ComputerGraphics,2012,18(4):643-650.)用三个相机重建出一个完整的三维人体模型，但它要求人体目标在采集过程中保持不动。Guo等人(GuoK,XuF,WangY,etal.RobustNon-rigidMotionTrackingandSurfaceReconstructionUsingL0Regularization[C]//IEEEInternationalConferenceonComputerVision.2015:3083-3091.)用三个手持的Kinect相机实现了无标记的交互的动态重建。为了能更简单和便捷，Li等人(LiH,VougaE,GudymA,etal.3DSelf-Portraits[J].AcmTransactionsonGraphics,2013,32(6):2504-2507.)只用单个Kinect重建出一个完整的三维模型，但它要求人在各个视角下的保持相同的姿势。Dou等人(DouM,TaylorJ,FuchsH,etal.3DscanningdeformableobjectswithasingleRGBDsensor[C]//ComputerVisionandPatternRecognition.IEEE,2015:493-501.)用单个Kinect设计了一个允许目标物体能有较大变形的系统，但这种系统要求相邻视角的变形不能大，而且它有很高的复杂度和很大的计算量，因而用时也很长。基于以上的问题，我们提出了一种新的基于单个Kinect的可变形物体全局的非刚性配准和重建方法，我们的方法允许目标物体有较大的动作变形，而且所用数据更少，用时更短。
技术实现思路
为克服现有技术的不足，本专利技术旨在实现处理三维目标物体的大动作的变形。本专利技术采用的技术方案是，可变形物体的全局非刚性配准与重建方法，假定有n个视角的模型，记为U1,U2,…,Un。对于任意一个模型p，N是模型p的点的个数；是点的齐次坐标，对于一对相邻的模型Up，Up+1，对于最后一个模型Un，与之相邻的是U1，采用人工或求对应关系的算法找到它们之间的初始映射关系fp→p+1，即对应点，然后求解它们之间的非刚性变换Xp，是一个3*4的变换矩阵。在算法中加入多分辨率的方法，即将任一个模型都进行降采样得到相应的低分辨率模型，记为U(p,s),U(p,s-1),…,U(p,1)，U(p,s)代表最低分辨率的模型，U(p,1)代表原始分辨率的模型，然后用高分辨率模型上的对应关系构建约束，求解低分辨率模型之间的变换，最后将变换映射回高分辨率模型上，记作为第s分辨率模型上的点，Γi(p,s+1)为以为中心r为半径的球范围内的所有在第s+1分辨率模型上的点。求解低分辨率模型之间的变换的过程如下：其中权重aj定义如下：r是有效半径，将其定义为低分辨率模型上所以边长的加权平均的两倍，代表和之间的欧式距离，且随着距离的增加，权重不断减小；基于相邻模型间的对应关系，构建如下的能量函数方程：Edata(X)是数据项，表示数据项的目标函数能量，用来保证经旋转平移变换后对应点之间的距离总和最小；Esmooth(X)是平滑项，表示平滑项的目标函数能量，保证临近的点拥有尽量相似的变换；Erig(X)是正交项，它约束局部变换要是刚性的；最后，Earap是拉普拉斯约束项，它约束模型的边的长度在变换前后保持尽可能的不变，α,γ和β分别是衡量数据项、平滑项和拉普拉斯项的权重，这四项定义如下:⑴数据项Edata(X)：相邻两个视角模型Up,Up+1间的配准和一般的配准问题一样，先找模型间点的对应关系fp，求解模型间的变换Xp，因为不是模型Up上的每个点的都有在其相邻模型Up+1上的对应点的，因而为每个点设置一个权重如果这个点在其相邻模型上有对应点则设为1，没有则设为0，将O(p)记作为Up+1上与Up对应点的集合，得到数据项的定义如下：上面的式子写成：diag表示输入向量的对角化块矩阵，记作得到如下形式：其中H为⑵平滑项Esmooth(X)：对于模型Up上的点记作为其相连接的点的集合，记作为与其连接点的边，因此，得到边的集合定义平滑项如下：平滑项写成：记作B＝diag(B1,…,Bn)，得⑶正交项Erig(X)：从实际的目标物体观察得知，它们的物理形态是满足局部刚性变换的，引入局部刚性约束项来减小变换的灵活性，特别地，假定一个变换是刚性的，它包含一个旋转矩阵和一个平移矩阵，于是，定义正交项如下：Di是一个3*4的常量矩阵，它用于提取的旋转矩阵，此外，如果乘以-1使得的行列式为正；⑷拉普拉斯项Earap(X)：引入拉普拉斯保长约束项，此约束的作用是使得模型的边长在变换前后尽可能的保持不变，分别记作为点i和j相连接的边，也有相似的表示，因此，定义拉普拉斯项如下：这里将设为常数1，是一个旋转矩阵，它通过单极值分解得到，的定义如下：通过单极值分解，得到求解如下：权重由边的正切角度定义：αij和βij是边(i,j)的相对角。然后关于最小化Earap(X)，得：因此，拉普拉斯项写成Lp代表上式左边的线性组合，也叫离散的拉普拉斯-本文档来自技高网...

【技术保护点】
一种可变形物体的全局非刚性配准与重建方法，其特征是，假定有n个视角的模型，记为U

【技术特征摘要】
1.一种可变形物体的全局非刚性配准与重建方法，其特征是，假定有n个视角的模型，记为U1,U2,…,Un。对于任意一个模型p，N是模型p的点的个数；是点的齐次坐标，对于一对相邻的模型Up，Up+1，对于最后一个模型Un，与之相邻的是U1，采用人工或求对应关系的算法找到它们之间的初始映射关系fp→p+1，即对应点，然后求解它们之间的非刚性变换Xp，是一个3*4的变换矩阵在算法中加入多分辨率的方法，即将任一个模型都进行降采样得到相应的低分辨率模型，记为U(p,S),U(p,s-1),…,U(p,1)，U(p,s)代表最低分辨率的模型，U(p,1)代表原始分辨率的模型，然后用高分辨率模型上的对应关系构建约束，求解低分辨率模型之间的变换，最后将变换映射回高分辨率模型上，记作为第s分辨率模型上的点，Γi(p,s+1)为以为中心r为半径的球范围内的所有在第s+1分辨率模型上的点。2.如权利要求1所述的可变形物体的全局非刚性配准与重建方法，其特征是，求解低分辨率模型之间的变换的求解过程如下：其中权重aj定义如下：r是有效半径，将其定义为低分辨率模型上所以边长的加权平均的两倍，代表和之间的欧式距离，且随着距离的增加，权重不断减小；基于相邻模型间的对应关系，构建如下的能量函数方程：Edata(X)是数据项，表示数据项的目标函数能量，用来保证经旋转平移变换后对应点之间的距离总和最小；Esmooth(X)是平滑项，表示平滑项的目标函数能量，保证临近的点拥有尽量相似的变换；Erig(X)是正交项，它约束局部变换要是刚性的；最后，Earap是拉普拉斯约束项，它约束模型的边的长度在变换前后保持尽可能的不变，α,γ和β分别是衡量数据项、平滑项和拉普拉斯项的权重，这四项定义如下:⑴数据项Edata(X)：相邻两个视角模型Up,Up+1间的配准和一般的配准问题一样，先找模型间点的对应关系fp，求解模型间的变换Xp，因为不是模型Up上的每个点的都有在其相邻模型Up+1上的对应点的，因而为每个点设置一个权重如果这个点在其相邻模型上有对应点则设为1，没有则设为0，将O(p)记作为Up+1上与Up对应点的集合，得到数据项的定义如下：上面的式子写成：diag表示输入向量的对角化块矩阵，记作得到如下形式：其中H为⑵平滑项Esmooth(X)：对于模型Up上的点记作为其相连接的点的集合，记作为与其连接点的边，因此，得到边的集合定义平滑项如下：

【专利技术属性】
技术研发人员：杨敬钰，郭道亮，李坤，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12