一种无特征提取的紧致SFM三维重建方法技术

本发明专利技术公开了一种无特征提取的紧致SFM三维重建方法，包括：输入关于某场景的n幅图像，n≥2；建立与某个相机坐标系相一致的世界坐标系；以三维场景的深度和相机投影矩阵作为变量，构造类似光流估计的目标函数，采用由粗到细的金字塔方法，设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵；根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。本发明专利技术能够一步完成紧致SFM三维重建。由于通过一步优化实现紧致三维信息的估计，以目标函数值作为指标，能够得到最优解，至少是局部最优解，比现有方法有很大改进，已初步得到实验验证。

【技术实现步骤摘要】
一种无特征提取的紧致SFM三维重建方法
本专利技术涉及图像三维重建领域，更具体地，涉及一种无特征提取的紧致SFM三维重建方法。
技术介绍
基于计算机视觉的三维重建是指利用数码相机或者摄像机获取图像，构建算法以估计所拍摄场景或者目标的三维信息，实现表达三维客观世界的目的，其应用范围包括机器人导航、汽车自动或者辅助驾驶、虚拟现实、数字媒体创作、计算机动画、基于图像的绘制(image-basedrendering)和文化遗产的保存等。基于运动的建模(StructurefromMotion，SFM)是目前常用的一种三维重建方法，即从两幅、多幅图像或者视频估计场景或者目标的三维信息。已有实现SFM三维重建的技术手段有以下特点：基于特征点的、稀疏的和分两步完成。已有SFM三维重建分两步完成：首先从图像检测并匹配具有尺度或者仿射等不变性(invariance)的特征点，包括Harris特征点、Kanade-Lukas-Tomasi(KLT)特征和Lowe尺度不变特征(scaleinvariantfeaturetransform，SIFT)，然后估计所检测特征量的三维信息和相机的姿态(包括位置和角度)。已有的SFM三维重建算法分为两步完成，不能真正达到最优化效果。由于从图像中检测到特征点的二维坐标有误差，在其基础上即使采用优化算法重建其三维信息，也无法获得全局意义上的优化结果。由于特征点的匹配精度通常比较低，因此不可避免的造成低精度的三维重建。三维重建效果是稀疏的(sparse)；由于只对所提取特征点估计其三维信息，不能实现紧致的(dense)三维重建，即不能估计出所有像素点的三维信息。对于30万像素的480*640图像，在保证一定正确匹配率的前提下，通常只能检测到200～300个甚至更少的特征点，相对于30万像素的图像来说，特征点是非常稀疏的，绝大部分像素都没有直接估计其三维信息。虽然可以进一步在特征点基础上，利用估计出的极线约束(epipolarconstraint)等技术手段进一步估计其它点的三维信息，实现紧致或者半紧致(quasidense)重建，但是由于所估计的特征点的三维信息和相机姿态存在一定的误差，影响后续其它点的三维估计效果。
技术实现思路
为了克服现有技术的不足，本专利技术提出一种无特征提取的紧致SFM三维重建方法。采用该SFM三维重建方法，不需要特征点检测及匹配，采用一步优化即可实现紧致三维重建。为了实现上述目的，本专利技术的技术方案为：一种无特征提取的紧致SFM三维重建方法，包括以下步骤：S1.输入关于某场景的n幅图像，n≥2；S2.建立与某个相机坐标系相一致的世界坐标系，设世界坐标系与第一相机的坐标系相一致，即世界坐标系的原点、x轴和y轴与第一相机的相机中心、第一相机成像平面的x轴和y轴重合，其z轴垂直指向第一相机的成像平面；S3.以三维场景的深度和相机投影矩阵作为变量，所述三维场景的深度是指第1幅图像像素点对应的三维空间点具有的深度q；所述相机投影矩阵是指其它(n-1)幅图像的3×4矩阵Pi，2≤i≤n；S4.构造类似光流估计的目标函数，所述目标函数是连续域上的变分目标函数或其离散形式的目标函数；S5.采用由粗到细的金字塔方法，在连续域或者离散域上设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵；S6.根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。该方法能够一步完成SFM三维重建，由于通过一步优化实现三维信息的估计，以目标函数值作为指标，能够得到最优解，至少是局部最优解，比已有方法有很大改进，且已初步得到实验验证。上述的相机是指某幅图像对应的相机，在本专利技术中，关于场景的第一幅图像对应的相机是第一相机，第一相机的坐标系与世界坐标系相一致；各幅图像均对应一个3×4相机投影矩阵。在本专利技术中采用该类方式建立世界坐标系是为了计算方便，在实际中，可以任意建立世界坐标系，如果任意建立坐标系，则待估计的参数包括n个相机投影矩阵，刻画每个三维点需要三个坐标参数。在本专利技术虽然没有给出这种方案的技术细节，但是任意建立世界坐标系的方案与上述建立世界坐标系的方案基本原理一样。为了实现射影三维重建，则首先要进行参数化设定，即在实现射影三维重建中，参数化具体为：在建立世界坐标系的同时，其第一相机的相机投影矩阵为[I30]∈R3，4，其中I3是一个3×3的单位阵，0是一个3×1的零向量；其它相机投影矩阵Pi∈R3，4，2≤i≤n，作为待估计的未知参数；场景的三维结构由定义在第一副图像上的三维场景的深度决定：假设与第一幅图像像素(x,y)相对应的三维空间点的三维场景的深度为qx,y，则该三维点的三维坐标为(qx,y×x,qx,y×y,qx,y)(1)在射影三维重建中，相机投影矩阵Pi和三维场景的深度qx,y作为待估计的未定参数，为了表达式的简练，在不造成误解的情况下，省略下标x,y。实现连续域上射影三维重建的具体实现过程为：构造的连续域上的目标函数具体为：f(P2,…,Pn,q)＝fdats+fsmooth_uv+fsmooth_depth(2)其中对上述目标函数的说明如下：(a)为梯度算子，为拉普拉斯算子；(b)目标函数分为三部分，数据项fdata，偏移平滑项fsmooth_uv和深度平滑项fsmooth_depth，其中α、β、τ1和τ2是非负权重；(c)图像有k个色彩分量C1,…,Ck，代表第一幅图像在位置(x,y)的色彩I分量值，相应地，为第i幅图像在位置(ui,vi)的色彩I分量值；(d)鲁棒函数ρ的引入是为了克服深度发生剧变带来的影响，鲁棒函数ρ为Charbonnier函数其中∈是一个足够小的的正数，ε＜10-6；或者为Lorentzian函数σ为某个常数；当不引入鲁棒函数，则ρ(x)＝x；(e)ui和vi是定义在图像域上、以相机投影矩阵Pi和深度q为参数的函数：和代表与第一幅图像像素(x,y)相对应的三维点在第i幅图像的成像位置其中Pi,j为第i个相机投影矩阵Pi的第j个行向量；为了表达式的简练，在不造成误解的情况下，在和中省略下标x,y；在连续域上设计的迭代优化算法具体为：因为三维场景的深度是定义在第一幅图像域上的连续函数，在极值点必须满足欧拉-拉格朗日方程；同时，在极值点对相机投影矩阵的偏导数为0；在图像的离散格点上，联合欧拉-拉格朗日方程和对相机投影矩阵偏导数为0的两类方程，并采用增量方式表示形式，能够把求解相机投影矩阵和三维场景的深度增量的迭代过程转化为求解如下线性方程组Hδθ+b＝0(6)其中向量θ由相机投影矩阵Pi2≤i≤n和三维场景的深度q按次序构造而成；这样，每次迭代归结为求解δθ＝-H-1b(7)，从而确定相应的增量δPi和δq；根据所求解的增量更新参数Pi和q，Pi←δPi+Pi，q←δq+q，直到收敛；即算法1的具体过程为：输入：n幅图像，初始化三维场景的深度q和相机投影矩阵Pi，2≤i≤n；输出：相机投影矩阵Pi(2≤i≤ni)、三维场景的深度q和场景的三维表示；1、迭代1)、由欧拉-拉格朗日方程和目标函数对相机投影矩阵的偏导数为0确定式子(7)中的H和b；2)、由式子(7)计算增量δθ，并确定相应的增量δPi和δq；3)、本文档来自技高网...

【技术保护点】
一种无特征提取的紧致SFM三维重建方法，其特征在于，包括以下步骤：S1.输入关于某场景的n幅图像，n≥2；S2.建立与某个相机坐标系相一致的世界坐标系，设世界坐标系与第一相机的坐标系相一致，即世界坐标系的原点、x轴和y轴与第一相机的相机中心、第一相机成像平面的x轴和y轴重合，其z轴垂直指向第一相机的成像平面；S3.以三维场景的深度和相机投影矩阵作为变量，所述三维场景的深度是指第1幅图像像素点对应的三维空间点具有的深度q；所述相机投影矩阵是指其它(n‑1)幅图像的3×4相机投影矩阵Pi，2≤i≤n；S4.构造类似光流估计的目标函数，所述目标函数是连续域上的变分目标函数或其离散形式的目标函数；S5.采用由粗到细的金字塔方法，在连续域或者离散域上设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵；S6.根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。

【技术特征摘要】
1.一种无特征提取的紧致SFM三维重建方法，其特征在于，包括以下步骤：S1.输入关于某场景的n幅图像，n≥2；S2.建立与某个相机坐标系相一致的世界坐标系，设世界坐标系与第一相机的坐标系相一致，即世界坐标系的原点、x轴和y轴与第一相机的相机中心、第一相机成像平面的x轴和y轴重合，其z轴垂直指向第一相机的成像平面；S3.以三维场景的深度和相机投影矩阵作为变量，所述三维场景的深度是指第1幅图像像素点对应的三维空间点具有的深度q；所述相机投影矩阵是指其它(n-1)幅图像的3×4矩阵Pi，2≤i≤n；S4.构造类似光流估计的目标函数，所述目标函数是连续域上的变分目标函数或其离散形式的目标函数；S5.采用由粗到细的金字塔方法，在连续域或者离散域上设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵；S6.根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。2.根据权利要求1所述的无特征提取的紧致SFM三维重建方法，其特征在于，在实现射影三维重建中，参数化具体为：在建立世界坐标系的同时，其第一相机的相机投影矩阵为[I30]∈R3，4，其中I3是一个3×3的单位阵，0是一个3×1的零向量；其它相机投影矩阵Pi∈R3，4，2≤i≤n，作为待估计的未知参数；场景的三维结构由定义在第一副图像上的三维场景的深度决定：假设与第一幅图像像素(x,y)相对应的三维空间点的三维场景的深度为qx,y，则该三维空间点的三维坐标为(qx,y×x,qx,y×y,qx,y)(1)在射影三维重建中，相机投影矩阵Pi和三维场景的深度qx,y作为待估计的未定参数，为了表达式的简练，在不造成误解的情况下，省略下标x，y。3.根据权利要求2所述的无特征提取的紧致SFM三维重建方法，其特征在于，实现连续域上射影三维重建的具体实现过程为：构造的连续域上的目标函数具体为：f(P2,…,Pn,q)＝fdata+fsmooth_uv+fsmooth_depth(2)其中对上述目标函数的说明如下：(a)为梯度算子，为拉普拉斯算子；(b)目标函数分为三部分，数据项fdata，偏移平滑项fsmooth_uv和深度平滑项fsmooth_depth，其中α、β、τ1和τ2是非负权重；(c)图像有k个色彩分量C1,…,Ck，代表第一幅图像在位置(x,y)的色彩I分量值，相应地，为第i幅图像在位置(ui,vi)的色彩I分量值；(d)鲁棒函数ρ的引入是为了克服深度发生剧变带来的影响，鲁棒函数ρ为Charbonnier函数其中∈是一个足够小的的正数，∈＜10-6；或者为Lorentzian函数σ为某个常数；当不引入鲁棒函数，则ρ(x)＝x；(e)ui和vi是定义在图像域上、以相机投影矩阵Pi和深度q为参数的函数：和代表与第一幅图像像素(x,y)相对应的三维空间点在第i幅图像的成像位置其中Pi,j为第i个相机投影矩阵Pi的第j个行向量；为了表达式的简练，在不造成误解的情况下，在和中省略下标x,y；在连续域上设计的迭代优化算法具体为：因为三维场景的深度是定义在第一幅图像上的连续函数，在极值点必须满足欧拉-拉格朗日方程；同时，在极值点对相机投影矩阵的偏导数为0；在图像的离散格点上，联合欧拉-拉格朗日方程和对相机投影矩阵偏导数为0的两类方程，并采用增量方式表示形式，能够把求解相机投影矩阵和三维场景深度增量的迭代过程转化为求解如下线性方程组Hδθ+b＝0(6)其中向量θ由相机投影矩阵Pi，2≤i≤n和三维场景的深度q按次序构造而成；这样，每次迭代归结为求解δθ＝-H-1b(7)，从而确定相应的增量δPi和δq；根据所求解的增量更新相机投影矩阵Pi和q，Pi←δPi+Pi，q←δq+q，直到收敛；即定义算法1的具体过程为：输入：n幅图像，初始化三维场景的深度q和相机投影矩阵Pi，2≤i≤n；输出：相机投影矩阵Pi(2≤i≤ni)、三维场景的深度q和场景的三维表示；1、迭代1)、由欧拉-拉格朗日方程和目标函数对相机投影矩阵的偏导数为0确定式子(7)中的H和b；2)、由式子(7)计算增量δθ，并确定相应的增量δPi和δq；3)、更新参数Pi，2≤i≤n和q：Pi←δPi+Pi，q←δq+q；直到收敛2、根据收敛后的三维场景的深度q，由式子(1)计算场景的三维表示。4.根据权利要求3所述的无特征提取的紧致SFM三维重建方法，其特征在于，目标函数(2)中的数据项和偏移平滑项能够采用其它类似的变化形式：其中和鲁棒函数的引入还能够以其它变化形式出现，式子(3)的数据项的另外一种变化形式为：

【专利技术属性】
技术研发人员：陈佩，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44