一种基于立体视觉的实拍低纹理图像重建方法技术

一种基于双目立体视觉的实拍低纹理图像重构方法，其实现步骤为：（１）使用两台摄像机从两个合适角度同时各拍摄一幅图像，取其中一幅为基准图像，另外一幅为配准图像；（２）分别对两台摄像机的内、外参数矩阵进行标定；（３）根据标定数据进行对极线校正、图像变换及高斯滤波；（４）为矫正后的两幅图像中每一点计算其自适应多边形支撑窗口，计算像素点的匹配度，得到视差空间图；（５）在全图范围内逐像素执行树形动态规划算法来完成稠密匹配；（６）采用左右一致性准则提取错误匹配点，并进行视差校正得到最终视差图；（７）根据标定数据和匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云。

【技术实现步骤摘要】

本专利技术属于双目立体视觉
，涉及到基于立体视觉的实拍低纹理图像重建 问题，尤其涉及到一种在自适应多边形匹配窗口内引入基于基准图像中像素点的特异性和 基准图像和配准图像间像素点对的不相似性计算匹配度及基于树形动态规划算法来获得 实拍低纹理图像三维点云的方法。
技术介绍
双目立体视觉技术是一种被动式的三维测量技术，要解决的主要任务有摄像机 标定，立体匹配和三维信息恢复。被动式立体视觉技术可以获得稠密的三维点云坐标，无需 向被测物体投影光栅等辅助信息，具有人机交互友好，硬件配置要求低，成本便宜及自动化 程度较高等优点，是三维重建领域中比较流行的一种技术。立体匹配是立体视觉中最重要 的步骤，主要任务是首先通过双目或多目图像匹配得到视差图，然后通过三角测量关系得 到物体的景深。根据约束方式的不同匹配方法分为两种一种是对图像周围小区域进行约 束的局部匹配方法，另一种是对扫描线甚至整个图像进行约束的全局匹配方法。局部匹配 方法的优点是计算量小速度快，但由于局部寻优，对低纹理及遮挡区域比较敏感，全局匹配 方法的优点是正确匹配率较高，主要有动态规划，置信度传播和图割等，但计算量比局部匹 配方法大，耗时久，其中动态规划兼具计算效率高，匹配效果较好的特点，利于实拍图像的 重建。现有的基于双目立体视觉的实拍低纹理图像重建算法存在以下几个方面的缺占.^ \\\ ·(1)在匹配度的计算中单纯的在长方形或正方形支撑窗口中采用方差和、绝对差 和、零均值归一化及自适应权重测度等匹配测度函数计算；支撑窗口过小则不足以包含足 够的灰度变化来指导匹配而错误估计视差值；过大则会包含相同不同视差范围内的点使得 匹配度达到极值时并不代表正确匹配位置并模糊区域边界信息；而且上述测度函数在低纹 理区域可能不足以区分模糊像素点导致多对一的错误匹配；(2)单纯的采用传统动态规划全局最优算法，传统的动态规划单独扫描每一条扫 描线，缺乏水平连续性约束和垂直连续性约束的融合，单点像素的误匹配时会影响同一条 扫描线上后续像素的匹配而产生明显的条纹效应；而且对于灰度实拍图像纹理不够充分而 且存在噪声的情况下，低纹理及视差跳变区域的待匹配点在正确的匹配上不能捕捉到足够 的正确纹理信息就容易导致错误的匹配结果，导致重建点云结果不平滑及边界不清晰。由于存在以上缺点，现有的实拍低纹理图像重建算法在实际应用中并不能得到令 人满意的重建效果。
技术实现思路
技术问题本专利技术的目的是提供一种基于双目立体视觉的实拍低纹理图像重建方 法，能够准确快速自动重建低纹理实拍图像三维点云。技术方案首先进行摄像机标定，然后采集两幅图像，根据标定数据进行对极线校 正和图像变换，然后经过高斯滤波后在灰度信息和空间距离的约束下计算每个像素点的自 适应多边形支撑窗口，利用一种基于像素点自身的特异性和像素点间相似性的匹配测度函 数计算像素点间的匹配度，增大低纹理区域及重复纹理区域像素间匹配代价的区分度；根 据得到的匹配度分别以左右图像为匹配基元采用一种全局意义上的树形动态规划对图像 进行逐点匹配，之后在左右一致性准则的基础上运用一种简单有效的视差校正方法消除误 匹配得到最终视差图；最后利用标定数据和匹配结果重建出人脸三维点云坐标并显示。该重建方法依次含有下列步骤步骤1:图像获取使用双目摄像机获取图像，首先调整双目摄像机使其光轴基本平行并使左右镜角 度处于合适的位置，然后同时各拍摄一幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的 为右图像；步骤2:摄像机标定分别对两台摄像机进行标定，获得各自的内参数矩阵~、AK和外参数矩阵风tj、 [Rr tJ ；步骤3 对极线几何校正及图像变换采用步骤2得到的内外参运用极线校正方法对所拍摄的左右图像进行极线校正 得到平行式双目视觉模型，使匹配像素对处于同一扫描线上；步骤4:计算视差空间图，步骤5 树形动态规划完成稠密匹配以像素点px, y为基准，用箭头表示一种前驱后继关系，箭头从前驱节点出发指 向后继节点；在以y为纵坐标的图像行上从最左边的像素点开始用箭头指向其右边像素 点直到Px,y，从最右边的像素点开始用箭头指向其左边的像素点直到Px,y，然后在以χ为 横坐标的图像列上从最上边的像素点开始用箭头指向其下方的像素点直到Px,y，从最下 面的相似度开始用箭头指向其上方的像素点直到Px, y ；这样就构造了以像素点Px, y为根 节点的树，在根节点为px,y的树上用传统动态规划算法搜索匹配路径来最优化能量函数 )完成图像对像素点的稠密匹配；式中前一项m(px,y，d)表示px, y视差为d时的匹配度，由步骤4可得到；后一项是节点Px, y所有子 节点的数据累积代价，其中s( ·)代表相邻像素点之间的平滑代价，取为相邻像素点ρ和q 的视差dp和d,之差的绝对值，即s (dp，dq) = I dp-dq I ；sub (px, y)表示px, y所有相邻子节点 集合，即四个前驱节点Pny，Pj^1，Px+1,y，Px,y+1，则Px,y的视差值为 步骤6:视差校正步骤6. 1 标记视差不可靠点分别以左右图像为基准图像计算视差图D1, Dp运用左右一致性准则，将满足 d1(p)-dr(q) I ( 1的点标记为视差可靠点，并使DisPartiy(P) = ((I1 (p)+dr(q))/2 ；否则标记为视差不可靠点，并标记DisPartiy(P) = 0 ；其中ρ点为基准图像中像素点，q点为配准 图像中P点的匹配点，Cl1(P) e D1为像素点P点的视差值，dr(q) e Dr为像素点q的视差， Dispartiy (ρ)为ρ点最终视差值；步骤6. 2 填充视差不可靠点将基准图像中坐标(x，y)的视差不可靠像素点ρ八邻域的像素点标记为Npi，其中 (Xi, Yi)为Npi的图像坐标，ζ· = 1,2...识(屮=8);将Npi的灰度值与P点灰度值相减，得到灰度 差值，并将灰度差值按从小到大的顺序排序；按照从灰度差值最小的像素到最大的像素的 顺序来依次判断是否存在像素Npi满足如下三个条件(I)Npi为视差可靠点；(2) Npi e Wp, 其中Wp为步骤4. 1中计算得到的ρ点自适应多边形支撑窗口 ；(3) Il1Ui, yi)-I,(Xi+d， Yi)彡s，其中IJ ·)，Ir( ·)表示基准图像和配准图像中像素点的灰度值，d = Cl1(Npi)为 Npi的视差值，s为设定的阈值；若存在Npi满足上面三个条件则将ρ点标记为可靠点，并使DisPartiy(P)= Cl1(Npi)；否则将条件(3)替换为I1(x,y)-I1(x+m,y+n) |彡s重新计算，如果存在Npi满足 条件则将P标记为视差可靠点并使视差DiSpartiy(p) = (I1(Npi)；其中m，η e (-1,0,1), m, η不同时为0 ；经过此步骤得到最终的视差图；步骤7 三维信息还原根据步骤2得到的摄像机内参数矩阵~、ΑΚ和外参数矩阵风tj、，以及步 骤6得到的视差图中匹配点对关系，计算得到图像的三维点云坐标。步骤4的计算视差空间图包括以下四个子步骤，步骤4. 1 对两幅图像进行高斯滤波，消除噪声影响改善图像质量；步骤4.2 计算自适应多边形匹配窗口任取两幅图像中一幅为基准图像，本文档来自技高网...

【技术保护点】
一种基于立体视觉的实拍低纹理图像重建方法，其特征在于该重建方法依次含有下列步骤：步骤１：图像获取使用双目摄像机获取图像，首先调整双目摄像机使其光轴基本平行并使左右镜角度处于合适的位置，然后同时各拍摄一幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤２：摄像机标定分别对两台摄像机进行标定，获得各自的内参数矩阵Ａ↓［Ｌ］、Ａ↓［Ｒ］和外参数矩阵［Ｒ↓［Ｌ］ｔ↓［Ｌ］］、［Ｒ↓［Ｒ］ｔ↓［Ｒ］］；步骤３：对极线几何校正及图像变换采用步骤２得到的内外参运用极线校正方法对所标记为Ｎｐｉ，其中（ｘ↓［ｉ］，ｙ↓［ｉ］）为Ｎｐｉ的图像坐标，ｉ＝１，２，…φ（φ＝８）；将Ｎｐｉ的灰度值与ｐ点灰度值相减，得到灰度差值，并将灰度差值按从小到大的顺序排序；按照从灰度差值最小的像素到最大的像素的顺序来依次判断是否存在像素Ｎｐｉ满足如下三个条件（１）Ｎｐｉ为视差可靠点；（２）Ｎｐ↓［ｉ］∈Ｗ↓［ｐ］，其中Ｗ↓［ｐ］为步骤４．１中计算得到的ｐ点自适应多边形支撑窗口；（３）｜Ｉ↓［ｌ］（ｘ↓［ｉ］，ｙ↓［ｉ］）－Ｉ↓［ｒ］（ｘ↓［ｉ］＋ｄ，ｙ↓［ｉ］）｜≤ｓ，其中Ｉ↓［ｌ］（.），Ｉ↓［ｒ］（.）表示基准图像和配准图像中像素点的灰度值，ｄ＝ｄ↓［ｌ］（Ｎｐｉ）为Ｎｐｉ的视差值，ｓ为设定的阈值；若存在Ｎｐｉ满足上面三个条件则将ｐ点标记为可靠点，并使Ｄｉｓｐａｒｔｉｙ（ｐ）＝ｄ↓［ｌ］（Ｎｐｉ）；否则将条件（３）替换为｜Ｉ↓［ｌ］（ｘ，ｙ）－Ｉ↓［ｌ］（ｘ＋ｍ，ｙ＋ｎ）｜≤ｓ重新计算，如果存在Ｎｐｉ满足条件则将ｐ标记为视差可靠点并使视差Ｄｉｓｐａｒｔｉｙ（ｐ）＝ｄ↓［ｌ］（Ｎｐｉ）；其中ｍ，ｎ∈（－１，０，１），ｍ，ｎ不同时为０；经过此步骤得到最终的视差图；步骤７：三维信息还原根据步骤２得到的摄像机内参数矩阵Ａ↓［Ｌ］、Ａ↓［Ｒ］和外参数矩阵［Ｒ↓［Ｌ］ｔ↓［Ｌ］］、［Ｒ↓［Ｒ］ｔ↓［Ｒ］］，以及步骤６得到的视差图中匹配点对关系，计算得到图像的三维点云坐标。拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对处于同一扫描线上；步骤４：计算视差空间图，步骤５：树形动态规划完成稠密匹配：以像素点ｐ↓［ｘ，ｙ］为基准，用箭头表示一种前驱后继关系，箭头从前驱节点出发指向后继节点；在以ｙ为纵坐标的图像行上从最左边的像素点开始用箭头指向其右边像素点直到ｐ↓［ｘ，ｙ］，从最右边的像素点开始用箭头指向其左边的像素点直到ｐ↓［ｘ，ｙ］，然后在...

【技术特征摘要】

【专利技术属性】
技术研发人员：达飞鹏，邵静，
申请(专利权)人：东南大学，
类型：发明
国别省市：84[中国|南京]