本发明专利技术涉及一种计算机视觉技术领域的基于二阶锥规划的变形体三维跟踪方法。步骤为：①采集变形体未发生形变的正视图，构建三角片网格模型；②三维跟踪过程中，采集当前帧变形体目标图像，提取图像特征点并与三角片网格模型进行匹配，将得到的特征点对应匹配表示为一组二阶锥约束；③约束三角片网格模型中每一条边保持其原始长度不变，将此形状约束描述为一个二阶锥约束序列；④将②③结果合并为一个二阶锥规划序列，通过迭代求解此序列二阶锥规划问题重建目标的三维空间结构，并输出结果。本发明专利技术在目标发生平滑形变，折叠形变和其他复杂形变时均能正确重建变形体的三维空间结构，同时其在二维图像上的重投影能很好的拟合原图像。
【技术实现步骤摘要】
本专利技术涉及一种计算机图像处理
的目标跟踪方法，具体是一种基于二 阶锥规划的变形体三维跟踪方法。
技术介绍
在单目图像序列中对目标进行跟踪并重建其三维空间结构是计算机视觉的重要 研究方向之一，其在视觉伺服、增强现实、物体识别等方面有着广泛的应用。当目 标物体是刚性物体时，已有比较成熟的方法对其进行三维跟踪。但在真实场景中， 大多数物体会随时间改变其形状，现有方法尚无法对这类变形体进行有效的三维跟踪o经对现有技术的文献检索发现，J.Xiao等于2006年在《International Journal of Computer Vision》(计算机视觉国际期刊)上发表的论文"A closed-form solution to non-rigid shape and motion recovery"(—种非冈U体形状与运动恢 复的闭式解法)提出将非刚体结构表示为一组形状基的线性组合，并使用两步因式 分解算法重建非刚体的三维结构。该方法通过闭式解求解结构和运动，使得该问题 有一个解析解，但该方法需要将整个图像序列作为一个整体进行运算，不适合在序 列中对变形体进行跟踪。M. Salzmann等于2007年在《2007 International Conference on Computer Vision》(2007年计算机视觉国际会议)上发表的论文 "Convex optimization for deformable surface 3D tracking"(使用凸优化进 行变形体平面三维跟踪)提出将变形体表示为一个三维三角片空间网格，同时将三 维到二维的特征点对应表示为凸规划约束，同时限制两帧间三角片网格顶点不可变 化过大，从而将三维跟踪问题表示为一个凸优化问题并通过规划算法有效解出。该 方法保证了问题在可行域内只有一个全局最优解，但该方法并不能真实反映三角片网格的真实形变性质。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供一种基于二阶锥规划的变形体 三维跟踪方法，使其能够高效准确的在每一帧中重建出变形体目标的三维空间结构， 从而达到在序列中对其进行三维跟踪的目的。本专利技术是通过以下技术方案实现的，包括以下步骤步骤一、采集一幅变形体目标未发生形变的正视图，通过图像中目标表面的纹 理模版构建变形体三角片网格模型，并存储模型参数；步骤二、在三维跟踪过程中的每一时刻，采集一幅当前帧变形体目标图像，提 取图像特征点并与存储的三角片网格模型参数进行匹配，将得到的特征点对应匹配 表示为一组二阶锥约束，并存储此特征点对应约束参数；步骤三、约束三角片网格模型中每一条边保持其原始长度不变，将此形状约束 描述为一个二阶锥约束序列，并存储此模型形状约束参数；步骤四、取出特征点对应约束和模型形状约束参数，将其合并为一个二阶锥规 划序列，以上一帧跟踪结果为初值，通过迭代求解此序列二阶锥规划问题重建目标 的三维空间结构，并输出当前帧变形体目标的三维跟踪结果。所述步骤一，具体为在跟踪开始前，采集一幅变形体目标未发生形变的正视 图，并建立变形体目标的模型。本专利技术使用三角片网格构建变形体模型，此三角片 网格覆盖整个变形体表面，其上的三角片数量根据变形体形变程度确定，形变复杂 则三角片数量多，反之则少。确定三角片网格之后，通过变形体目标的表面纹理模 版提取变形体表面的特征点，并将这些特征点的三维空间位置用其所在的三角片三 个顶点的线性组合表示。之后使用灰度直方图描述并记录每个特征点所在小区域的 灰度特征，最后存储构建的模型参数。所述步骤二，具体为在三维跟踪过程中，在每一时刻采集一幅当前帧变形体 目标图像。首先检测图像中具有仿射不变性的特征点，并使用灰度直方图与模型特 征点进行匹配。对于匹配成功的特征点，使用摄像机投影矩阵将模型上的三维特征点投影到当前帧图像上。由于图像噪声的影响，投影点与二维图像特征点不完全重 合。通过使用无穷大误差范数，将投影点与二维图像特征点间的重投影误差表示为 一组二阶锥约束，并存储此特征点对应约束参数。所述步骤三，具体为约束模型中每一个三角片的每一条边保持其原始长度， 此约束为二阶等式约束，通过舍去此等式约束中的二阶小项，将此二阶等式约束转 化为一序列二阶锥约束，并存储此模型形状约束参数。所述步骤四，具体为取出特征点对应约束参数和模型形状约束参数，将其合 并为一个二阶锥规划序列，从而将当前帧中的三维跟踪问题表示为一个序列二阶锥 规划问题。以上一帧跟踪结果为初值，迭代求解此二阶锥规划问题直至在步骤三中 舍去的二阶小项趋近于零，此时最终求解的结果即为当前时刻变形体目标的三维空 间结构。由于步骤一中特征点匹配时可能出现误匹配，将导致迭代求解过程中可能 出现某次迭代无解的情况，此时应舍弃当前重投影误差最大的特征点，并重新求解 此二阶锥规划问题直至有解。最后输出当前帧变形体目标的三维跟踪结果。与现有技术相比，本专利技术简单有效，可以对图像序列中的变形体目标进行有效 的三维跟踪。它的关键在于将三角片网格模型与图像的特征点对应约束，以及模型 中每一条边的长度约束表示为一组二阶锥约束，从而将三维跟踪问题描述为一个序 列二阶锥规划问题。由于二阶锥规划问题只有一个全局最优解，且可以高效准确的 解出，使得本专利技术方法能够准确有效的对场景中任意复杂的变形体目标进行三维跟 踪。本专利技术特别适合视觉伺服系统和增强显示系统中，同时也可以应用于非刚体物 体识别，变形体行为理解等领域。附图说明图1为本专利技术实施例系统结构图。图2为本专利技术实施例某一帧变形体图像。图3为本专利技术实施例变形体表面纹理模版。图4为本专利技术实施例变形体三角片网格模型及其上一特征点。图5为本专利技术实施例一帧图像上某一特征点V及其所对应的模型特征点在图像上的投影U。图6为本专利技术实施例一个发生形变的三角片网格及其上一个三角片； 其中左图名称为一个发生形变的三角片网格，右图名称为此三角片网格上一 个三角片。图7为本专利技术实施例变形体三维跟踪结果；其中第一列从上到下每张图像名称分别为变形体1折叠形变图像，变形体l 折叠形变图像叠加重投影网格，变形体l三维空间结构；第二列从上到下每张图像 名称分别为变形体2复杂形变图像，变形体2复杂形变图像叠加重投影网格，变形 体2三维空间结构；第三列从上到下每张图像名称分别为变形体2平滑形变图像， 变形体2平滑形变图像叠加重投影网格，变形体2三维空间结构；第四列从上到下 每张图像名称分别为变形体2折叠形变图像，变形体2折叠形变图像叠加重投影网 格，变形体2三维空间结构。具体实施例方式下面结合附图对本专利技术的实施例作详细说明本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和过程，但本专利技术的保护范围不限于下述 的实施例。本实施例结构图如图l所示。图1中，虚线左边为跟踪前已知的内容，包括通 过变形体纹理模版构建的三角片网格模型，通过标定算法求出的摄像机内参数矩阵， 以及摄像机在每一时刻采集的图像。虚线右边为待求解内容，即变形体的三维空间 结构。本实施例的具体实施过程如下-1.首先采集一幅变形体目标未发生形变的正视图，通过图像中目标表面的纹理模版构建变形体三角片网格模型，并存储模型参数。对于图2所示的变形体目标， 其未变形的表面纹理模版如本文档来自技高网...
【技术保护点】
一种基于二阶锥规划的变形体三维跟踪方法，其特征在于，包括以下步骤： 步骤一、采集一幅变形体目标未发生形变的正视图，通过图像中目标表面的纹理模版构建变形体三角片网格模型，并存储模型参数； 步骤二、在三维跟踪过程中的每一时刻，采集一 幅当前帧变形体目标图像，提取图像特征点并与存储的三角片网格模型参数进行匹配，将得到的特征点对应匹配表示为一组二阶锥约束，并存储此特征点对应约束参数； 步骤三、约束三角片网格模型中每一条边保持其原始长度不变，将此形状约束描述为一个二阶锥 约束序列，并存储此模型形状约束参数； 步骤四、取出特征点对应约束和模型形状约束参数，将其合并为一个二阶锥规划序列，以上一帧跟踪结果为初值，通过迭代求解此序列二阶锥规划问题重建目标的三维空间结构，并输出当前帧变形体目标的三维跟踪结果。
【技术特征摘要】
【专利技术属性】
技术研发人员：申抒含，刘允才，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。