一种基于TM-SRC的三维无纹理目标位姿估计方法技术

本发明专利技术公开了一种基于TM

【技术实现步骤摘要】
一种基于TM
‑
SRC的三维无纹理目标位姿估计方法


[0001]本专利技术涉及一种三维无纹理目标位姿估计方法，属于机器视觉
，尤其涉及一种基于模板匹配和稀疏表示分类(Template Matching and Sparse Representation Classification，TM
‑
SRC)的三维无纹理目标位姿估计方法。

技术介绍

[0002]三维目标位姿估计在装备制造、机器人抓取、增强现实等领域都有着广泛的应用。随着SIFT(Scale
‑
invariant Feature Transform)，SURF(Speeded Up Robust Features)，ORB(Oriented Fast and Rotated Brief)等局部特征描述子的提出，具有纹理信息的三维目标位姿估计难度降低，但大部分目标往往缺少或没有纹理信息，对于这些无纹理目标，基于局部特征描述子的方法则无法适用。
[0003]现有目标位姿估计方法主要有基于几何特征、深度学习和模板匹配三大类。基于几何特征的位姿估计方法常利用点、直线、曲线等三维目标已知的结构特征，通过坐标变换对结构特征进行位姿解算得到三维目标的位姿信息，该方法极度依赖于三维目标的纹理特征，对于无纹理目标通常无法提取到稳定的关键点；近年来基于深度学习的方法取得了较好的效果，但存在目标数据收集和标注困难的问题，很多场景也没有足够的计算机资源运行该类方法；基于模板匹配的方法通过计算测试图像和模板图像的相似度，选取模板库中与测试图像相似度最高的模板关联的位姿参数作为位姿估计结果，由于其不依赖于目标的纹理特征，因此对无纹理目标有良好的性能，取得了较高的精度。然而，基于模板匹配的方法仍然存在局限，如对模板库进行穷举搜索匹配时间复杂度过高；同时，现有基于模板匹配的位姿估计方法存在对遮挡和杂乱背景的鲁棒性较低的问题。
[0004]因此，本专利技术提出一种基于TM
‑
SRC的三维无纹理目标位姿估计方法，通过引入采样视点位姿的先验知识构建先验分层树加速搜索匹配，在先验分层树高层使用相似性度量进行匹配，在先验分层树底层使用稀疏表示分类进行分类，实现三维无纹理目标的位姿估计，提高遮挡和杂乱背景下三维无纹理目标位姿估计的鲁棒性。

技术实现思路

[0005]本专利技术以提高遮挡和杂乱背景下三维无纹理目标位姿估计的鲁棒性为目的，提出一种基于TM
‑
SRC的三维无纹理目标位姿估计方法，包括以下步骤：
[0006]步骤一：基于三维目标CAD模型构建模板库，利用不同视点的位姿参数计算投影变换矩阵，然后使用开放图形库OpenGL对三维目标CAD模型进行解析渲染，投影生成不同视点下的模板，最后提取模板库模板的特征并进行存储，离线完成模板库构建；
[0007]步骤二：构建先验分层树加速搜索匹配，通过引入采样视点位姿的先验知识，将相邻视点的模板归为一类，将中心视点模板作为类别中心，并对模板图像进行降采样，完成先验分层树的构建；
[0008]步骤三：输入三维目标测试图像并进行降采样构建测试图像金字塔，加载离线构
建的先验分层树的模板特征以及索引信息；在先验分层树的高层使用相似性度量进行匹配，在先验分层树的底层引入稀疏表示分类进行分类，得到最终匹配模板，输出最终匹配模板索引和关联的位姿参数，实现三维无纹理目标的位姿估计。
[0009]所述步骤一，具体包括：
[0010]利用OpenGL对CCD相机的成像过程进行模拟生成不同视点下的模板图像，提取模板图像的特征并进行存储，离线完成模板库构建。相机成像可概括为：世界坐标系O
w
‑
X
w
Y
w
Z
w
中的三维点经过相机坐标系O
c
‑
X
c
Y
c
Z
c
、图像物理坐标系O
R
‑
xy、图像像素坐标系O
I
‑
uv之间的变换，最终变换为像平面中像素点p
I
(u,v)的过程，世界坐标系与图像像素坐标系之间的转换关系可表示为:
[0011][0012]式中，η＝1/z
c
为尺度因子，z
c
为深度值；(u0,v0)为主点坐标；f
x
和f
y
为相机焦距与x和y方向的像元尺寸之比；γ表示O
R
‑
xy坐标系两坐标轴垂直度偏差；K为相机的内参矩阵；M为相机的外参矩阵，由旋转矩阵R和平移向量t组成。
[0013]基于三维目标CAD模型构建模板库，从不同的视角对目标模型进行投影。本专利技术利用OpenGL的虚拟相机模拟成像过程，假设三维目标CAD模型处于一个单位球的中心位置，虚拟相机位于球体表面，在不同的视点对三维目标CAD模型进行投影，可以通过在球面上移动虚拟相机实现，这样模板的位姿参数可由采样视点半径r，绕x
‑
y轴和光轴z旋转角度α,β,λ四个参数表示，本专利技术在具有四个位姿参数的球面上均匀采样获取各视点位姿参数。每个平面所对应的颜色的RGB三通道值被分别设置为其法向量的三个分量，将目标不同表面赋为不同颜色以满足后续特征提取的需要，模板库采样示意图如图1所示。
[0014]得到模板图像后需要对模板图像进行特征提取用于后续相似度计算，本专利技术采用了现有的一种对目标小形变具有鲁棒性的图像梯度特征透视累积方向特征(Prospectively Cumulated Orientation Feature，PCOF)，该特征提取过程如下，首先在采样视点位姿附近通过随机采样投影生成大量二维图像；然后使用离散性差分算子Sobel算子从每幅图像中提取梯度和梯度方向，选取RGB三通道中梯度幅值最大的梯度方向作为该像素点的梯度方向，将提取的梯度方向量化为8个方向；利用量化后的梯度方向在每个像素点上构造梯度方向直方图；最后，保留大于设定阈值的量化梯度方向，对每个像素点构建一个二进制字符串作为特征，同时将直方图的最大频率保留作为后续匹配相似性度量的权重。
[0015]所述步骤二，具体包括：
[0016]构建先验分层树加速搜索匹配，本专利技术通过建树的方法加速搜索匹配过程。本专利技术利用采样视点位姿的先验知识构造分层树，在模板生成过程中，步骤一在具有四个位姿参数的球面上均匀采样，每个模板的位姿参数与其相邻模板相近，因此相邻模板之间的相似性会很高。在此先验知识的基础上，将相邻视点归为一类，并将中心视点作为类别中心参与下一次分类，建立先验分层树，本专利技术同时使用了降采样构建图像金字塔进一步加快匹配速度。图2为先验分层树在二维位姿空间中生成的示意图，本专利技术的方法只需要扩展到四
维位姿空间。
[0017]所述步骤三，具体包括：
[0018]输入三维目标测试图像并进行降采样构建测试图像金字塔，加载离线构建的先验本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TM
‑
SRC的三维无纹理目标位姿估计方法，其特征在于：该方法具体包括以下步骤：步骤一：基于三维目标CAD模型构建模板库，利用不同视点的位姿参数计算投影变换矩阵，然后使用开放图形库OpenGL对三维目标CAD模型进行解析渲染，投影生成不同视点下的模板，最后提取模板库模板的特征并进行存储，离线完成模板库构建；步骤二：构建先验分层树加速搜索匹配，通过引入采样视点位姿的先验知识，将相邻视点的模板归为一类，将中心视点模板作为类别中心，并对模板图像进行降采样，完成先验分层树的构建；步骤三：输入三维目标测试图像并进行降采样构建测试图像金字塔，加载离线构建的先验分层树的模板特征以及索引信息；在先验分层树的高层使用相似性度量进行匹配，在先验分层树的底层引入稀疏表示分类进行分类，得到最终匹配模板，输出最终匹配模板索引和关联的位姿参数，实现三维无纹理目标的位姿估计。2.根据权利要求1所述的一种基于TM
‑
SRC的三维无纹理目标位姿估计方法，其特征在于：步骤一包括如下步骤，利用OpenGL对CCD相机的成像过程进行模拟生成不同视点下的模板图像，提取模板图像的特征并进行存储，离线完成模板库构建；相机成像概括为：世界坐标系O
w
‑
X
w
Y
w
Z
w
中的三维点经过相机坐标系O
c
‑
X
c
Y
c
Z
c
、图像物理坐标系O
R
‑
xy、图像像素坐标系O
I
‑
uv之间的变换，最终变换为像平面中像素点p
I
(u,v)的过程，世界坐标系与图像像素坐标系之间的转换关系表示为:式中，η＝1/z
c
为尺度因子，z
c
为深度值；(u0,v0)为主点坐标；f
x
和f
y
为相机焦距与x和y方向的像元尺寸之比；γ表示O
R
‑
xy坐标系两坐标轴垂直度偏差；K为相机的内参矩阵；M为相机的外参矩阵，由旋转矩阵R和平移向量t组成；基于三维目标CAD模型构建模板库，从不同的视角对目标模型进行投影；利用OpenGL的虚拟相机模拟成像过程，假设三维目标CAD模型处于一个单位球的中心位置，虚拟相机位于球体表面，在不同的视点对三维目标CAD模型进行投影，在球面上移动虚拟相机实现，模板位姿参数由采样视点半径...

【专利技术属性】
技术研发人员：王建林，谭振国，郭永奇，邱科鹏，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：