单相机测量物体三维位置与姿态的方法技术

本发明专利技术公开一种单相机测量物体三维位置与姿态的方法，利用单相机获得待测目标的图像，通过精确识别待测目标上的标记点，来确定待测目标的实时三维位置与姿态信息；根据检测场景和范围选定合适的相机，并对相机进行标定，获得相机的内外参数；根据待测目标设计目标标记点并将标记点合理布局；然后根据相机捕获的图像进行目标检测和特征点的识别，并将检测到的特征点与标记点进行匹配；最后根据测量点与物体标记点的对应关系来求待测目标的三维位置与姿态信息。对于非刚性物体还能够检测到物体是否有变形。本发明专利技术采用单相机来实现三维测量，能够获知目标在三维空间中的空间几何参数、位置与姿态等信息，降低了测量成本和测量系统的体积，并且便于操作。

【技术实现步骤摘要】

本专利技术属于信息技术中的视觉测量领域，涉及一种利用相机标定与目标检测来确 定待测目标的三维位置与姿态的视觉测量方法。
技术介绍
视觉测量方法能够对空间几何尺寸进行精确测量和定位，是目前信息技术中的一 个重要的研究领域，已经在产品在线质量监控、微电子器件的自动检测、各种模具三维形状 的测量以及机械手的定位与瞄准等领域得到应用。目前一般采用双目相机或者单相机加光 投射器的方式来实现三维测量。为了提高测量精度，要求两个相机之间的距离尽可能大，这 就使得测量系统的体积增大，重量增加。并且一般情况下，大多数测量物体都是刚性物体， 通过视觉测量系统来获得该物体在三维空间中的几何参数和位置姿态等信息。本专利技术采用 单相机来实现三维测量，降低了成本和测量系统的体积与重量，并且便于操作。除了能够测 量刚性物体的空间几何参数和位置姿态等信息，对于形变不大的非刚性物体，本专利技术还能 够检测到该物体产生的形变，如检测建筑物发生的形变等。
技术实现思路
本专利技术的目的在于，提供一种成本低，易实现的视觉测量方法以实现对目标的检 测并测量其三维位置与姿态，即利用单相机获得待测目标的图像，通过精确识别待测目标 上的标记点，来确定待测目标的实时三维位置与姿态信息。为达到本专利技术目的，本专利技术采用视觉测量技术，首先根据检测场景和范围选定合 适的相机，并对相机进行标定，获得相机的内外参数；根据待测目标设计目标标记点并将标 记点合理布局；然后根据相机捕获的图像进行目标检测和特征点的识别，并将检测到的特 征点与标记点进行匹配；最后根据测量点与物体标记点的对应关系来求待测目标的三维位 置与姿态信息。对于非刚性物体还能够检测到物体是否有变形。，其特征在于包括相机标定，目标标记， 特征点的检测，特征点与标记点的匹配和目标三维位置与姿态信息的计算五个步骤；步骤1 根据工作环境选择合适的相机，考虑焦距、视角、畸变等参数，使得相机在 特定的范围内都能够对目标清晰成像，为了建立视觉测量系统中三维世界坐标和二维图像 坐标的映射关系，需要对相机进行标定，即确定相机的内外参数，所述的相机的内参数是指 相机的焦比、光心及成像坐标系两轴间的夹角；外参数是指旋转矩阵和平移向量；步骤2 对目标进行标记，即将标记点标记在目标上，以便准确快速的检测和识 别；步骤3 对相机采集的图像进行图像处理，获得图像中的所有特征点，计算各特征 点在图像中的位置，所述的图像的特征点是成像后待测目标上的标记点；步骤4:在检测出的所有特征点中确定用于匹配的特征点，将其与目标标记点进行匹配，获得二维坐标与三维坐标的对应关系，所述的标记点是待测目标上标记点步骤5 根据特征点与标记点的对应关系，计算目标的三维位置与姿态信息，所述 的三维位置与姿态信息是待测目标在三维世界坐标系中的三维坐标和其相对于坐标系的 偏转角度。实现上述视觉检测测量方法，按以下具体步骤进行步骤1. 1建立二维坐标和三维坐标之间的映射关系，令图像点p = (u，v，l)T是空 间一点eP = (x，y，z, 1)T在图像平面的齐次坐标，则规一化图像坐标多的齐次坐标为 物理图像坐标系与归一化图像坐标系之间的关系为 其中 (u0, v0, a , ^ , c)统称为相机的内部参数，其中(a，为相机的焦比，c反应了 U轴和V轴夹角斜度，C0 = (u0, V(1)T是相机的光心。则图像点P在物理图像坐标系中的齐 次坐标与空间点eP在相机坐标系中的齐次坐标之间的关系为P = 0)(CP)(3) 相机坐标系(C)在世界坐标系(W) = (0w，X，Y，Z)中的位置记为 代入⑶式得 其中，是旋转矩阵，t = e0w是平移向量，它们是相机的外参数。 步骤1. 2对选定的相机进行标定，即获得相机的内外参数。采用基于平面单应矩 阵的标定方法，利用不同视点间的平面匹配来计算相机参数，最少只需3个不同视点的图 像即可完成标定。记像平面二维坐标点P = (u, v)T，世界坐标P = (X，Y，Z)T，由公式⑷可知，从三维到二维的映射可以表示为其中f, 令标板所在的世界坐标Z = 0，则上式可写为 将上式重新记为 p =丄HP,其 IH矩阵即确定了三维空间坐标到二维像平面坐标的映射关系，也即求解出H矩阵 就完成了相机的标定。步骤1. 3考虑到测量与计算误差，定义误差函数如下 使上式最小即可求得最大似然估计下的最优参数。步骤2是对目标进行标记，即将标记点标记在目标上，以便准确快速的检测和识 别。目标一般分为刚性、非刚性两大类。对于刚性目标，标记点不会发生形变。对于非刚性 目标，标记点可能会发生形变。本专利技术除了能够检测目标的三维位置与姿态，对于非刚性目 标还能够检测目标发生的形变。步骤3. 1用相机采集待测目标的图像，并进行图像处理，将其转换成灰度图像；步骤3. 2对灰度图像进行预处理，包括图像去噪，图像增强等方法，使图像中各个 图形更为清晰；步骤3. 3利用prewitt算子对图像作边缘检测，找梯度最大的地方，通常找到的是 标记点图形所在区域的边缘；步骤3. 4对步骤3. 3得到的边缘图进行直方图统计，根据双峰法选取波谷处的灰 度值作为阈值，根据该阈值对图像进行二值化，使特征图形所形成的区域更明显；步骤3. 5对于找到的超过阈值的区域S，计算区域的质心作为该图形的中心；步骤3. 6在确定图形的中心后，根据该中心及其4邻域是否为白色来确定该图形 是实心还是空心。步骤4. 1检测出的特征点数通常有多个，从中确定3个以上待匹配的图像特征 步骤4. 2根据4. 1确定的多个特征点的位置来确定它们对应于实际目标中的标记 点，包括特征点分类、特征点排序、判断特征点组号和点集匹配四个步骤，得到二维坐标与 三维坐标的映射关系；步骤5. 1 根据特征点、对应的目标标记点及相机内部参数，采用ICP方法求解旋 转矩阵和平移矩阵，得到目标位置与姿态的六个参数；步骤5. 2 要确定空间中相机坐标系下某一点P(X。，Y。，Z。)，根据图像中对应的测量点P(x，y)、二维坐标与三维坐标的关系Zc坐标系之间的转换关系 附图说明图1本专利技术的视觉测量系统总框图2本专利技术中相机成像模型及物理成像和归一化成像坐标系图3本专利技术中相机标定示意图4本专利技术中目标标记点的设计和布局示意图5本专利技术中图像特征点检测结果；图6本专利技术中确定待匹配的图像特征点流程图7本专利技术中图像特征点与标记点的匹配流程图8本专利技术中图像特征点排序示意图。具体实施例方式以下结合附图对本专利技术做进一步的详细描述。本专利技术包括相机标定、目标标记点的标记、特征点检测、特征点与标记点的匹配、 位置与姿态计算五个部分，如图1所示，该方法按以下步骤进行步骤1. 1设定整个工作范围为12mX8m，则为了全局监控检测，并对目标进行定 位，需要选用视场比较大的镜头。但镜头视场越大其焦距越小，那么成像后，畸变就越严重， 不利于目标检测以及位置与姿态计算。综合考虑这些因素，可选取焦距为5mm的镜头(其 水平视场角约为60度)进行全局监控。CN 101839692 A说明书4/9页 可得 (10)其中 。至少需要3个标记点来计算M矩阵中的6个参数，考虑到计算精度，本专利技术采用7 个标记点来计算目标的三维位置与姿态。从上述测量过程可知，本专利技术采用单相机来实本文档来自技高网...

【技术保护点】
单相机测量物体三维位置与姿态的方法，其特征在于：包括相机标定，目标标记，特征点的检测，特征点与标记点的匹配和目标三维位置与姿态信息的计算五个步骤；　　步骤１：相机标定，标定相机的内外参数，建立视觉测量系统中三维世界坐标和二维图像坐标的映射关系，所述相机的内参数是指相机的焦比、光心及成像坐标系两轴间的夹角；所述相机的外参数是指旋转矩阵和平移向量；　　步骤２：目标标记，将标记点标记在目标上，以便准确快速的检测和识别；　　步骤３：特征点的检测，对相机采集的图像进行图像处理，获得图像中的所有特征点，计算各特征点在图像中的位置，所述图像的特征点是成像后待测目标上的标记点；　　步骤４：特征点与标记点的匹配，在检测出的所有特征点中确定用于匹配的特征点，将其与目标上标记点进行匹配，获得二维坐标与三维坐标的对应关系；　　步骤５：目标三维位置与姿态信息的计算，根据特征点与标记点的对应关系，计算目标的三维位置与姿态信息，所述的三维位置与姿态信息是指目标在三维世界坐标系中的三维坐标和其相对于坐标系的偏转角度。

【技术特征摘要】

【专利技术属性】
技术研发人员：薛建儒，王飞，田丽华，杜少毅，平林江，穆帆，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：87[中国|西安]