基于点云信息手眼标定的复杂外形大工件彩色三维重建方法技术

本发明专利技术公开了一种基于点云信息手眼标定的复杂外形大工件彩色三维重建方法，利用结构光双目视觉系统结合图像融合，使得在保证三维重建精度的前提下，结合双目结构光系统配置灵活，测量效率高的优势，实现高精点云数据的快速获取。在此基础上，结合彩色相机赋予点云真实的颜色纹理特征信息，并结合机械臂辅助模块，高效测量大工件的多个视角下的点云数据。此外，利用双目视觉能够直接获取点云信息的优势，利用点云的坐标信息来完成手眼标定。相比于传统的基于标定板的手眼标定，直接且充分利用点云数据的优势，避免了多次坐标系变换过程，标定过程更加高效且精度得到保证。标定过程更加高效且精度得到保证。标定过程更加高效且精度得到保证。

【技术实现步骤摘要】
基于点云信息手眼标定的复杂外形大工件彩色三维重建方法
[0001]技术邻域
[0002]本专利技术属于彩色三维重建
，更为具体地讲，涉及一种基于点云信息手眼标定的复杂外形大工件彩色三维重建方法。

技术介绍

[0003]航天器作为一种高精尖的飞行设备，承载了天体和太空的重要探索和开发任务。其运行环境复杂，遭受的安全威胁形式多样。针对航天器的测量工作同时需求高精度的三维形貌测量数据和高效的测量时间。同时航天器测量尺寸较大，进一步对三维测量提出了更高的要求。
[0004]经纬仪布站测量是目前航天站常用的精度检测方法之一。经纬仪是一种基于空间交会原理的非接触式测量系统。它测量范围大、精度高。但是测量模型要求经纬仪需要严格的调水平状态。且需要复杂的标定过程。因此测量周期长、测量成本较高。同时易受外界电磁波和光线的影响，对存储条件要求较高。
[0005]双目结构光系统利用投光机将编码结构光图案投射到被测物体表面并利用双目相机进行拍摄，利用相位信息进行图像匹配最后进行三维重构，重建出双目公共区域物体的形貌信息，是一种高精度的三维成像技术。
[0006]然而经纬仪和双目结构光系统只能获取到目标的三维几何信息，而颜色信息作为重要的特征信息，不论是对人眼感知还是机器视觉的特征提取都有重要的意义。
[0007]此外，航天器大尺寸目标的完整测量是另外一个挑战，双目结结构光系统受限于相机的成像范围和视角大小，不可能一次性将大尺寸工件(大工件)，如航天器这样的被测对象拍摄完全。一般的策略是进行多个视角的拍摄，获得多片点云数据，然后将多片点云数据进行拼接对齐，从而使得被测对象的点云数据完整。
[0008]基于机械臂辅助模块的多视角拍摄是一种高效的点云数据获取和拼接方案。利用机械臂硬件提供的先验坐标信息，能够快速且鲁棒地计算出各个视角下所拍摄的多片点云之间的旋转平移矩阵来完成点云拼接。其中的关键一环是机械臂和相机之间的手眼标定环节。该环节计算出机械臂末端位置到相机之间的坐标系变换矩阵H
gc
，是机械臂辅助拼接的基础。但是传统的手眼标定过程和双目标定过程的差异性使得H
gc
计算误差较大。

技术实现思路

[0009]本专利技术的目的在于克服现有技术的不足，提供一种基于点云信息手眼标定的复杂外形大工件彩色三维重建方法，利用机械臂辅助双目结构光系统完成被测对象的高精度三维形貌数据快速获取，结合彩色相机和图像融合技术赋予点云真实的颜色纹理特征信息，利用机械臂辅助并结合点云信息直接进行手眼标定，充分利用点云数据的优势，避免了多次坐标系变换过程，标定过程更加高效且精度得到保证。
[0010]为实现上述专利技术目的，本专利技术基于点云信息手眼标定的复杂外形大工件彩色三维重建方法，其特征在于，包括：
[0011](1)、利用机械臂辅助高分辨率双目灰度相机对大工件即被测对象进行三维形貌重建，获取被测对象各个视角下无颜色三维点云，记录为其中，obj表示被测对象，i表示第i次拍摄，I表示拍摄总次数，同时，记录每次拍摄时，机械臂末端位置的6个状态参数，记为其中，为机械臂末端位置的位置坐标，为机械臂末端位置的旋转坐标；
[0012]利用光学RGB相机在机械臂末端位置上拍摄一张低分辨率彩色图像，记为
[0013](2)、对获取的各张低分辨率彩色图像执行基于目标导向的分区域插值算法，从而将低分辨率彩色图像的分辨率和双目视觉系统中高分辨率双目灰度相机获得的灰度图像分辨率进行统一
[0014](2.1)、用表示双目视觉系统获取的左相机灰度图像，其中(x,y)表示左相机灰度图像中的第x行、第y列像素的坐标位置，M
h
和N
h
表示左相机灰度图像的图像大小，即左相机灰度图像总像素值为M
h
×
N
h
，简单表示为
[0015]将低分辨率彩色图像进行配准后的彩色图像表示为其中(u
l
',v
l
')表示彩色图像中的第u
l
'行、第v
l
'列像素的坐标位置，M
l
和N
l
表示彩色图像的图像大小，即彩色图像总像素值为M
l
×
N
l
，简单表示为
[0016](2.2)、利用边缘检测算法得到彩色图像中被测对象的边界点集ED，然后，对边界点集ED进行图像膨胀以扩大边界得到边界点集ED
exp
：
[0017]ED
exp
＝imdilate(ED)
[0018]利用膨胀后的边界点集ED
exp
划分彩色图像的区域为目标区域Zone
obj
、背景区域Zone
back
和边界区域Zone
edge
；
[0019](2.3)、对空白的高分辨率彩色图像进行坐标变换和映射，实现与高分辨率的左相机灰度图像的分辨率统一：
[0020]首先创建一个和左相机灰度图像具有相同分辨率的待确定像素点像素值的空白的高分辨率彩色图像简单表示为
[0021]然后进行由高分辨率彩色图像中像素点的坐标(u
h
,v
h
)到低分辨率的配准后的彩色图像中像素点的坐标(u,v)的向后变换：
[0022][0023](2.4)、根据向后变换得到的彩色图像中像素点的坐标(u,v)以及步骤(2.2)划分的点集，对高分辨率彩色图像中每个像素点的像素值进行赋值，即根据高分辨率彩色图像每个像素点的坐标(u
h
,v
h
)向后映射的像素点的坐标(u,v)，确定高分辨率彩色图像每个像素点的坐标(u
h
,v
h
)的像素值具体为；
[0024](a)、如果坐标{(u,v)}∈Zone
back
，那么该像素点位于背景区域，对其插值质量要求最低，则其像素值为其坐标(u
h
,v
h
)映射后彩色图像中坐标(u,v)处于的四邻域中的最近邻点的像素值；
[0025](b)、如果坐标{(u,v)}∈Zone
obj
，那么该像素位于目标区域，其像素值为：
[0026][0027]其中，(u
′
l
,v
′
l
)、(u
′
l
+1,v
′
l
)、(u
′
l
,v
′
l
+1)、(u
′
l
+1,v
′
l
+1)表示彩色图像中坐标(u,v)的四个邻域像素点的坐标，中坐标(u,v)的四个邻域像素点的坐标，示四个邻域像素点的像素值，w
11
,w
12
,w
21
,w本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云信息手眼标定的复杂外形大工件彩色三维重建方法，其特征在于，包括：(1)、利用机械臂辅助高分辨率双目灰度相机对大工件即被测对象进行三维形貌重建，获取被测对象各个视角下无颜色三维点云，记录为其中，obj表示被测对象，i表示第i次拍摄，I表示拍摄总次数，同时，记录每次拍摄时，机械臂末端位置的6个状态参数，记为其中，为机械臂末端位置的位置坐标，为机械臂末端位置的旋转坐标；利用光学RGB相机在机械臂末端位置上拍摄一张低分辨率彩色图像，记为(2)、对获取的各张低分辨率彩色图像执行基于目标导向的分区域插值算法，从而将低分辨率彩色图像的分辨率和双目视觉系统中高分辨率双目灰度相机获得的灰度图像分辨率进行统一(2.1)、用表示双目视觉系统获取的左相机灰度图像，其中(x,y)表示左相机灰度图像中的第x行、第y列像素的坐标位置，M
h
和N
h
表示左相机灰度图像的图像大小，即左相机灰度图像总像素值为M
h
×
N
h
，简单表示为将低分辨率彩色图像进行配准后的彩色图像表示为其中(u
l
',v
l
')表示彩色图像中的第u
l
'行、第v
l
'列像素的坐标位置，M
l
和N
l
表示彩色图像的图像大小，即彩色图像总像素值为M
l
×
N
l
，简单表示为(2.2)、利用边缘检测算法得到彩色图像中被测对象的边界点集ED，然后，对边界点集ED进行图像膨胀以扩大边界得到边界点集ED
exp
：ED
exp
＝imdilate(ED)利用膨胀后的边界点集ED
exp
划分彩色图像的区域为目标区域Zone
obj
、背景区域Zone
back
和边界区域Zone
edge
；(2.3)、对空白的高分辨率彩色图像进行坐标变换和映射，实现与高分辨率的左相机灰度图像的分辨率统一：首先创建一个和左相机灰度图像具有相同分辨率的待确定像素点像素值的空白的高分辨率彩色图像简单表示为然后进行由高分辨率彩色图像中像素点的坐标(u
h
,v
h
)到低分辨率的配准后的彩色图像中像素点的坐标(u,v)的向后变换：
(2.4)、根据向后变换得到的彩色图像中像素点的坐标(u,v)以及步骤(2.2)划分的点集，对高分辨率彩色图像中每个像素点的像素值进行赋值，即根据高分辨率彩色图像每个像素点的坐标(u
h
,v
h
)向后映射的像素点的坐标(u,v)，确定高分辨率彩色图像每个像素点的坐标(u
h
,v
h
)的像素值具体为；(a)、如果坐标{(u,v)}∈Zone
back
，那么该像素点位于背景区域，对其插值质量要求最低，则其像素值为其坐标(u
h
,v
h
)映射后彩色图像中坐标(u,v)处于的四邻域中的最近邻点的像素值；(b)、如果坐标{(u,v)}∈Zone
obj
，那么该像素位于目标区域，其像素值为：其中，(u
′
l
,v
′
l
)、(u
′
l
+1,v
′
l
)、(u
′
l
,v
l
+1)、(u
′
l
+1,v
′
l
+1)表示彩色图像中坐标(u,v)的四个邻域像素点的坐标，(u,v)的四个邻域像素点的坐标，示四个邻域像素点的像素值，w
11
,w
12
,w
21
,w
22
为权重系数，它们由其所处位置和距离各自最近的边界区域Zone
edge
像素点的相对距离决定，即：像素点的相对距离决定，即：像素点的相对距离决定，即：像素点的相对距离决定，即：其中，(
11
u
′
ed
,
11
v
′
ed
)、(
21
u
′
ed
,
21
v
′
ed
)、(
12
u
′
ed
,
12
v
′
ed
)、(
22
u
′
ed
,
22
v
′
ed
...

【专利技术属性】
技术研发人员：殷春，谭旭彤，高延，陈凯，闫中宝，刘俊杰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：