一种基于视触觉融合的三维测量方法及系统技术方案

本发明专利技术属于三维测量技术领域，并具体公开了一种基于视触觉融合的三维测量方法及系统。所述方法通过视觉的方法获得待测物体可见部分的三维点云，通过采用机器人末端测量装置对待测物体表面进行测量，以获取待测物体表面不可见部分的接触点云模型；对三维点云及接触点云数据进行滤波处理，并通过点云平滑算法进行平滑处理以获得与实际待测物体表面贴合的点云模型，将所述视觉点云模型和接触点云模型进行拼接，以获取待测物体表面的点云模型，最后根据该点云模型进行点云三角网格化得到待测物体的三维模型。所述系统包括视觉测量模块、接触测量模块以及控制器。本发明专利技术提高了对于未知物体测量的鲁棒性和环境适应性。知物体测量的鲁棒性和环境适应性。知物体测量的鲁棒性和环境适应性。

【技术实现步骤摘要】
一种基于视触觉融合的三维测量方法及系统


[0001]本专利技术属于三维测量
，更具体地，涉及一种基于视触觉融合的三维测量方法及系统。

技术介绍

[0002]由于未知物体表面特征与测量环境各异，捕获物体表面形貌特征并将其转换为三维模型是一个复杂且困难的问题。目前解决方法通常有非接触式测量和接触式测量两种。非接触测量，如视觉测量、激光测量等，通常测量速度较快，但测量精度较低，且易受环境光照变化、遮挡以及待测物体三维表面特征等因素影响，环境适应性较弱。相比于非接触式测量，接触式测量，如三坐标测量等，由于与待测对象直接接触，测量精度高，环境适应性好，对光照变化、遮挡、复杂表面等因素鲁棒，因此在复杂情况下可以得到更好的表面模型。将视觉测量与触觉测量进行融合，提出一种多模态信息融合的测量方法以进行三维测量。
[0003]中国专利CN111582186A公开了一种基于视觉和触觉的物体边缘识别方法、装置、系统及介质，将视觉和触觉相融合来实现物体边缘特征的识别，所识别的边缘特征可用于提高机械臂抓取的准确性、鲁棒性和可靠性。另外，中国专利CN112388655A公开了一种基于触觉振动信号与视觉图像融合的抓取物识别方法，该方法将视觉彩色图像的RGB三通道和触觉彩色图像的RGB三通道并起来形成六通道的输入。再将六通道的图像输入卷积神经网络进行物体种类识别。然而，上述两篇专利公开的视触觉融合方法并不适用于物体的三维重建场景。前者的应用场景为对未知物体的抓取，更偏重于对物体边缘特征的识别提取；而后者的应用场景是对物体的属性识别，使用卷积神经网络实现视觉和触觉的多模态信息融合以识别物体的种类和物理属性，可以提高机器人的认知能力。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于视触觉融合的三维测量方法及系统，其中结合视觉测量及接触测量的工艺特点，相应的将视觉测量及接触测量进行融合，并对其测量过程中的控制方法、融合过程及拼接过程的具体设置方式进行研究和设计，相应融合了视觉和触觉对未知物体进行三维测量，通过视觉测量物体的可见部分；通过触觉建立物体不可见部分的点云模型，之后进行点云的拼接，得到待测量对象的完整点云模型，提高了对于未知物体测量的鲁棒性和环境适应性。
[0005]为实现上述目的，按照本专利技术的一个方面，提出了一种基于视触觉融合的三维测量方法，包括以下步骤：
[0006]S1通过视觉的方法对待测物体进行非接触式的测量，以获得待测物体可见部分的三维点云；
[0007]S2采用点云滤波算法滤除所述可见部分的三维点云的离群点，并通过点云平滑算法进行平滑处理以获得与实际待测物体表面贴合的视觉点云模型；
[0008]S3根据运动学模型，构建机器人末端测量装置的末端接触点坐标系相对于与机器
人基坐标系的位姿变换关系，通过采用机器人末端测量装置对待测物体表面进行测量，以获取待测物体表面不可见部分的接触点云数据，根据接触点云数据获取完整的接触点云模型；
[0009]S4将所述视觉点云模型和接触点云模型进行拼接，以获取待测物体表面的点云模型，最后根据该点云模型进行点云三角网格化得到待测物体的三维模型。
[0010]作为进一步优选的，步骤S1中，所述非接触式的测量方法包括结构光法、飞行时间法、三角测距法、双目立体视觉法中的任意一种。
[0011]作为进一步优选的，步骤S2中，采用统计滤波或者双边滤波的方式对所述可见部分的三维点云的离群点进行滤除。
[0012]作为进一步优选的，步骤S3具体包括以下步骤：
[0013]S31在机器人末端设置末端测量装置，对末端测量装置进行运动学建模得到末端测量装置的末端接触点与机器人的位姿变换关系，根据该位姿变换关系计算所述末端接触点与机器人基坐标系的位姿变换关系；
[0014]S32采用所述机器人控制末端测量装置按照既定的运动路径对待测物体表面进行测量，测量过程中，采用自适应变阻抗控制方法使得所述末端接触点贴合待测物体的表面运动；
[0015]S33根据既定的运动路径对待测物体表面进行层级扫描后，得到对应每一层的接触点云数据，根据接触点云数据获取完整的接触点云模型。
[0016]作为进一步优选的，步骤S31中，所述末端接触点与机器人基坐标系的位姿变换关系为：
[0017][0018]其中，为机器人末端相对机器人基坐标系的位姿变换关系，为末端测量接触点坐标系相对于机器人末端坐标系的位姿变换关系矩阵，为末端接触点与机器人基坐标系的位姿变换关系。
[0019]作为进一步优选的，步骤S32中具体包括以下步骤：
[0020]S321构建机器人末端测量装置与待测物体表面接触的位置误差模型：
[0021][0022]其中，Δf为机器人末端测量装置与待测物体表面接触的位置误差，f
e
实际的接触力，f
d
为期望接触力，m为质量矩阵，b为阻尼矩阵，k为弹簧矩阵，e为位置的扰动量；
[0023]S322构建机器人末端测量装置与待测物体表面接触的稳态接触力误差模型：
[0024][0025]其中，Δf
ss
为稳态接触力误差，k为弹簧矩阵，k
e
为环境的接触刚度(用线性弹簧来模拟环境)，x
e
为环境的位置，x
r
为参考轨迹的位置点；
[0026]S323根据所述稳态接触力误差模型可知，当k＝0时将满足对于任意k
e
都有理想稳态状态f
e
＝f
d
，即稳态力误差Δf
ss
为零，因此，提出控制律令k＝0，则所述位置误差模型可
改写为：
[0027][0028]S324构建机器人末端测量装置与待测物体表面接触的环境模型为：
[0029]f
e
＝k
e
(x
e
‑
x
c
)＝
‑
k
e
e
[0030]其中，x
c
为机器人的指令位置点，
[0031]S325根据所述环境模型与步骤S323中改写后的所述位置误差模型构建机器人末端测量装置与待测物体表面接触力的阻抗控制律：
[0032][0033]S326采用优化算法获取测量过程中最优的m和b，以使得稳态接触力误差为零，使得所述末端接触点贴合待测物体的表面运动，并获取此时机器人末端测量装置的位置。
[0034]作为进一步优选的，将机器人末端测量装置既定的运动路径设计成Z型扫描路径，对待测量物体进行层级扫描，得出对应每一层的点云数据，最后综合各层点云数据得到完整的点云模型。
[0035]作为进一步优选的，步骤S4中，首先利用点特征直方图分别处理并搜索所述视觉点云模型和接触点云模型的几何特征点，然后根据所述集合特征点采用SIFT算法计算所述视觉点云模型和接触点云模型的特征点，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视触觉融合的三维测量方法，其特征在于，包括以下步骤：S1通过视觉的方法对待测物体进行非接触式的测量，以获得待测物体可见部分的三维点云；S2采用点云滤波算法滤除所述可见部分的三维点云的离群点，并通过点云平滑算法进行平滑处理以获得与实际待测物体表面贴合的视觉点云模型；S3根据运动学模型，构建机器人末端测量装置的末端接触点坐标系相对于与机器人基坐标系的位姿变换关系，通过采用机器人末端测量装置对待测物体表面进行测量，以获取待测物体表面不可见部分的接触点云数据，根据接触点云数据获取完整的接触点云模型；S4将所述视觉点云模型和接触点云模型进行拼接，以获取待测物体表面的点云模型，最后根据该点云模型进行点云三角网格化得到待测物体的三维模型。2.根据权利要求1所述的一种基于视触觉融合的三维测量方法，其特征在于，步骤S1中，所述非接触式的测量方法包括结构光法、飞行时间法、三角测距法、双目立体视觉法中的任意一种。3.根据权利要求1所述的一种基于视触觉融合的三维测量方法，其特征在于，步骤S2中，采用统计滤波或者双边滤波的方式对所述可见部分的三维点云的离群点进行滤除。4.根据权利要求1所述的一种基于视触觉融合的三维测量方法，其特征在于，步骤S3具体包括以下步骤：S31在机器人末端设置末端测量装置，对末端测量装置进行运动学建模得到末端测量装置的末端接触点与机器人的位姿变换关系，根据该位姿变换关系计算所述末端接触点与机器人基坐标系的位姿变换关系；S32采用所述机器人控制末端测量装置按照既定的运动路径对待测物体表面进行测量，测量过程中，采用自适应变阻抗控制方法使得所述末端接触点贴合待测物体的表面运动；S33根据既定的运动路径对待测物体表面进行层级扫描后，得到对应每一层的接触点云数据，根据接触点云数据获取完整的接触点云模型。5.根据权利要求4所述的一种基于视触觉融合的三维测量方法，其特征在于，步骤S31中，所述末端接触点与机器人基坐标系的位姿变换关系为：其中，为机器人末端相对机器人基坐标系的位姿变换关系，为末端测量接触点坐标系相对于机器人末端坐标系的位姿变换关系矩阵，为末端接触点与机器人基坐标系的位姿变换关系。6.根据权利要求4所述的一种基于视触觉融合的三维测量方法，其特征在于，步骤S32中具体包括以下步骤：S321构建机器人末端测量装置与待测物体表面接触的位置误差模型：其中，Δf为机器人末端测量装置与待测物体表面接触的位置误差，f
e
实际的接触力，f
d
为期望接触力，m为质量矩阵，b为阻尼矩阵，k为弹簧矩阵，e为位置的扰动量；
S322构建机器人末端测量装置与待测物体表面接触的稳态接触力误差模型：其中，Δf
ss
为稳态接触力误差，k为弹簧矩阵，k
e
为环境的接触刚度，x
e
为环境的位置，x
r
为参考轨迹的位置点；S323根据所述...

【专利技术属性】
技术研发人员：赵欢，吴天宇，李祥飞，丁汉，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：