一种基于DH坐标系的变焦云台双目测距方法及系统技术方案

本发明专利技术涉及一种基于DH坐标系的云台双目测距方法及系统，包括：对云台相机进行标定，得到相机的内参矩阵；根据相机相对于云台基座的位置关系，构建DH坐标系，计算相机相对于云台基座的齐次变换矩阵；利用两个云台基座间的以及相机相对于云台基座的齐次变换矩阵，通过矩阵连乘得到两个相机间的齐次变换矩阵，进而得到两个相机间的旋转矩阵和平移矩阵；利用两个相机间的旋转矩阵、平移矩阵及其各自的内参矩阵对目标图像进行立体校正；再进行特征点匹配以及视差计算目标图像对应的深度图。本发明专利技术舍弃拟合的方式，通过初始的一次标定，获得两相机之间初始位置，根据DH坐标建立运动学方程，从而实现双目相机的实时测距。从而实现双目相机的实时测距。从而实现双目相机的实时测距。

【技术实现步骤摘要】
一种基于DH坐标系的变焦云台双目测距方法及系统


[0001]本专利技术涉及双目立体视觉
，具体涉及一种基于DH坐标系的变焦云台双目测距方法及系统。

技术介绍

[0002]机器视觉技术在移动机器人、半自动移动机器人、自动驾驶等领域应用广泛，而基于图像的双目视觉测距具有成本小、设备简单的优点，在机器视觉领域占有越来越重要的地位。双目测距技术模拟人眼来对物体进行观察，根据特征点识别等一系列处理手段获取物体深度信息。随着移动机器人以及自动驾驶的快速发展，对于双目测距技术中的相机视野范围以及观察视角有着越来越高的要求。
[0003]现有双目测距的方法大多采用两个单摄像头或者一个双目相机的方案，通过对相机进行标定，获取两相机之间的初始相对位置，当两个摄像头同时拍摄某一个方向的物体，采用立体校正以及图像匹配，计算出视差图，从而得到图像的深度信息。但因为此类方案相机位置固定，所以只能对周围环境的某个方向进行双目测距。而且当相机进行变焦时，内参矩阵发生改变，需要重新标定进行双目测距。为解决上述问题，采用可进行水平以及俯仰旋转的云台相机作为图像获取设备，云台相机可以控制相机进行运动，观察任意方向的物体，并且可以进行变焦，进行局部放大处理。为了使用云台相机进行双目测距，需要对云台相机进行实时标定，这对于移动机器人或自动驾驶是不现实的。目前有的方案是采用线性拟合函数的方法，即改变云台相机的测量距离和测量角度，并分段改变相机焦距进行标定，重复上述步骤，获取多组标定数据之后得到线性拟合的数学模型，可在实际拍摄的时候无需重复进行标定，解决了双目测量时的云台姿态问题。但云台的每次旋转得到的标定结果是线性插值得到的结果，精度不够，且需要足够多的标定次数去拟合数学模型，比较繁琐，该方法也没有共性，不同的云台需要重新进行拟合。

技术实现思路

[0004]本专利技术针对现有技术中存在的技术问题，提供一种基于DH坐标的变焦云台测距方法及系统。该方法舍弃拟合的方式，通过初始的一次标定，获得两相机之间初始位置，根据DH坐标建立运动学方程，对两相机之间的内参矩阵进行实时更新，从而实现双目相机的实时测距。
[0005]本专利技术解决上述技术问题的技术方案如下：
[0006]第一方面，本专利技术提供一种基于DH坐标系的云台双目测距方法，包括：
[0007]对两个云台上的相机进行标定，得到两台相机的内参矩阵；
[0008]根据两台相机相对于各自云台基座的位置关系，构建DH坐标系，并基于DH坐标系，计算两个相机相对于各自云台基座的齐次变换矩阵；
[0009]利用两个云台基座间的齐次变换矩阵以及两个相机相对于各自云台基座的齐次变换矩阵，通过矩阵连乘得到两个相机间的齐次变换矩阵，并根据两个相机间的齐次变换
矩阵得到两个相机间的旋转矩阵和平移矩阵；
[0010]利用两个相机间的旋转矩阵、平移矩阵以及两个相机的内参矩阵对两个相机拍摄的目标图像进行立体校正；
[0011]对校正后的目标图像，利用SGBM算法进行特征点匹配以及视差计算得到目标图像对应的深度图。
[0012]进一步的，基于DH坐标系，计算两个相机相对于各自云台基座的齐次变换矩阵，包括：
[0013]根据连杆变换矩阵公式，分别计算旋转轴I相对于基坐标系、旋转轴II相对于旋转轴I、相机坐标系相对于旋转轴II的齐次变换矩阵；DH坐标系中旋转轴I用于控制相机的水平旋转，旋转轴II用于控制相机的俯仰旋转；
[0014]将旋转轴I相对于基坐标系、旋转轴II相对于旋转轴I、相机坐标系相对于旋转轴II的齐次变换矩阵连乘，得到相机相对于云台基座的齐次变换矩阵。
[0015]进一步的，该方法还包括，在对目标图像进行立体校正之前，若任一相机发生变焦，则对发生变焦的相机的内参矩阵进行更新，然后利用更新后的内参矩阵参与目标图像的立体校正。
[0016]进一步的，对发生变焦的相机的内参矩阵进行更新，包括：
[0017]获取相机变焦倍率大小r，根据相机倍率r与视场角FOV、视场角FOV与相机焦距f之间的关系，实时更新相机的内参矩阵，如下式所示：
[0018][0019][0020]上式中FOV
’
h
表示焦距变化之前的水平视场角，FOV
’
v
表示焦距变化之前的垂直视场角，W为相平面的宽度，H为相平面的高度。
[0021]进一步的，利用两个云台基座间的齐次变换矩阵以及两个相机相对于各自云台基座的齐次变换矩阵，通过矩阵连乘得到两个相机间的齐次变换矩阵，如下所示：
[0022][0023][0024][0025][0026]式中，下标l表示左侧云台相机，下标r表示右侧云台相机，表示坐标系n相对于坐标系n
‑
1的齐次变换矩阵，T
b
表示两个云台基座之间齐次变换矩阵，T表示两个相机间的齐次变换矩阵。
[0027]进一步的，使用Bouguet算法对两个相机拍摄的目标图像进行立体校正。
[0028]第二方面，本专利技术提供一种基于DH坐标系的云台双目测距系统，括：
[0029]标定模块，对两个云台上的相机进行标定，得到两台相机的内参矩阵；
[0030]第一矩阵计算模块，根据两台相机相对于各自云台基座的位置关系，构建DH坐标系，并基于DH坐标系，计算两个相机相对于各自云台基座的齐次变换矩阵；
[0031]第二矩阵计算模块，利用两个云台基座间的齐次变换矩阵以及两个相机相对于各自云台基座的齐次变换矩阵，通过矩阵连乘得到两个相机间的齐次变换矩阵，并根据所述齐次变换矩阵得到两个相机间的旋转矩阵和平移矩阵；
[0032]校正模块，利用两个相机间的旋转矩阵、平移矩阵以及两个相机的内参矩阵对两个相机拍摄的目标图像进行立体校正；
[0033]深度计算模块，对校正后的目标图像，利用SGBM算法进行特征点匹配以及视差计算得到目标图像对应的深度图。
[0034]第三方面，本专利技术提供一种电子设备，包括：
[0035]存储器，用于存储计算机软件程序；
[0036]处理器，用于读取并执行所述计算机软件程序，进而实现本专利技术第一方面所述的一种基于DH坐标系的云台双目测距方法。
[0037]第四方面，本专利技术提供一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现本专利技术第一方面所述的一种基于DH坐标系的云台双目测距方法的计算机软件程序。
[0038]本专利技术的有益效果是：
[0039]1)只需要进行初始的一次标定，不需要多次标定获取大量数据进行数学模型的拟合。且具有通用性，对于不同型号的云台也可以使用该方法。没有进行拟合即线性插值，根据原理严格推导进行测距，结果更加准确且快速。
[0040]2)实现了变焦相机内参的实时更新，使得云台可以观察周围环境任意方向不同倍率下物体的深度。
附图说明
[0041]图1为本专利技术实施例提供的一种基于DH坐标系的云台双目测距方法流程示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DH坐标系的云台双目测距方法，其特征在于，包括：对两个云台上的相机进行标定，得到两台相机的内参矩阵；根据两台相机相对于各自云台基座的位置关系，构建DH坐标系，并基于DH坐标系，计算两个相机相对于各自云台基座的齐次变换矩阵；利用两个云台基座间的齐次变换矩阵以及两个相机相对于各自云台基座的齐次变换矩阵，通过矩阵连乘得到两个相机间的齐次变换矩阵，并根据两个相机间的齐次变换矩阵得到两个相机间的旋转矩阵和平移矩阵；利用两个相机间的旋转矩阵、平移矩阵以及两个相机的内参矩阵对两个相机拍摄的目标图像进行立体校正；对校正后的目标图像，利用SGBM算法进行特征点匹配以及视差计算得到目标图像对应的深度图。2.根据权利要求1所述的方法，其特征在于，基于DH坐标系，计算两个相机相对于各自云台基座的齐次变换矩阵，包括：根据连杆变换矩阵公式，分别计算旋转轴I相对于基坐标系、旋转轴II相对于旋转轴I、相机坐标系相对于旋转轴II的齐次变换矩阵；DH坐标系中旋转轴I用于控制相机的水平旋转，旋转轴II用于控制相机的俯仰旋转；将旋转轴I相对于基坐标系、旋转轴II相对于旋转轴I、相机坐标系相对于旋转轴II的齐次变换矩阵连乘，得到相机相对于云台基座的齐次变换矩阵。3.根据权利要求1所述的方法，其特征在于，还包括，在对目标图像进行立体校正之前，若任一相机发生变焦，则对发生变焦的相机的内参矩阵进行更新，然后利用更新后的内参矩阵参与目标图像的立体校正。4.根据权利要求3所述的方法，其特征在于，对发生变焦的相机的内参矩阵进行更新，包括：获取相机变焦倍率大小r，根据相机倍率r与视场角FOV、视场角FOV与相机焦距f之间的关系，实时更新相机的内参矩阵，如下式所示：关系，实时更新相机的内参矩阵，如下式所示：上式中FOV
h
'表示焦距变化之前的水平视场角，FOV
v
'表示焦距变化之前的垂直视场...

【专利技术属性】
技术研发人员：宋宝，王小柏，刘永兴，张宏超，周向东，唐小琦，卢慧锋，李成池，李君，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：