一种基于运动的车载深度相机外参自标定方法技术

本发明专利技术属于传感器标定相关技术领域，其公开了一种基于运动的车载深度相机外参自标定方法，方法包括：采用车辆上的深度相机采集彩色图像和深度图像，同时采用轮速计采集车轮转角数据；将彩色图像和深度图像序列输入SLAM算法获得各时刻深度相机的相机位姿；采用泛洪填充算法获得地面点云；获取地平面方程以及部分相机外参，根据相机位姿获得深度相机的相对运动，并投影至地平面获得二维空间中相机运动序列；获取车辆底盘的运动序列；根据车辆底盘的运动序列和深度相机运动序列，通过最小化所述匹配误差函数求解车辆底盘运动学参数及剩余相机外参。本申请解决了三维空间中由于车辆的平面运动特性导致的方程退化问题，标定更加精准。准。准。

【技术实现步骤摘要】
一种基于运动的车载深度相机外参自标定方法


[0001]本专利技术属于传感器标定相关
，更具体地，涉及一种基于运动的车载深度相机外参自标定方法。

技术介绍

[0002]深度相机可以采集彩色图像并测得每个像素到相机的距离(深度)，相较于激光传感器，其成本低廉、获取信息丰富且安装方式灵活，因此常常作为移动小车自主导航系统的感知器，为了对移动小车进行运动控制，需要将通过传感信号估计的相机位姿变换为车辆位姿，求解这一位姿变换即为相机外参标定问题。
[0003]目前，解决传感器外参标定问题的方法可以分为两类：
[0004](1)基于模式的标定方法利用环境的先验信息，包括场景特征或已知路标点，在世界坐标系下对传感器的位姿进行估计；
[0005](2)基于运动的标定方法通过传感器对自身位姿的估计，利用传感器的运动序列求解传感器间的位姿变换。
[0006]基于模式的标定方法简单直接，测量精度越高则标定结果的误差越小，但需要操作人员的干预，例如，放置标定板等预处理步骤，无法实现传感器外参的自动标定，基于运动的标定方法无需对环境进行预处理，当传感器由于车辆碰撞、振动或人为操作等原因发生位置变动时，可以自动完成外参的重新标定。然而，通过最小化匹配误差求解位姿变换，传感器采集的噪声与位姿估计的误差可能对标定结果产生很大的影响，但算法的中间计算过程较为复杂，难以对误差的传导进行建模。此外，由于车辆只能进行平面运动，在三维空间中求解位姿变换的方程是退化的，无法获得稳定解，所以这一方法通常用于二维平面内传感器外参标定，因此亟需设计一种更加精准的车载深度相机的外参标定方法。

技术实现思路

[0007]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于运动的车载深度相机外参自标定方法，可以将深度相机的外参标定问题从三维降为二维，解决了三维空间中由于车辆的平面运动特性导致的方程退化问题，标定更加精准。
[0008]为实现上述目的，按照本专利技术的一个方面，提供了一种基于运动的车载深度相机外参自标定方法，所述方法包括：S1：采用车辆上的深度相机采集彩色图像和深度图像，同时采用轮速计采集车轮转角数据；S2：将彩色图像和深度图像序列输入SLAM算法获得各时刻深度相机的相机位姿；S3：采用泛洪填充算法寻找彩色图像中对应地面的像素块，并计算各像素点的局部空间坐标，依次处理各彩色图像并利用所述相机位姿将局部空间坐标统一至全局相机坐标系下组成地面点云；S4：利用地面点云各点的空间坐标，采用最小二乘法获得相机坐标系下的地平面方程，根据地平面法向量在相机坐标系和世界坐标系下的坐标关系获得部分相机外参，所述部分相机外参包括深度相机z轴平移t
z
、滚转角α、俯仰角β；S5：根据所述相机位姿获得各时间段内相机的相对运动，将相对运动投影至地平面获得二维空
间中的相机运动序列；S6：根据差速轮运动学模型建立车辆底盘运动与车轮转角之间的关系，利用所述车轮转角数据获得车辆底盘运动序列；S7：根据车辆底盘与深度相机的相对运动之间的关系构建匹配误差函数，利用车辆底盘运动序列与深度相机运动序列，通过最小化所述匹配误差函数求解车辆底盘运动学参数及剩余相机外参，所述车辆底盘运动学参数包括左车轮和右车轮的间距b、左车轮半径r
L
、右车轮半径r
R
，所述剩余相机外参包括深度相机x、y轴平移t
x
和t
y
、偏航角γ，进而实现深度相机的外参自标定。
[0009]优选的，步骤S3具体包括：S31：根据深度相机的安装位置，预判地面像素块在彩色图像中的大致区域；S32：依次将彩色图像中所述区域的各像素点作为种子进行泛洪填充，选择尺寸超过预设阈值的作为地面像素块，并求解其中各像素点的局部空间坐标，对所有彩色图像依次执行以上操作并利用各时刻的相机位姿将局部空间坐标变换为全局空间坐标，构建地面点云。
[0010]优选的，步骤S4具体包括：
[0011]S41：将地面点云的空间坐标作为数据，采用最小二乘法求解地平面方程，所述地平面方程的表达式为：
[0012]ax+by+cz+d＝0
[0013]使用线性最小二乘问题的闭式解，其中，x，y，z为地面点云中点的空间坐标，a2+b2+c2＝1且b＜0，获得地平面方程参数a，b，c，d，d为相机坐标系原点沿所述地平面的法向量方向至地平面的距离；
[0014]S42：建立深度相机z轴平移t
z
与地平面方程参数之间的关系，所述关系式为：
[0015]t
z
＝d
[0016]代入参数d获得深度相机z轴平移t
z
；
[0017]S43：根据坐标定义建立所述地平面的法向量在世界坐标系与相机坐标系下坐标之间的关系，所述关系式为：
[0018][0019]其中，R
x
(α)为绕世界坐标系x轴旋转α角的旋转矩阵，R
y
(β)为绕世界坐标系y轴旋转β角的旋转矩阵，R
z
(γ)为绕世界坐标系z轴旋转γ角的旋转矩阵；对所述关系式化简建立相机滚转角α、俯仰角β与地平面方程参数之间的关系，所述关系式为：
[0020]β＝arcsin(
‑
c)
[0021]代入参数a，b，c获得相机滚转角α、俯仰角β。
[0022]优选的，步骤S5具体包括：
[0023]S51：利用所述相机位姿获得各时间段内相机的相对运动，相对运动公式为：
[0024][0025]其中，q
k
为时间段[t
i
，t
i+1
]内深度相机的相对运动，T
i
和T
i+1
分别为时刻t
i
和时刻t
i+1
的相机位姿；
[0026]S52：将各时间段内相机的相对运动向所述地平面投影获得相机运动序列。将向所述地平面的投影变换转换为位姿变换，所述位姿变换是指将初始相机位姿变换为滚转角、俯仰角为零并且使得相机坐标系各坐标轴方向与世界坐标系坐标轴方向保持一致的预设
相机位姿，位姿变换T
proj
为：
[0027][0028]其中，使用R
proj
表示T
proj
中的旋转矩阵，R
x
(
‑
α)为绕世界坐标系x轴旋转
‑
α角的旋转矩阵，R
y
(
‑
β)为绕世界坐标系y轴旋转
‑
β角的旋转矩阵；
[0029]向地平面投影后的相机运动为：
[0030][0031]提取中预设相机坐标系x、y轴方向上的位移量和绕预设相机坐标系z轴的旋转量构成相机运动序列中第k个相机相对运动构成相机运动序列中第k个相机相对运动
[0032]优选的，步骤S6中，根据所述差速轮运动学模型建立车辆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动的车载深度相机外参自标定方法，其特征在于，所述方法包括：S1：采用车辆上的深度相机采集彩色图像和深度图像，同时采用轮速计采集车轮转角数据；S2：将彩色图像和深度图像序列输入SLAM算法获得各时刻深度相机的相机位姿；S3：采用泛洪填充算法寻找彩色图像中对应地面的像素块，并计算各像素点的局部空间坐标，依次处理各彩色图像并利用所述相机位姿将局部空间坐标统一至全局相机坐标系下组成地面点云；S4：利用地面点云各点的空间坐标，采用最小二乘法获得相机坐标系下的地平面方程，根据地平面法向量在相机坐标系和世界坐标系下的坐标关系获得部分相机外参，所述部分相机外参包括深度相机z轴平移t
z
、滚转角α、俯仰角β；S5：根据所述相机位姿获得各时间段内相机的相对运动，将相对运动投影至地平面获得二维空间中的相机运动序列；S6：根据差速轮运动学模型建立车辆底盘运动与车轮转角之间的关系，利用所述车轮转角数据获得车辆底盘运动序列；S7：根据车辆底盘与深度相机的相对运动之间的关系构建匹配误差函数，利用车辆底盘运动序列与深度相机运动序列，通过最小化所述匹配误差函数求解车辆底盘运动学参数及剩余相机外参，所述车辆底盘运动学参数包括左车轮和右车轮的间距b、左车轮半径r
L
、右车轮半径r
R
，所述剩余相机外参包括深度相机x、y轴平移t
x
和t
y
、偏航角γ，进而实现深度相机的外参自标定。2.根据权利要求1所述的方法，其特征在于，步骤S3具体包括：S31：根据深度相机的安装位置，预判地面像素块在彩色图像中的大致区域；S32：依次将彩色图像中所述区域的各像素点作为种子进行泛洪填充，选择尺寸超过预设阈值的作为地面像素块，并求解其中各像素点的局部空间坐标，对所有彩色图像依次执行以上操作并利用各时刻的相机位姿将局部空间坐标变换为全局空间坐标，构建地面点云。3.根据权利要求2所述的方法，其特征在于，步骤S4具体包括：S41：将地面点云的空间坐标作为数据，采用最小二乘法求解地平面方程，所述地平面方程的表达式为：ax+by+cz+d＝0使用线性最小二乘问题的闭式解，其中，x，y，z为地面点云中点的空间坐标，a2+b2+c2＝1且b＜0，获得地平面方程参数a，b，c，d，d为相机坐标系原点沿所述地平面的法向量方向至地平面的距离；S42：建立深度相机z轴平移t
z
与地平面方程参数之间的关系，所述关系式为：t
z
＝d代入参数d获得深度相机z轴平移t
z
；S43：根据坐标定义建立所述地平面的法向量在世界坐标系与相机坐标系下坐标之间的关系，所述关系式为：
其中，R
x
(α)为绕世界坐标系x轴旋转α角的旋转矩阵，R
y
(β)为绕世界坐标系y轴旋转β角的旋转矩阵，R
z
(γ)为绕世界坐标系z轴旋转γ角的旋转矩阵；对所述关系式化简建立相机滚转角α、俯仰角β与地平面方程参数之间的关系，所述关系式为：代入参数a，b，c获得相机滚转角α、俯仰角β。4.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：喻蝶，邱绍峰，鲍柏仲，杨辉，司言，韩天虎，龙胡，詹小斌，段暕，史铁林，
申请(专利权)人：中铁第四勘察设计院集团有限公司，
类型：发明
国别省市：