一种实时的双目相机自校准方法技术

本发明专利技术公开了一种实时的双目相机自校准方法，包括步骤1、根据采样周期，获取移动装置移动过程中双目相机获取到的相邻两帧图像，将相邻的两帧图像分别记作第一图像和第二图像；步骤2、分别提取第一图像中的第一静态关键点以及第二图像中的第二静态关键点；步骤3、根据移动装置移动过程中的IMU信息，计算角度旋转矩阵R以及坐标平移矩阵T；步骤4、利用三维坐标变换矩阵对第二静态关键点进行第一坐标变换，并利用帧间运动变换矩阵对第一静态关键点进行第二坐标变换；步骤5、在第一坐标变换结果与第二坐标变换结果中分别引入校正视差offset，生成校正函数计算公式，计算满足预设条件下的校正视差offset；该校正视差offset用于对双目相机的视差值d进行矫正。相机的视差值d进行矫正。相机的视差值d进行矫正。

【技术实现步骤摘要】
一种实时的双目相机自校准方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种实时的双目相机自校准方法。

技术介绍

[0002]双目相机的原理：利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异(即视差disparity)与目标点到成像平面的距离存在着反比例的关系来实现测距。也即，如果知晓目标点的视差disparity，可知晓目标点到摄像头的距离Z。具体而言，Z的求解方法如下：Z＝fB/D，其中，f表示相机的焦距，B表示双目相机的中心距，D表示目标点的视差。
[0003]双目校正要求双目校正是根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像(如右视图)上任意一像素点与其在另一幅图像(如左视图)上的同一事物对应的像素点就必然具有相同的行号，只需在左右视图相应行号处进行一维搜索即可。
[0004]对于双目相机而言，在其出厂完成标定后的整个生命周期中，由于环境温度等因素，会产生左右视图对准产生偏差的情况。通常这种现象被成为双目视差退化，会导致视差匹配产生误差，进而影响测距功能。
[0005]例如，专利CN112861940A基于神经网络的方法提出了一种双目视差估计模型，包括：获取样本左图、样本右图以及视差标签；将样本左图、样本右图作为一双目视差估计模型的输入，双目视差估计模型包括特征提取网络模块、匹配代价计算模块、单尺度代价聚合模块、多尺度代价聚合模块、视差回归模型；计算视差标签与估计视差的误差，以对双目视差估计模型进行训练，解决了计算量大、耗时长、物体边缘和无纹理区域效果差的不足。虽然通过计算视差标签与估计视差的误差，对视差估计模型进行改进训练，提升了双目视差估计算法的计算效果，但是在这一过程中没有考虑到双目视差退化所带来的影响。
[0006]以及专利CN111225201A提出了一种视差校正的方法，包括：通过双目相机采集包括目标对象的两张原始图像；确定目标对象在两张原始图像的成像区域中的第一视差；根据第一视差和预设视差，调整两张原始图像中成像区域的位置；基于位置调整后的成像区域，确定目标图像。该专利可以对双目相机的视差进行校正，避免通过对双目相机进行标定来校正视差所带来的额外的计算量，提高了双目相机的成像一致性。上述专利中仅是通过根据第一视差和预设视差，调整两张原始图像中成像区域的位置，然后调整、确定，但是当双目视差退化时，预设视差本质是在变化的，而这一变化值又是难以确定的，此时成像也会存在误差，校正也不是准确的。
[0007]综上，现有技术中对于双目视差退化所引起的视差匹配误差、校准结果不准确还待进一步的解决，而对于解决上述技术问题是具有重要意义的。

技术实现思路

[0008]对此，本申请提出如下技术方案：
[0009]一种实时的双目相机自校准方法，双目相机安装在移动装置上，包括如下步骤：
[0010]步骤1、根据采样周期，获取移动装置移动过程中双目相机获取到的相邻两帧图像，将相邻的两帧图像分别记作第一图像和第二图像；
[0011]步骤2、分别提取第一图像中的第一静态关键点以及第二图像中的第二静态关键点；
[0012]步骤3、根据移动装置移动过程中的IMU信息，计算帧间运动变换矩阵，帧间运动变换矩阵包括角度旋转矩阵R以及坐标平移矩阵T；
[0013]步骤4、利用三维坐标变换矩阵对第二静态关键点进行第一坐标变换，并利用帧间运动变换矩阵对第一静态关键点进行第二坐标变换；
[0014]步骤5、在第一坐标变换结果与第二坐标变换结果中分别引入校正视差offset，生成校正函数计算公式，计算满足预设条件下的校正视差offset；
[0015]其中，校正视差offset用于对双目相机的视差值d进行矫正。
[0016]优选地，在步骤4之前，还包括：
[0017]预设提取静态关键点的阈值，记作预设阈值，将步骤1中选取的第一静态关键点和第二静态关键点进行数量累计，分别判断第一静态关键点以及第二静态关键点的数量是否大于或等于预设阈值，若是，执行步骤4，若否，丢弃图像，重新执行步骤1。
[0018]优选地，步骤5中的预设条件为校正函数计算公式的取值结果为0；
[0019]步骤5具体包括：
[0020]对第一静态关键点以及第二静态关键点进行配对；
[0021]将配对后的第一静态关键点以及第二静态关键点，分别进行第一坐标变换以及第二坐标变换，并引入校正视差offset，校正函数F(offset)计算公式对应的计算公式为：
[0022][0023]式中，B表示双目相机中左、右两个相机的中心距；d
i,t
、d
i,t+1
为第t+1、t时刻、第i组静态关键点组对应的视差值；c
x
、c
y
表示相机光轴在图像像素坐标系中的偏移量，以像素为单位；f表示相机的焦距；(u
i,t
，v
i,t
)、(u
i,t+1
，v
i,t+1
)为第t+1、t时刻、第i组静态关键点对应的像素坐标；
[0024]计算校正函数计算公式的取值结果为0时，每一对静态关键点组对应的校正视差计算结果，记作校正视差中间值；
[0025]对校正视差中间值进行累加，计算校正视差中间值的平均值，将平均值计算结果记作校正视差offset。
[0026]优选地，预设条件对应的目标函数为：
[0027][0028]步骤5具体包括：
[0029]对第一静态关键点以及第二静态关键点进行配对；
[0030]将配对后的第一静态关键点以及第二静态关键点，分别进行第一坐标变换以及第二坐标变换，并引入校正视差offset，校正函数F(offset)计算公式对应的计算公式为：
[0031][0032]式中，B表示双目相机中左、右两个相机的中心距；d
i,t
、d
i,t+1
为第t+1、t时刻、第i组静态关键点组对应的视差值；c
x
、c
y
表示相机光轴在图像像素坐标系中的偏移量，以像素为单位；f表示相机的焦距；(u
i,t
，v
i,t
)、(u
i,t+1
，v
i,t+1
)为第t+1、t时刻、第i组静态关键点对应的像素坐标；
[0033]计算满足目标函数的校正视差offset。
[0034]优选地，步骤2在进行静态关键点选取的过程中，还要对相邻两帧图像进行过滤处理，过滤处理方法是：
[0035]基于深度学习方法，识别相邻两帧图像中包含的图像信息，并进一步获取相邻两帧图像中的感兴趣区域，当判定感兴趣区域内的图像信息类别为第一目标时，将对应感兴趣本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时的双目相机自校准方法，所述双目相机安装在移动装置上，其特征在于，包括如下步骤：步骤1、根据采样周期，获取所述移动装置移动过程中所述双目相机获取到的相邻两帧图像，将相邻的两帧所述图像分别记作第一图像和第二图像；步骤2、分别提取所述第一图像中的第一静态关键点以及所述第二图像中的第二静态关键点；步骤3、根据所述移动装置移动过程中的IMU信息，计算帧间运动变换矩阵，所述帧间运动变换矩阵包括角度旋转矩阵R以及坐标平移矩阵T；步骤4、利用三维坐标变换矩阵对所述第二静态关键点进行第一坐标变换，并利用所述帧间运动变换矩阵对所述第一静态关键点进行第二坐标变换；步骤5、在第一坐标变换结果与第二坐标变换结果中分别引入校正视差offset，生成校正函数计算公式，计算满足预设条件下的所述校正视差offset；其中，所述校正视差offset用于对所述双目相机的视差值d进行矫正。2.根据权利要求1所述的一种实时的双目相机自校准方法，其特征在于，在所述步骤4之前，还包括：预设提取静态关键点的阈值，记作预设阈值，将所述步骤1中选取的所述第一静态关键点和所述第二静态关键点进行数量累计，分别判断所述第一静态关键点以及所述第二静态关键点的数量是否大于或等于所述预设阈值，若是，执行所述步骤4，若否，丢弃所述图像，重新执行所述步骤1。3.根据权利要求1所述的一种实时的双目相机自校准方法，其特征在于，所述步骤5中的所述预设条件为所述校正函数计算公式的取值结果为0；所述步骤5具体包括：对所述第一静态关键点以及所述第二静态关键点进行配对；将配对后的第一静态关键点以及第二静态关键点，分别进行第一坐标变换以及第二坐标变换，并引入所述校正视差offset，所述校正函数F(offset)计算公式对应的计算公式为：式中，B表示所述双目相机中左、右两个相机的中心距；d
i,t
、d
i,t+1
为第t+1、t时刻、第i组静态关键点组对应的视差值；c
x
、c
y
表示相机光轴在图像像素坐标系中的偏移量，以像素为单位；f表示相机的焦距；(u
i,t
，v
i,t
)、(u
i,t+1
，v
i,t+1
)为第t+1、t时刻、第i组静态关键点对应的像素坐标；计算所述校正函数计算公式的取值结果为0时，每一对静态关键点组对应的校正视差计算结果，记作校正视差中间值；对所述校正视差中间值进行累加，计算所述校正视差中间值的平均值，将平均值计算结果记作所述校正视差offset。4.根据权利要求1或3任一项所述的一种实时的双目相机自校准方法，其特征在于，所述预设条件对应的目标函数为：
所述步骤5具体包括：对所述第一静态关键点以及所述第二静态关键点进行配对；将配对后的第一静态关键点以及第二静态关键点，分别进行第一坐标变换以及第二坐标变换，并引入所述校正视差offset，所述校正函数F(offset)计算公式对应的计算公式为：式中，B表示所述双目相机中左、右两个相机的中心距；d
i,t
、d
i,t+1
为第t+1、t时刻、第i组静态关键点组对应的视差值；c
x
、c
y
表示相机光轴在图像像素坐标系中的偏移量，以像素为单位；f表示相机的焦距；(u
i,t
，v
i,t
)、(u
i,t+1
，v
i,t+1
)为第t+1、t时刻、第i组静态关键点对应的像素坐标；计算满足所述目标函数的所述校正视差offset。5.根据权利要求1至4中任一项所述的一种实...

【专利技术属性】
技术研发人员：王鑫，郑继川，陈俊明，杨青海，
申请(专利权)人：元橡科技北京有限公司，
类型：发明
国别省市：