一种双目立体相机外参数修正方法及装置制造方法及图纸

本申请提供了一种双目立体相机外参数修正方法及装置，包括：确定第一相机和第二相机的内参数矩阵K1、K2；根据K1、K2确定第i组对应点修正后的极线约束误差e′i；所述对应点为物理世界中同一点在利用第一相机的外参数矫正旋转矩阵R1和第二相机的外参数矫正旋转矩阵R2分别对第一相机、第二相机矫正后的图像中的投影像素点；确定所有对应点的极线约束误差之和E′，最小化E′得到第一相机和第二相机的修正旋转矩阵Rc1、Rc2；根据Rc1、Rc2以及R1、R2确定修正后的第一相机和第二相机的外参数矫正旋转矩阵R’1，R’2。采用本申请无需停止双目系统的工作，只需通过检测对应点修正双目系统的外参数，修正过程简单快捷，极大的提高了现实使用时的便利性。

【技术实现步骤摘要】

本申请涉及计算机视觉
，尤其涉及一种双目立体相机外参数修正方法及装置。
技术介绍
双目立体相机是一个由两个相机组成的系统，与传统单目相机不同，双目相机可以计算得到图像中每个像素点在三维空间中的坐标，也称为立体相机。现有技术中，当双目立体相机的两个相机之间的相对关系由于外界因素发生改变时，导致无法准确恢复像素点在空间中的坐标、立体视觉计算失败。若要计算更新后的外参数，则需要重新只用特殊标定物(如：棋盘格)计算新的外参数。例如：假设安装在汽车上的双目系统，由于汽车震动、颠簸，很容易使双目相机的相对关系发生微小改变，目前用户只能停下车，使用特殊标定物重新标定相机。现有技术不足在于：当双目相机的相对关系发生改变时，更新外参数的过程极为不便。
技术实现思路
本申请实施例提出了一种双目立体相机外参数修正方法及装置，以解决现有技术中当双目相机的相对关系发生改变时，更新外参数的过程极为不便的技术问题。第一个方面，本申请实施例提供了一种双目立体相机外参数修正方法，包
括如下步骤：确定第一相机和第二相机的内参数矩阵K1、K2；根据K1、K2确定第i组对应点修正后的极线约束误差e′i；所述对应点为物理世界中同一点在利用第一相机的外参数矫正旋转矩阵R1和第二相机的外参数矫正旋转矩阵R2分别对所述第一相机、第二相机矫正后的图像中的投影像素点；确定所有对应点的极线约束误差之和E′，所述E′为修正旋转矩阵的函数；最小化所述E′得到修正旋转矩阵的值；根据所述修正旋转矩阵以及当前第一相机和第二相机的外参数矫正旋转矩阵确定修正后的第一相机和第二相机的外参数矫正旋转矩阵。第二个方面，本申请实施例提供了一种双目立体相机外参数修正装置，包括：参数确定模块，用于确定第一相机和第二相机的内参数矩阵K1、K2；单组误差确定模块，用于根据K1、K2确定第i组对应点修正后的极线约束误差e′i；所述对应点为物理世界中同一点在利用第一相机的外参数矫正旋转矩阵R1和第二相机的外参数矫正旋转矩阵R2分别对所述第一相机、第二相机矫正后的图像中的投影像素点；总误差确定模块，用于确定所有对应点的极线约束误差之和E′，所述E′为修正旋转矩阵的函数；最小化模块，用于最小化所述E′得到修正旋转矩阵的值；修正模块，用于根据所述修正旋转矩阵以及当前第一相机和第二相机的外参数矫正旋转矩阵确定修正后的第一相机和第二相机的外参数矫正旋转矩阵。有益效果如下：本申请实施例所提供的双目立体相机外参数修正方法及装置，可以根据每组对应点修正后的极线约束误差确定所有对应点的极线约束误差之和，然后通过最小化极线约束误差之和可以得到两个相机的修正旋转矩阵，从而最终根据
修正旋转矩阵与修正前的外参数矫正旋转矩阵得到修正后的外参数矫正旋转矩阵，在发生双目相机的相对关系改变的情况时，无需停止双目系统的工作，也不需要特殊标定物重新计算外参数，只需通过检测对应点修正双目系统的外参数，修正过程简单快捷，极大的提高了现实使用时的便利性。附图说明下面将参照附图描述本申请的具体实施例，其中：图1示出了双目立体相机的工作原理示意图；图2示出了本申请实施例中双目立体相机外参数修正方法实施的流程示意图；图3示出了本申请实施例中双目系统的结构示意图；图4示出了本申请实施例中相机矫正过程的示意图；图5示出了本申请实施例中双目立体相机外参数修正装置的结构示意图一；图6示出了本申请实施例中双目立体相机外参数修正装置的结构示意图二；图7示出了本申请实施例中双目立体相机外参数修正装置的结构示意图三。具体实施方式为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。专利技术人在专利技术过程中注意到：图1示出了双目立体相机的工作原理示意图，如图所示，空间中一点P通过投影，在双目相机中分别得到两个像，即p1和pr。通过相机标定技术，可以得到两个相机的内参数K以及外参数R、T。由于内参数K描述了P点由相机坐标系到图像坐标系的变换关系，可以计
算得到通过像素点p1、pr的两条光线在各自相机坐标系内的直线方程。再根据外参数R(旋转矩阵)和T(平移向量)，可以得到两个相机之间的相对位置关系，将两条光线的方程表示统一到一个坐标系中，得到两条光线的交点P，最终恢复出二维像素点p的三维空间坐标P。其中，内参数K可以有多种参数化形式，以下述为例：f为相机的焦距，u0为相机坐标系XY平面原点(位于平面中央)到图像坐标系原点(位于图像左上角)在X轴上的平移量，V0为相机坐标系XY平面原点(位于平面中央)到图像坐标系原点(位于图像左上角)在Y轴上的平移量。外参数R(旋转矩阵)和T(平移向量)为两个相机坐标系之间的变换关系，对于空间中一点X，如果其在左相机坐标系中的坐标为X1＝(x，y，z)T，那么，它在右相机坐标系中的坐标为Xr＝R*X1+t。目前尚不存在外参数自动更新技术，现有技术中，如果要计算更新后的外参数，则需要重新使用特殊标定物(例如：棋盘格)计算新的外参数，实际应用时，假设一个安装在汽车上的双目系统(辅助驾驶系统)，由于汽车震动、颠簸，很容易使双目相机的相对关系发生微小的改变，导致相机定位坐标点出现误差、立体视觉计算失败，此时，司机需要停下车、停止双目系统的工作(离线)，然后使用特殊标定物重新标定相机，很显然，这是非常不方便且不现实的。综上所述，在一个已经矫正好的双目系统下，由于外部干扰导致两个相机的外参数发生变化时，基于原始外参数的矫正结果不再有效，若不及时修正外参数，则会导致立体视觉计算失败。针对上述不足，本申请实施例提出了一种双目立体相机外参数修正方法及装置，自动检测外参数是否发生改变，若发生改变则进行自动修正。下面以具体实施例对本申请所提供的双目立体相机外参数修正方法及装
置进行说明。图2示出了本申请实施例中双目立体相机外参数修正方法实施的流程示意图，如图所示，所述双目立体相机外参数修正方法可以包括如下步骤：步骤201、确定第一相机和第二相机的内参数矩阵K1、K2；步骤202、根据K1、K2确定第i组对应点修正后的极线约束误差e′i；所述对应点为物理世界中同一点在利用第一相机的外参数矫正旋转矩阵R1和第二相机的外参数矫正旋转矩阵R2分别对所述第一相机、第二相机矫正后的图像中的投影像素点；步骤203、确定所有对应点的极线约束误差之和E′，所述E′为修正旋转矩阵的函数；步骤204、最小化所述E′得到修正旋转矩阵的值；步骤205、根据所述修正旋转矩阵以及当前第一相机和第二相机的外参数矫正旋转矩阵确定修正后的第一相机和第二相机的外参数矫正旋转矩阵。具体实施时，所述双目立体相机包括左右两个相机，本申请实施例中分别称之为第一相机和第二相机，所述第一相机可以指左侧相机或右侧相机，所述第二相机可以指右侧相机或左侧相机，本申请对此不作限制。K1、K2分别为第一相机和第二相机的内参数矩阵，其中，K1可以为：K2可以为：f1、f2分别可以为第一相机和第二相机的焦距，m1、n1分别可以为第一相机的相机坐标系XY平面原点(位于平面中央)到图本文档来自技高网...

【技术保护点】
一种双目立体相机外参数修正方法，其特征在于，包括如下步骤：确定第一相机和第二相机的内参数矩阵K1、K2；根据K1、K2确定第i组对应点修正后的极线约束误差e′i；所述对应点为物理世界中同一点在利用第一相机的外参数矫正旋转矩阵R1和第二相机的外参数矫正旋转矩阵R2分别对所述第一相机、第二相机矫正后的图像中的投影像素点；确定所有对应点的极线约束误差之和E′，所述E′为修正旋转矩阵的函数；最小化所述E′得到修正旋转矩阵的值；根据所述修正旋转矩阵以及当前第一相机和第二相机的外参数矫正旋转矩阵确定修正后的第一相机和第二相机的外参数矫正旋转矩阵。

【技术特征摘要】
1.一种双目立体相机外参数修正方法，其特征在于，包括如下步骤：确定第一相机和第二相机的内参数矩阵K1、K2；根据K1、K2确定第i组对应点修正后的极线约束误差e′i；所述对应点为物理世界中同一点在利用第一相机的外参数矫正旋转矩阵R1和第二相机的外参数矫正旋转矩阵R2分别对所述第一相机、第二相机矫正后的图像中的投影像素点；确定所有对应点的极线约束误差之和E′，所述E′为修正旋转矩阵的函数；最小化所述E′得到修正旋转矩阵的值；根据所述修正旋转矩阵以及当前第一相机和第二相机的外参数矫正旋转矩阵确定修正后的第一相机和第二相机的外参数矫正旋转矩阵。2.如权利要求1所述的方法，其特征在于，所述根据K1、K2确定第i组对应点修正后的极线约束误差e′i，具体为： e ′ i = f 1 * Rc 1 2 * K 1 - 1 * u 1 i Rc 1 3 * K 1 - 1 * u 1 i - f 2 * Rc 2 2 * K 2 - 1 * u 2 i Rc 2 3 * K 2 - 1 * u 2 i ; ]]>其中，f1为第一相机的焦距，f2为第二相机的焦距，分别为第一相机和第二相机的内参数矩阵的逆，分别为第i组对应点中第一相机图像的点的坐标和第二相机图像的点的坐标，分别为第一相机的修正旋转矩阵的第2行和第3行，分别为第二相机的修正旋转矩阵的第2行和第3行；其中，N为对应点的组数；所述根据所述修正旋转矩阵以及当前第一相机和第二相机的外参数矫正旋转矩阵确定修正后的第一相机和第二相机的外参数矫正旋转矩阵，具体为：确定修正后的第一相机外参数矫正旋转矩阵R′1＝Rc1*R1，修正后的第二相机外参数矫正旋转矩阵R′2＝Rc2*R2。3.如权利要求1所述的方法，其特征在于，在所述根据K1、K2确定第i
\t组对应点修正后的极线约束误差e′i之前，进一步包括：根据第i组对应点在第一相机图像和第二相机图像中的第一坐标的值，确定误差ei存在，所述ei为第i组对应点在第一相机图像和第二相机图像中的第一坐标的差的绝对值；将所述误差与预设阈值S进行比较；如果误差大于预设阈值S，确定外参数R1和R2失效。4.如权利要求3所述的方法，其特征在于，所述第一坐标为纵坐标y，所述根据第i组对应点在第一相机图像和第二相机图像中的第一坐标的值，确定误差ei存在，具体为：检测第i组对应点在第一相机图像中的纵坐标和第二相机图像中的纵坐标不同时，确定误差ei存在，所述5.如权利要求1所述的方法，其特征在于，在所述根据K1、K2确定第i组对应点修正后的极线约束误差e′i之前，进一步包括：将双目立体相机的外参数旋转矩阵R分解为第一虚拟旋转量和第二虚拟旋转量；将所述第一虚拟旋转量和第二虚拟旋转量分别应用于第一相机和第二相机进行虚拟旋转；经虚拟旋转后所述外参数旋转矩阵R＝单位矩阵I、平移向量T＝[Tx，0，0]，其中，Tx为第一相机和第二相机坐标原点之间的距离。6.一种双目立体相机外参数修正装置，其特征在于...

【专利技术属性】
技术研发人员：蔡炀，
申请(专利权)人：北京格灵深瞳信息技术有限公司，
类型：发明
国别省市：北京;11