多目相机外参确定方法及装置制造方法及图纸

本申请公开了一种多目相机外参确定方法及装置，属于机器视觉领域。所述方法包括：先根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标。然后根据可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定可移动设备在N个关键帧时刻的实际位姿。最后根据M个地图点中的每个地图点在N个关键帧图像中对应的像素点的图像坐标、可移动设备在N个关键帧时刻的实际位姿、M个地图点的三维位置信息和当前摄像头的内参，确定当前时刻当前摄像头相对于基准坐标系的外参。本申请确定可移动设备在N个关键帧时刻的实际位姿的过程简便，且本申请可以在线确定多目相机的外参，高效省时。

【技术实现步骤摘要】
多目相机外参确定方法及装置
本申请涉及机器视觉领域，特别涉及一种多目相机外参确定方法及装置。
技术介绍
目前，无人机、机器人等可移动设备主要通过多目相机来进行即时定位与地图构建(simultaneouslocalizationandmapping，SLAM)。由于可移动设备进行SLAM的过程中需要用到多目相机包括的多个摄像头的外参，而多个摄像头的外参会随着多个摄像头之间的相对位置的改变而改变。因此当多个摄像头之间的相对位置发生改变时，需要对多个摄像头的外参重新进行确定，从而使可移动设备进行SLAM的结果更加准确。通常，在对多个摄像头的外参重新进行确定时，需要先停止可移动设备的移动，然后在多个摄像头的拍摄场景中放置标定物，通过多个摄像头拍摄包含标定物的图像，之后根据每个摄像头拍摄的图像进行特征点的提取和匹配，最终实现多个摄像头的外参的重新确定。然而，这样的过程不仅会影响可移动设备的正常运行，而且过程较为复杂。针对上述问题，相关技术中提供了一种在线确定多个摄像头的外参的方法，该方法先在多个摄像头的拍摄范围中放置标记物，该标记物中的每个实物点的实际三维坐标是已知的。然后通过该多个摄像头分别获取包含标记物的图像，并在获取的包含标记物的图像中，提取标记物在该图像中对应的多个特征点。之后根据该多个特征点的图像坐标、摄像头的投影矩阵，以及图像坐标系中的欧式距离等，构建重投影误差函数，并通过重投影误差函数确定该多个特征点在标记物中对应的实物点的理论三维坐标。最后根据该多个特征点在标记物中对应的实物点的理论三维坐标，以及该多个特征点在标记物中对应的实物点的实际三维坐标，对多个摄像头的外参重新进行确定。然而，上述在线确定多个摄像头的外参的方法需要提前在多个摄像头的拍摄范围中放置已知实际三维坐标的标记物，使得在线确定多个摄像头的外参的过程较为复杂，且费时费力。
技术实现思路
本申请实施例提供了一种多目相机外参确定方法及装置，可以解决相关技术中在线确定多个摄像头的外参需要提前在多个摄像头的拍摄范围放置标记物，从而使得在线确定多个摄像头的外参的过程较为复杂的问题。所述技术方案如下：第一方面，提供了一种多目相机外参确定方法，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，其特征在于，所述方法包括：根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，所述当前摄像头为所述多个摄像头中的任一摄像头，所述M个地图点与所述M个特征点一一对应，所述N个关键帧图像是指所述当前摄像头在当前时刻之前拍摄的N个关键帧图像，所述N和所述M均为大于或等于1的正整数；根据所述可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿，所述N个关键帧时刻为所述N个关键帧图像的拍摄时刻，所述理论位姿是在构建地图的过程中确定的；根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参。可选地，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参，包括：根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数；最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参。可选地，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数，包括：对于所述M个地图点中的第一地图点以及所述N个关键帧图像中的第一关键帧图像，根据所述第一地图点在所述第一关键帧图像中对应的像素点的图像坐标、所述可移动设备在第一关键帧时刻的实际位姿、所述第一地图点的三维位置信息和所述当前摄像头的内参，建立一个重投影误差函数；其中，所述第一地图点为所述M个地图点中的任一地图点，所述第一关键帧图像为所述N个关键帧图像中存在所述第一地图点对应的像素点的关键帧图像，所述第一关键帧时刻为所述第一关键帧图像的拍摄时刻。可选地，所述当前摄像头相对于所述基准坐标系的外参包括旋转分量和平移分量；所述最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参，包括：确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态；如果所述可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻所述当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻所述当前摄像头相对于基准坐标系的外参的平移分量。可选地，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态之后，所述方法还包括：如果所述可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。可选地，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态，包括：根据所述可移动设备在所述N个关键帧时刻的实际位姿，确定所述可移动设备在所述N个关键帧时刻中每个关键帧时刻的旋转角度的标准差；如果所述标准差小于参考阈值，则确定所述可移动设备在当前时刻处于直线运动状态，否则，确定所述可移动设备在当前时刻处于转弯运动状态。可选地，所述根据所述可移动设备在当前时刻之前的N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿之前，所述方法还包括：获取所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；根据所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定所述可移动设备的第一相对位姿；通过所述可移动设备上安装的尺度获取器获取所述可移动设备在所述第一时刻的位姿和在所述第二时刻的位姿；根据所述尺度获取器在所述第一时刻获取的位姿和在所述第二时刻获取的位姿，确定所述可移动设备的第二相对位姿；将所述第一相对位姿的平移分量的模与所述第二相对位姿的平移分量的模之间的比值确定为所述参考尺度比例。第二方面，提供了一种多目相机外参确定装置，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，本文档来自技高网...

【技术保护点】
1.一种多目相机外参确定方法，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，其特征在于，所述方法包括：/n根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，所述当前摄像头为所述多个摄像头中的任一摄像头，所述M个地图点与所述M个特征点一一对应，所述N个关键帧图像是指所述当前摄像头在当前时刻之前拍摄的N个关键帧图像，所述N和所述M均为大于或等于1的正整数；/n根据所述可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿，所述N个关键帧时刻为所述N个关键帧图像的拍摄时刻，所述理论位姿是在构建地图的过程中确定的；/n根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参。/n

【技术特征摘要】
1.一种多目相机外参确定方法，应用于可移动设备，所述可移动设备上安装有多目相机，所述多目相机包括多个摄像头，其特征在于，所述方法包括：
根据当前摄像头拍摄的当前图像中的M个特征点，确定M个地图点中每个地图点在N个关键帧图像中对应的像素点的图像坐标，所述当前摄像头为所述多个摄像头中的任一摄像头，所述M个地图点与所述M个特征点一一对应，所述N个关键帧图像是指所述当前摄像头在当前时刻之前拍摄的N个关键帧图像，所述N和所述M均为大于或等于1的正整数；
根据所述可移动设备在N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿，所述N个关键帧时刻为所述N个关键帧图像的拍摄时刻，所述理论位姿是在构建地图的过程中确定的；
根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参。


2.如权利要求1所述的方法，其特征在于，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，确定当前时刻所述当前摄像头相对于基准坐标系的外参，包括：
根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数；
最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参。


3.如权利要求2所述的方法，其特征在于，所述根据所述M个地图点中的每个地图点在所述N个关键帧图像中对应的像素点的图像坐标、所述可移动设备在所述N个关键帧时刻的实际位姿、所述M个地图点的三维位置信息和所述当前摄像头的内参，建立P个重投影误差函数，包括：
对于所述M个地图点中的第一地图点以及所述N个关键帧图像中的第一关键帧图像，根据所述第一地图点在所述第一关键帧图像中对应的像素点的图像坐标、所述可移动设备在第一关键帧时刻的实际位姿、所述第一地图点的三维位置信息和所述当前摄像头的内参，建立一个重投影误差函数；
其中，所述第一地图点为所述M个地图点中的任一地图点，所述第一关键帧图像为所述N个关键帧图像中存在所述第一地图点对应的像素点的关键帧图像，所述第一关键帧时刻为所述第一关键帧图像的拍摄时刻。


4.如权利要求2或3所述的方法，其特征在于，所述当前摄像头相对于所述基准坐标系的外参包括旋转分量和平移分量；
所述最小化所述P个重投影误差函数之和，得到当前时刻所述当前摄像头相对于基准坐标系的外参，包括：
确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态；
如果所述可移动设备在当前时刻处于直线运动状态，则按照第一最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量，将上一时刻所述当前摄像头相对于基准坐标系的外参的平移分量，作为当前时刻所述当前摄像头相对于基准坐标系的外参的平移分量。


5.如权利要求4所述的方法，其特征在于，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态之后，所述方法还包括：
如果所述可移动设备在当前时刻处于转弯运动状态，则按照第二最小化方式，对所述P个重投影误差函数之和进行最小化处理，得到当前时刻所述当前摄像头相对于基准坐标系的外参的旋转分量和平移分量。


6.如权利要求4所述的方法，其特征在于，所述确定所述可移动设备在当前时刻处于直线运动状态还是转弯运动状态，包括：
根据所述可移动设备在所述N个关键帧时刻的实际位姿，确定所述可移动设备在所述N个关键帧时刻中每个关键帧时刻的旋转角度的标准差；
如果所述标准差小于参考阈值，则确定所述可移动设备在当前时刻处于直线运动状态，否则，确定所述可移动设备在当前时刻处于转弯运动状态。


7.如权利要求1所述的方法，其特征在于，所述根据所述可移动设备在当前时刻之前的N个关键帧时刻的理论位姿和参考尺度比例，确定所述可移动设备在所述N个关键帧时刻的实际位姿之前，所述方法还包括：
获取所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像；
根据所述当前摄像头在第一时刻拍摄的图像和在第二时刻拍摄的图像，确定所述可移动设备的第一相对位姿；
通过所述可移动设备上安装的尺度获取器获取所述可移动设备在所述第一时刻的位姿和在所述第二时刻的位姿；
...

【专利技术属性】
技术研发人员：李佳宁，宋江新，毛慧，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33