相机和三维设备的联合标定方法、装置及存储介质制造方法及图纸

本申请适用于传感器技术领域，提供了一种相机和三维设备的联合标定方法、装置及存储介质。本申请实施例中基于三维设备和相机获取标定板数据；根据所述标定板数据确定所述相机的第一内参和第一畸变系数；以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。本申请通过同时标定内参、畸变系数以及外参，避免由于内参不准确而导致外参不准确的问题，从而提高相机与三维设备之间参数标定的准确性。定的准确性。定的准确性。

【技术实现步骤摘要】
相机和三维设备的联合标定方法、装置及存储介质


[0001]本申请属于传感器
，尤其涉及一种相机和三维设备的联合标定方法、装置及存储介质。

技术介绍

[0002]雷达和相机的组合是自动驾驶设备最常用的环境感知系统之一。雷达可以提供包含准确的深度信息和反射强度信息的3D点云数据，相机捕捉场景中的丰富语义信息。雷达和相机之间的信息融合，能够获得足够的环境信息，且抗天气干扰能力强，因此能够适应现实世界中多种多样的驾驶环境。
[0003]信息融合的关键在于对雷达和相机的标定，即确定两个传感器之间的相对位置关系，以将两个传感器采集到的信息变换到统一的时空坐标系。标定的准确性决定了信息融合、环境感知的准确性。传统的标定方法是先标定相机的内参，然后根据标定好的相机的内参标定雷达和相机的之间的外参。然而，由于相机结构的缺陷和非线性函数优化的不确定性，使得标定得到的内参可能是出现不准确的情况，从而导致基于内参标定得到的外参也不准确。

技术实现思路

[0004]本申请实施例提供了一种相机和三维设备的联合标定方法、装置及存储介质，可以提高相机与三维设备之间参数标定的准确性。
[0005]第一方面，本申请实施例提供了一种相机和三维设备的联合标定方法，包括：
[0006]基于三维设备和相机获取标定板数据；
[0007]根据所述标定板数据确定所述相机的第一内参和第一畸变系数；
[0008]以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。
[0009]其中，三维设备可以是雷达、深度相机等能够采集视野范围内三维坐标信息的传感器。
[0010]在一种可能的实现方式中，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。
[0011]在一种可能的实现方式中，所述圆心的实际像素坐标的获取方式为：
[0012]根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；
[0013]根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。
[0014]在一种可能的实现方式中，所述非线性优化的约束条件为使得优化目标J
sum
最小，
其中，J
sum
＝λ1J
board
+λ2J
lidar
，λ1和λ2表示权重系数，J
board
表示所述标定板中所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，J
lidar
表示所述标定板中所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐标是根据所述圆心的预测三维坐标、所述第二内参、所述第二畸变系数以及所述外参确定。
[0015]在一种可能的实现方式中，λ1小于λ2。
[0016]第二方面，本申请实施例提供一种联合标定装置，包括：
[0017]获取单元，用于基于三维设备和相机获取标定板数据；
[0018]确定单元，用于根据所述标定板数据确定所述相机的第一内参和第一畸变系数；
[0019]优化单元，用于以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。
[0020]在一种可能的实现方式中，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。
[0021]在一种可能的实现方式中，所述获取单元获取所述圆心的实际像素坐标的方式为：
[0022]根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；
[0023]根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。
[0024]在一种可能的实现方式中，所述非线性优化的约束条件为使得优化目标J
sum
最小，其中，J
sum
＝λ1J
board
+λ2J
lidar
，λ1和λ2表示权重系数，J
board
表示所述标定板中所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，J
lidar
表示所述标定板中所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐标是根据所述圆心的预测三维坐标、所述第二内参、所述第二畸变系数以及所述外参确定。
[0025]在一种可能的实现方式中，λ1小于λ2。
[0026]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述任一种相机和三维设备的联合标定方法的步骤。
[0027]第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述的计算机程序被处理器执行时实现上述任一种相机和三维设备的联合标定方法的步骤。
[0028]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一种相机和三维设备的联合标定方法。
[0029]本申请实施例提供的相机和三维设备的联合标定方法，在获取标定板数据之后，首先根据标定板数据计算相机的第一内参和第一畸变系数，作为非线性优化的优化初值，然后根据采集到的所有标定板数据建立联立方程，进行非线性优化，同时计算相机的第二内参和第二畸变系数，以及三维设备和相机之间的外参。也就是说，在非线性优化过程中，计算第二内参和第二畸变系数的同时考虑了针对外参的约束，在计算外参的同时也考虑内参和畸变系数的约束，因此提高第二内参、第二畸变系数以及外参的准确性，避免由于内参的不准确导致外参不准确的情况。
附图说明
[0030]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机和三维设备的联合标定方法，其特征在于，包括：基于三维设备和相机获取标定板数据；根据所述标定板数据确定所述相机的第一内参和第一畸变系数；以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。2.根据权利要求1所述的方法，其特征在于，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。3.根据权利要求2所述的方法，其特征在于，所述圆心的实际像素坐标的获取方式为：根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。4.根据权利要求2或3所述的方法，其特征在于，所述非线性优化的约束条件为使得优化目标J
sum
最小，其中，J
sum
＝λ1J
board
+λ2J
lidar
，λ1和λ2表示权重系数，J
board
表示所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，J
lidar
表示所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐...

【专利技术属性】
技术研发人员：李怡康，闫国行，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：