雷达和相机标定方法、装置、设备、介质和程序产品制造方法及图纸

本申请涉及一种雷达和相机标定方法、装置、设备、介质和程序产品。所述方法包括：通过相机采集共视区域的待处理图像，通过雷达采集共视区域的雷达数据；计算得到相机坐标系下的第一标定物平面方程和标定物中的目标线条的第一线方程；计算得到雷达坐标系下的第二标定物平面方程和标定物中的所述目标线条的第二线方程；计算得到雷达和相机之间的初始姿态；计算雷达和相机之间的初始位置；根据标定物在雷达坐标系及相机坐标系下的目标平面约束和目标线约束，构建第一目标函数；根据初始姿态和初始位置对第一目标函数进行求解得到雷达和相机的目标姿态和目标位置。采用本方法能够提高雷达和相机的标定效率。提高雷达和相机的标定效率。提高雷达和相机的标定效率。

【技术实现步骤摘要】
雷达和相机标定方法、装置、设备、介质和程序产品


[0001]本申请涉及智能车辆
，特别是涉及一种雷达和相机标定方法、装置、设备、介质和程序产品。

技术介绍

[0002]对于高速感知任务而言，目前单一传感器往往无法满足需求，因此多传感器融合已经成为趋势。多传感器标定是多传感器融合的基础，标定精度往往决定了多传感器感知、定位的效果。目前车载激光雷达和相机标定技术仍然不成熟，大多只利用了标定板的平面信息而没有考虑边缘约束，因此需要至少在三个激光雷达和相机的共视位置放置标定板来标定激光雷达和相机之间的外参，这不但增加了成本，而且标定精度不高，很难达到商业量产的目的。
[0003]随着高速智能驾驶技术的不断推广和落地，激光雷达和相机联合标定的效率有待提高。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高雷达和相机的标定效率的雷达和相机标定方法、装置、设备、介质和程序产品。
[0005]第一方面，本申请提供了一种雷达和相机标定方法，所述方法包括：
[0006]通过相机采集共视区域的待处理图像，并通过雷达采集所述共视区域的雷达数据，所述共视区域为所述相机以及所述雷达的共视区域，且所述共视区域处设置有标定物；
[0007]根据所述待处理图像和共视区域中的标定物，计算得到相机坐标系下的第一标定物平面方程和所述标定物中的目标线条的第一线方程；
[0008]根据所述雷达数据计算得到雷达坐标系下的第二标定物平面方程和所述标定物中的所述目标线条的第二线方程；
[0009]根据所述第一标定物平面方程、所述第二标定物平面方程、所述第一线方程以及所述第二线方程，计算得到所述雷达和所述相机之间的初始姿态；
[0010]根据所述标定物在所述雷达坐标系以及所述相机坐标系下的目标平面约束和目标线约束，计算得到所述雷达和所述相机之间的初始位置；
[0011]根据所述标定物在所述雷达坐标系以及所述相机坐标系下的目标平面约束和目标线约束，构建第一目标函数；
[0012]将所述初始姿态和所述初始位置作为非线性优化初值，对所述第一目标函数进行求解得到所述雷达和所述相机的目标姿态和目标位置。
[0013]上述雷达和相机标定方法，车辆终端根据待处理图像和共视区域中的标定物，计算得到相机坐标系下的第一标定物平面方程和标定物中的目标线条的第一线方程；根据雷达数据计算得到雷达坐标系下的第二标定物平面方程和标定物中的目标线条的第二线方程；根据第一标定物平面方程、第二标定物平面方程、第一线方程以及第二线方程，计算得
到雷达和相机之间的初始姿态；根据标定物在雷达坐标系以及相机坐标系下的目标平面约束和目标线约束，计算得到雷达和相机之间的初始位置；根据标定物在雷达坐标系以及相机坐标系下的目标平面约束和目标线约束，构建第一目标函数；将初始姿态和初始位置作为非线性优化初值，对第一目标函数进行求解得到雷达和相机的目标姿态和目标位置，通过标定物平面和目标线条的约束关系，即使只在一处共视区域放置标定物，也能够精确解算出雷达和相机之间的外参，即雷达和相机的目标姿态和目标位置，从而减少操作，提高效率。
[0014]在其中一个实施例中，所述根据所述待处理图像和共视区域中的标定物，计算得到相机坐标系下的第一标定物平面方程和所述标定物中的目标线条的第一线方程，包括：
[0015]识别所述待处理图像中的标定物的角点和边界；
[0016]利用单应性矩阵根据所述待处理图像中的标定物的角点，计算得到相机坐标系下的第一标定物平面方程；
[0017]获取经过所述标定物的边界和所述相机的光心的平面，并计算所述平面与所述待处理图像中的标定物的交线作为目标线条；
[0018]计算所述目标线条在所述相机坐标系下的第一线方程。
[0019]上述实施例中，通过相机的光心、待处理图像所在平面以及标定物实体，可以计算得到第一标定物平面方程和第一线方程，这样获取在相机坐标系下的平面特征和线特征，为后续联合标定奠定基础。
[0020]在其中一个实施例中，所述根据所述雷达数据计算得到雷达坐标系下的第二标定物平面方程和所述标定物中的所述目标线条的第二线方程，包括：
[0021]获取所述雷达数据中标定物的点云数据，根据所述雷达数据中标定物的点云数据计算得到雷达坐标系下的第二标定物平面方程；
[0022]根据所述雷达数据中标定物的目标线条上的点云数据，计算得到雷达坐标系下的所述目标线条的第二线方程。
[0023]上述实施例中，通过雷达数据，可以计算得到第二标定物平面方程和第二线方程，这样获取在雷达坐标系下的平面特征和线特征，为后续联合标定奠定基础。
[0024]在其中一个实施例中，所述根据所述第一标定物平面方程、所述第二标定物平面方程、所述第一线方程以及所述第二线方程，计算得到所述雷达和所述相机之间的初始姿态，包括：
[0025]获取所述雷达和所述相机之间的待计算初始姿态；
[0026]将所述雷达坐标系下的所述第二标定物平面方程的法向量，通过所述待计算初始姿态投影至相机坐标系下得到第三标定物平面方程的法向量；
[0027]将所述雷达坐标系下的所述第二线方程的方向向量，通过所述待计算初始姿态投影至相机坐标系下得到第三线方程的方向向量；
[0028]根据所述第三标定物平面方程的法向量、所述第一标定物平面方程的法向量、所述第三线方程的方向向量以及第一线方程的方向向量构建第二目标函数；
[0029]求解所述第二目标函数得到所述待计算初始姿态对应的解，作为初始姿态。
[0030]在其中一个实施例中，所述根据所述第三标定物平面方程的法向量、所述第一标定物平面方程的法向量、所述第三线方程的方向向量以及第一线方程的方向向量构建第二
目标函数，包括，
[0031]根据所述第三标定物平面方程的法向量、所述第一标定物平面方程的法向量、所述第三线方程的方向向量以及第一线方程的方向向量构建得到如下第二目标函数：
[0032][0033]其中，N表示标定物的数量，其中1≤i≤N，M为目标线条的数量，其中1≤j≤M，R
CL
为待计算初始姿态，为计算得到的初始姿态，为所述雷达坐标系下的第i个标定物的所述第二标定物平面方程的法向量，为第i个标定物的所述相机坐标系下的所述第一标定物平面方程的法向量，为所述雷达坐标系下的第i个标定物的第j条目标线条的所述第二线方程的方向向量，为所述相机坐标系下的第i个标定物的第j条目标线条的第一线方程的方向向量。
[0034]上述实施例中，通过将雷达坐标系下的标定物平面方程的法向量，通过雷达和相机之间的姿态投影到相机坐标系下，应该要等于相机坐标系下标定物平面方程的法向量；将雷达坐标系下的标定物边界方程的方向向量，通过雷达和相机之间的姿态投影到相机坐标系下，应该要等于相机坐标系下标定物边界方程的方向向量，这样根据这一物理含义，构建第二目标函数，并计算该第二目标函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种雷达和相机标定方法，其特征在于，所述方法包括：通过相机采集共视区域的待处理图像，并通过雷达采集所述共视区域的雷达数据，所述共视区域为所述相机以及所述雷达的共视区域，且所述共视区域处设置有标定物；根据所述待处理图像和共视区域中的标定物，计算得到相机坐标系下的第一标定物平面方程和所述标定物中的目标线条的第一线方程；根据所述雷达数据计算得到雷达坐标系下的第二标定物平面方程和所述标定物中的所述目标线条的第二线方程；根据所述第一标定物平面方程、所述第二标定物平面方程、所述第一线方程以及所述第二线方程，计算得到所述雷达和所述相机之间的初始姿态；根据所述标定物在所述雷达坐标系以及所述相机坐标系下的目标平面约束和目标线约束，计算得到所述雷达和所述相机之间的初始位置；根据所述标定物在所述雷达坐标系以及所述相机坐标系下的目标平面约束和目标线约束，构建第一目标函数；将所述初始姿态和所述初始位置作为非线性优化初值，对所述第一目标函数进行求解得到所述雷达和所述相机的目标姿态和目标位置。2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理图像和共视区域中的标定物，计算得到相机坐标系下的第一标定物平面方程和所述标定物中的目标线条的第一线方程，包括：识别所述待处理图像中的标定物的角点和边界；利用单应性矩阵根据所述待处理图像中的标定物的角点，计算得到相机坐标系下的第一标定物平面方程；获取经过所述标定物的边界和所述相机的光心的平面，并计算所述平面与所述待处理图像中的标定物的交线作为目标线条；计算所述目标线条在所述相机坐标系下的第一线方程。3.根据权利要求1所述的方法，其特征在于，所述根据所述雷达数据计算得到雷达坐标系下的第二标定物平面方程和所述标定物中的所述目标线条的第二线方程，包括：获取所述雷达数据中标定物的点云数据，根据所述雷达数据中标定物的点云数据计算得到雷达坐标系下的第二标定物平面方程；根据所述雷达数据中标定物的目标线条上的点云数据，计算得到雷达坐标系下的所述目标线条的第二线方程。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一标定物平面方程、所述第二标定物平面方程、所述第一线方程以及所述第二线方程，计算得到所述雷达和所述相机之间的初始姿态，包括：获取所述雷达和所述相机之间的待计算初始姿态；将所述雷达坐标系下的所述第二标定物平面方程的法向量，通过所述待计算初始姿态投影至相机坐标系下得到第三标定物平面方程的法向量；将所述雷达坐标系下的所述第二线方程的方向向量，通过所述待计算初始姿态投影至相机坐标系下得到第三线方程的方向向量；根据所述第三标定物平面方程的法向量、所述第一标定物平面方程的法向量、所述第
三线方程的方向向量以及第一线方程的方向向量构建第二目标函数；求解所述第二目标函数得到所述待计算初始姿态对应的解，作为初始姿态。5.根据权利要求4所述的方法，其特征在于，所述根据所述第三标定物平面方程的法向量、所述第一标定物平面方程的法向量、所述第三线方程的方向向量以及第一线方程的方向向量构建第二目标函数，包括，根据所述第三标定物平面方程的法向量、所述第一标定物平面方程的法向量、所述第三线方程的方向向量以及第一线方程的方向向量构建得到如下第二目标函数：其中，N表示标定物的数量，其中1≤i≤N，M为目标线条的数量，其中1≤j≤M，R
CL
为待计算初始姿态，为计算得到的初始姿态，为所述雷达坐标系下的第i个标定物的所述第二标定物平面方程的法向量，为所述相机坐标系下的第i个标定物的所述第一标定物平面方程的法向量，为所述雷达坐标系下的第i个标定物的第j条目标线条的所述第二线方程的方向向量，为所述相机坐标系下的第i个标定物的第j条目标线条的第一线方程的方向向量。6.根据权利要求1所述的方法，其特征在于，所述根据所述标定物在所述雷达坐标系以及所述相机坐标系下的目标平面约束和目标线约束，计算得到所述雷达和所述相机之间的初始位置，包括：获取所述雷达和所述相机之间的待计算初始姿态和待计算位置；获取所述标定物在所述雷达坐标系下的点云数据；通过所述雷达和所述相机之间的待计算姿态和待计算位置，将所述点云数据转换至所述相机坐标系下得到参考点云数据；根据所述参考点云数据和所述相机坐标系下的平面方程得到目标平面约束方程；根据所述参考点云数据和所述相机坐标系下的线约束方程得到目标线约束方程；根据所述平面约束和线约束，计算得到所述雷达和所述相机之间的初始位置。7.根据权利要求6...

【专利技术属性】
技术研发人员：王俊杰，
申请(专利权)人：上海欧菲智能车联科技有限公司，
类型：发明
国别省市：