基于毫米波雷达与摄像头的自动标定方法及系统技术方案

本发明专利技术涉及传感器融合技术，为基于毫米波雷达与摄像头的自动标定方法及系统，其方法包括：通过雷达获得N个雷达检测目标，通过摄像头获得M个图像检测目标，并分别进行特征提取，获得相应的特征向量；根据雷达检测目标、图像检测目标的特征向量之间的匹配概率、欧式距离，求取雷达检测目标、图像检测目标的特征向量之间的对应关系，作为雷达检测目标与图像检测目标之间的匹配关联结果；根据所述匹配关联结果，估计摄像头参考坐标系和雷达参考坐标系之间的外部参数。本发明专利技术将毫米波雷达和摄像头的自动标定转化为求解最优传输问题，以估计出外参，无需特定的参照物；当雷达和的相机相对位置发生变化时，能够自动地适应调节外参。能够自动地适应调节外参。能够自动地适应调节外参。

【技术实现步骤摘要】
基于毫米波雷达与摄像头的自动标定方法及系统


[0001]本专利技术涉及传感器融合技术，特别是基于毫米波雷达与摄像头的自动标定方法及系统。

技术介绍

[0002]传感器融合的前提之一是不同传感器数据的空间对齐，即完成不同传感器之间的标定；以雷达和摄像头为例，需得到雷达参考坐标系和摄像头参考坐标系之间的坐标转换关系。坐标转换关系也通常用外参和内参来描述。内参由摄像头的物理特性决定，一般通过张正友标定法获取。而外参描述了传感器间的相对位置关系，一般通过设置参照物，获取雷达参考坐标系和摄像头参考坐标系的靶点来完成标定。由于摄像头内参描述了摄像头固有的物理特性，传感器间的标定问题主要在于估计摄像头和雷达间的相对位置关系，即外参。
[0003]PnP(Perspective
‑
n
‑
Point)问题是指通过n个3D点到2D点的点对求解摄像头参考坐标系相对世界坐标系的位姿问题。PnP算法描述了已知n个3D点的坐标(相对世界坐标系)以及这些点对应的像素坐标时，如何估计外参。雷达坐标p和像素坐标q的关系如下：
[0004]q＝K[RT]p (1)
[0005]其中R、T是外参，分别为旋转矩阵和平移向量；K是相机(即摄像头)的内参。
[0006]现有的标定方法大多需要参照物(如角反射器)或者是需要外参的粗略估计值，以此来获取雷达
‑
图像中的点对，随后利用直接线性变换(DLT，Direct Linear Transform)等PnP算法求解出外参。这类标定方法要么需要参照物，要么需要外参的粗略估计值，在实际部署的过程中需要耗费较大的人力物力，耗时久。并且当雷达传感器和摄像头传感器的相对位置发生改变时，这些方法不能够自动调节外参。此外，需要外参粗略估计值的方案非常依赖于初始外参的准确性，在初始的外参值不够准确时，PnP问题的解会陷入局部最优，因此鲁棒性很差。

技术实现思路

[0007]为了解决现有技术所存在的问题，本专利技术提出一种基于毫米波雷达与摄像头的自动标定方法及系统，将毫米波雷达和摄像头的自动标定转化为求解最优传输问题，以估计出外参，无需特定的参照物和粗略的外参先验；且当雷达和的相机相对位置发生变化时，能够自动地适应调节外参。
[0008]本专利技术实施例中提供的基于毫米波雷达与摄像头的自动标定方法，包括以下步骤：
[0009]通过雷达获得N个雷达检测目标，通过摄像头获得M个图像检测目标，分别对检测到的雷达检测目标和图像检测目标进行特征提取，获得相应的特征向量；
[0010]根据雷达检测目标的特征向量和图像检测目标的特征向量之间的匹配概率、欧式距离，求取雷达检测目标的特征向量和图像检测目标的特征向量之间的对应关系，作为雷达检测目标与图像检测目标之间的匹配关联结果；
[0011]根据雷达检测目标与图像检测目标之间的匹配关联结果，估计摄像头参考坐标系和雷达参考坐标系之间的外部参数，完成毫米波雷达和摄像头之间的自动标定。
[0012]优选地，将雷达检测目标与图像检测目标的对应关系的求取问题转换为最优传输问题，通过解决最优传输问题求取所述对应关系。
[0013]优选地，求取雷达检测目标的特征向量和图像检测目标的特征向量之间的对应关系，包括步骤：
[0014]定义r,c分别为雷达检测目标的特征向量的概率分布和图像检测目标的特征向量的概率分布；
[0015]将雷达检测目标的特征向量和图像检测目标的特征向量间的欧式距离定义为转移代价矩阵L；
[0016]根据雷达检测目标的特征向量的概率分布和图像检测目标的特征向量的概率分布，设计匹配概率矩阵，其中匹配概率矩阵的第i行第j列元素表示第i个雷达目标的特征向量和第j个图像目标的特征向量的匹配概率；
[0017]将匹配概率矩阵P表征为转移代价矩阵L的函数；
[0018]筛选出匹配概率矩阵的前K个最大值，得到K组雷达检测目标与图像检测目标之间的匹配关联结果。
[0019]本专利技术实施例中提供的基于毫米波雷达与摄像头的自动标定系统，包括模块：
[0020]数据获取模块，用于通过雷达获得N个雷达检测目标，通过摄像头获得M个图像检测目标，分别对检测到的雷达检测目标和图像检测目标进行特征提取，获得相应的特征向量；
[0021]目标匹配关联模块，用于根据雷达检测目标的特征向量和图像检测目标的特征向量之间的匹配概率、欧式距离，求取雷达检测目标的特征向量和图像检测目标的特征向量之间的对应关系，作为雷达检测目标与图像检测目标之间的匹配关联结果；
[0022]自动标定模块，用于根据雷达检测目标与图像检测目标之间的匹配关联结果，估计摄像头参考坐标系和雷达参考坐标系之间的外部参数，完成毫米波雷达和摄像头之间的自动标定。
[0023]从以上技术方案可知，本专利技术无需无参照物，通过对目标点提取空间几何特征，并采用Sinkhorn算法关联来自毫米波雷达和图像的目标检测结果；与现有技术相比，本专利技术取得的技术效果包括：
[0024]1、采用摄像头和雷达进行目标检测，通过特征提取网络从图像像素点和毫米波雷达点云提取出每个点的空间几何特征向量；采用Sinkhorn算法估计来自不同传感器的目标的对应关系，从而获取毫米波雷达检测目标
‑
图像检测目标的关联结果。由此可以将毫米波雷达和摄像头的自动标定转化为求解最优传输PnP问题，从而估计出外参。
[0025]2、本专利技术从数据级层面实现空间标定，在估计外参的过程中无需特定的参照物和粗略的外参先验，流程均可实现自动化，鲁棒性强；并且当雷达和相机相对位置发生变化时，能够自动地适应调节外参。
附图说明
[0026]图1是本专利技术实施例中毫米波雷达
‑
摄像头自动标定的流程图；
[0027]图2是本专利技术实施例中求取雷达检测目标的特征向量和图像检测目标的特征向量之间的对应关系的流程图；
[0028]图3是本专利技术实施例中匹配概率矩阵的示意图。
具体实施方式
[0029]本专利技术首先通过毫米波雷达和摄像头的目标检测方法，获取雷达检测目标和图像检测目标；采用特征提取网络获取每个目标对应的特征向量。再通过求解两组特征向量之间的最优传输问题得到匹配概率矩阵，采用PnP算法求解摄像头参考坐标系和雷达参考坐标系之间的外参。本专利技术不采用角反射器等特定的参照物，并且流程可自动化，从而实现了毫米波雷达和摄像头的自动标定。
[0030]为便于更好地理解本专利技术的技术方案，现结合附图和实施例对本专利技术作进一步说明。但本专利技术的实施方式并不限于此，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]实施例1
[0032]本实施例为一种基于毫米波雷达与摄像头的自动标定方法，如图1所示，包括以下步骤：
[0033]S1、通过雷达获得N个雷达检测目标，通过摄像头获得M个图像检测目标，分别对检测到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达与摄像头的自动标定方法，其特征在于，包括步骤：通过雷达获得N个雷达检测目标，通过摄像头获得M个图像检测目标，分别对检测到的雷达检测目标和图像检测目标进行特征提取，获得相应的特征向量；根据雷达检测目标的特征向量和图像检测目标的特征向量之间的匹配概率、欧式距离，求取雷达检测目标的特征向量和图像检测目标的特征向量之间的对应关系，作为雷达检测目标与图像检测目标之间的匹配关联结果；根据雷达检测目标与图像检测目标之间的匹配关联结果，估计摄像头参考坐标系和雷达参考坐标系之间的外部参数，完成毫米波雷达和摄像头之间的自动标定。2.根据权利要求1所述的自动标定方法，其特征在于，将雷达检测目标与图像检测目标的对应关系的求取问题转换为最优传输问题，通过解决最优传输问题求取所述对应关系。3.根据权利要求1或2所述的自动标定方法，其特征在于，求取雷达检测目标的特征向量和图像检测目标的特征向量之间的对应关系，包括步骤：定义r,c分别为雷达检测目标的特征向量的概率分布和图像检测目标的特征向量的概率分布；将雷达检测目标的特征向量和图像检测目标的特征向量间的欧式距离定义为转移代价矩阵L；根据雷达检测目标的特征向量的概率分布和图像检测目标的特征向量的概率分布，设计匹配概率矩阵，其中匹配概率矩阵的第i行第j列元素表示第i个雷达目标的特征向量和第j个图像目标的特征向量的匹配概率；将匹配概率矩阵P表征为转移代价矩阵L的函数；筛选出匹配概率矩阵的前K个最大值，得到K组雷达检测目标与图像检测目标之间的匹配关联结果。4.根据权利要求3所述的自动标定方法，其特征在于，在筛选出匹配概率矩阵的前K个最大值之前，判断匹配概率矩阵P是否收敛；若否，则用雷达检测目标的特征向量的概率分布r对匹配概率矩阵P的行做归一化处理，使得行的和等于雷达检测目标的特征向量的概率分布r的和，并用图像检测目标的特征向量的概率分布c对匹配概率矩阵P的列做归一化处理，使得列的和等于图像检测目标的特征向量的概率分布c的和；直至匹配概率矩阵P收敛，得到最终的匹配概率矩阵P。5.根据权利要求3所述的自动标定方法，其特征在于，转移代价矩阵L的函数式子为：P＝e
‑
λL
其中，λ为超参数。6.根据权利要求3所述的自动标...

【专利技术属性】
技术研发人员：刘新宇，叶艺山，邓振淼，
申请(专利权)人：中山大学，
类型：发明
国别省市：