基于图像分割与雷达信息融合的目标定位方法、系统及介质技术方案

本发明专利技术公开了一种基于图像分割与雷达信息融合的目标定位方法、系统及介质，其方法包括以下步骤：获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历雷达初始数据，筛选出属于图像目标像素集范围内的雷达点云数据；对雷达点云数据进行聚类处理后选取点云聚类中心及点云聚类中心在雷达点云数据中对应的像素点；最后计算目标物在相机坐标系中的最终坐标；因此充分利用了相机对环境细节信息的提取能力强以及毫米波雷达探测距离远的特点，准确计算出目标物在相机坐标系中的最终坐标。坐标系中的最终坐标。坐标系中的最终坐标。

【技术实现步骤摘要】
基于图像分割与雷达信息融合的目标定位方法、系统及介质


[0001]本专利技术涉及多传感器融合
，特别涉及一种基于图像分割与毫米波雷达信息融合的目标定位方法、系统及介质。

技术介绍

[0002]随着国家大力发展人工智能、智慧城市、智能制造等高科技产业，智能停车、车联网、自动驾驶等领域的快速发展，智能感知成为了重要的研究方向。智能感知是指一种人工智能系统能够通过对外界环境的感知和理解，自动识别、分类、处理和响应外部信息的能力。这种能力可以应用于各种场景，如语音识别、图像识别、自然语言处理等。在智能感知中，系统通常会使用传感器、摄像头、麦克风等设备，通过采集和分析感官信息，将感知到的数据转化为可理解的数据形式，以便计算机能够进行深入的分析和处理。此外，智能感知还需要结合机器学习、神经网络等算法技术，以自动识别和分类感知数据，并对其做出相应的响应或决策。
[0003]智能感知是自动驾驶领域最重要和基础的研究领域。车辆的自动驾驶离不开对周围目标物的精确快速检测及定位。车辆依靠传感器获取车辆周围的信息，包括激光雷达、毫米波雷达、超声波雷达、视觉相机等。激光雷达抗干扰能力较强、分辨率高，测距精确度高，但是在雨雾天气下适用性较差，且数据以点云格式输出，计算量较大；单一的视觉相机传感器检测识别精度不够高，稳定性也比较差，且容易受到光线、天气等因素的影响；毫米波雷达受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨率比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息。单一的传感器是不能够解决所有问题的，毫米波雷达与相机的融合可以优势互补，且价格便宜，逐渐成为自动驾驶的主流研究方向。
[0004]因此目前使用单一相机无法获取目标的深度信息，使用毫米波雷达分辨率比较低，噪点过多，故单一传感器难以全面、准确地检测出目标位置，不适用于道路等复杂工况。

技术实现思路

[0005]本专利技术的提供一种基于图像分割与雷达信息融合的目标定位方法、系统及介质，充分利用了相机对环境细节信息的提取能力强以及毫米波雷达探测距离远的特点，准确计算出目标物在相机坐标系中的最终坐标。
[0006]第一方面，提供一种基于图像分割与雷达信息融合的目标定位方法，具体包括以下步骤：
[0007]获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；
[0008]基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
[0009]基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
[0010]对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；
[0011]根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
[0012]根据第一方面，在第一方面的第一种可能的实现方式中，所述“基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据”步骤，具体包括以下步骤：
[0013]所述外参矩阵包括：相机的旋转矩阵及毫米波雷达的平移矩阵；
[0014]根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集；
[0015]在雷达初始数据对应的成像坐标集中筛选出属于所述图像目标像素集范围内的雷达点云数据。
[0016]根据第一方面的第一种可能的实现方式中，在第一方面的第二种可能的实现方式中，所述“根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集”步骤，具体包括以下步骤：
[0017]根据所述相机的旋转矩阵R、所述毫米波雷达的平移矩阵T及相机的内参矩阵A、将所述雷达初始数据(x
iwr
,y
iwr
)转换至相机成像平面中，得到雷达初始数据对应的成像坐标集(u
i
,v
i
)如下：
[0018][0019]根据第一方面，在第一方面的第三种可能的实现方式中，所述“根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标”步骤，具体包括以下步骤：
[0020]根据所述点云聚类中心云聚类中心在雷达点云数据中对应的像素点(u
central
,v
central
)及相机的内参矩阵A，计算目标物在相机坐标系中的最终坐标pos(x
obj
,y
obj
,z
obj
)如下：
[0021][0022]其中，物距
[0023]相机的内参矩阵A如下：
[0024][0025]式中，f为相距；dx,dy分别为相机成像平面方向x,y上的一个像素点在相机感光板上的物理长度；u0,v0分别为相机感光板中心在像素坐标系下的坐标。
[0026]根据第一方面，在第一方面的第四种可能的实现方式中，所述“获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据”步骤之后，具体包括以下步骤：
[0027]基于消息过滤器将所述相机原始图像与所述雷达初始数据进行时间同步。
[0028]第二方面，还提供了一种基于图像分割与雷达信息融合的目标定位系统，包括：
[0029]数据获取模块，用于获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；
[0030]矫正分离模块，与所述数据获取模块通信连接，用于基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
[0031]筛选模块，与所述数据获取模块及所述矫正分离模块通信连接，用于基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
[0032]聚类模块，与所述筛选模块通信连接，用于对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；以及，
[0033]计算模块，与所述聚类模块通信连接，用于根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
[0034]第三方面，还提供了一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述所述基于图像分割与雷达信息融合的目标定位方法。
[0035]与现有技术相比，本专利技术的优点如下：通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割与雷达信息融合的目标定位方法，其特征在于，具体包括以下步骤：获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。2.如权利要求1所述的基于图像分割与雷达信息融合的目标定位方法，其特征在于，所述“基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据”步骤，具体包括以下步骤：所述外参矩阵包括：相机的旋转矩阵及毫米波雷达的平移矩阵；根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集；在雷达初始数据对应的成像坐标集中筛选出属于所述图像目标像素集范围内的雷达点云数据。3.如权利要求2所述的基于图像分割与雷达信息融合的目标定位方法，其特征在于，所述“根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集”步骤，具体包括以下步骤：根据所述相机的旋转矩阵R、所述毫米波雷达的平移矩阵T及相机的内参矩阵A、将所述雷达初始数据(x
iwr
,y
iwr
)转换至相机成像平面中，得到雷达初始数据对应的成像坐标集(u
i
,v
i
)如下：4.如权利要求1所述的基于图像分割与雷达信息融合的目标定位方法，其特征在于，所述“根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机...

【专利技术属性】
技术研发人员：于振华，赵渊，李坤，丁国良，
申请(专利权)人：运来智能装备无锡有限公司，
类型：发明
国别省市：