雷达与摄像头传感器组合探测的方法技术

本发明专利技术提供了一种雷达与摄像头传感器组合探测的方法，包括：获取目标对象的若干图像感知数据组与若干原始雷达感知数据组；目标对象包括运动目标对象和静止目标对象；根据第一数据处理法，对若干原始雷达感知数据组进行处理，得到若干雷达稀疏张量信息组；形成立体多维深度感知数据组合；所述立体多维深度感知数据组合形成于多维矩阵结构中；所述立体多维深度感知数据组合包括赋值于所述多维矩阵结构中的若干所述雷达稀疏张量信息组与对应的若干所述图像感知数据组

【技术实现步骤摘要】
雷达与摄像头传感器组合探测的方法


[0001]本专利技术涉及传感器探测领域，尤其涉及一种雷达与摄像头传感器组合探测的方法
。

技术介绍

[0002]在目标识别与环境感知领域，雷达
(
包含：毫米波雷达
(
传感器
)
；太赫兹传感器以及激光雷达也同样可以被用于产生多维度目标感知信息输出，也是包含在我们本专利技术所称的“雷达”定义范围内的
)
与摄像头都是被广泛应用的传感器，两类传感器有各自对环境感知的特点与维度，所以他们也常常被组合在一起，成为传感器组合来共同完成环境与目标感知的任务
。
[0003]雷达可以提供目标检测的距离
、
相对运动速度
(
多普勒信息
)、
材质
(
雷达的
RCS
数据信息
)
以及目标所处空间的角度等信息，对目标检测的距离
、
相对运动速度这些信息是摄像头系统检测的弱项，所以雷达与摄像头的融合系统是非常好的目标与环境感知的组合，系统可以做到“1+1>2”的融合处理输出效果
。
[0004]但是，目前雷达
(
特别是毫米波雷达
)
的缺点是其感知数据被处理后生产的目标的空间角度定位精度与分辨率比摄像头
(
特别是高分辨率摄像头
)
要差很多，这是雷达系统需要加强改进的
。
有些雷达采样的算法严重依赖多普勒信息检测物体，导致无法检测静态物体
。
目前业界也开始发力推出了
4D
毫米波成像雷达，
4D
毫米波雷达不仅是毫米波雷达的改进版本，而且引入了许多重要的研究课题
。
[0005]4D
毫米波雷达的原始数据量远大于传统雷达，这给信号处理和数据生成带来了挑战，如何有效区分与识别杂波信号和噪声信号就更加挑战了
。
现有的雷达信号处理后产生的
4D
毫米波雷达点云的稀疏性和噪声比激光雷达点云更严重，因此需要重新定义与设计其感知
、
定位和映射的算法，以强化并重新演绎出
4D
毫米波雷达的感知特性
。
[0006]目前
4D
雷达产品点云稀疏的一个主要原因是信号过滤器
(
例如采用目前流行的
CFAR
：“Constant False Alarm Rate”即“恒定虚警率”检测算法
)
造成的大量信息损失
。
为了解决这个问题，越来越多的其它算法，例如基于机器学习的方法，被提出来取代
CFAR
算法处理数据
。
在雷达系统进行距离和速度2个维度的
FFT
之后，不进行
CFAR
信号过滤处理，直接进行目标的空间角度定位
(3D
立体维度：包含目标所在空间位置的水平方位角以及俯仰角度信息，通过对接收到的反射信号做数据分析处理，比如通过做它们相位维度的快速傅里叶变换
(FFT)
分析来获取
)。
雷达在立体空间的每个采样点可以取得推算出来的包含此处
(
采样点
)
的距离
、
多普勒
、
水平方位角和俯仰角维度的功率测量信息
‑‑
业界也称其为：雷达
4D
张量信息
(
即“4D Radar Tensors”信息，简称为
:“4DRT”信息
)
；另外，雷达系统对
4D
张量信号：采样点的距离
、
多普勒
(
速度
)、
水平方位角和俯仰角维度的处理顺序是可以调整的，有些算法是处理采样点的距离维度数据后就做水平方位角和俯仰角维度的定位，然后再做多普勒
(
速度
)
信息的提取，各种算法都有
。
然后基于这个
4D
张量组合，雷达系统在用进一步的算法
(
可以包含机器学习
、
神经网络算法
)
进行目标与环境的特征提取和识别
。
这种方式
可以最大程度地保留有效的感知信息，但是由于没有进行数据过滤提取
(
对比用
CFAR
算法处理的步骤
)
，系统输出并且后续模块再需要处理的数据量非常大，对于系统的传输带宽
、
内存缓存
、
后续系统进一步做目标与环境认知处理算力都提出了很高的要求，系统成本也会很高
。
[0007]最挑战的还是在雷达算法本身，在雷达系统获取的大量的
4D
张量采样信息里，如何区分出哪些信息是目标对雷达信号产生的有效反射信息
(
这是系统希望获取的
)
，哪些信息是背景噪声
(
噪点信号，需要滤除
)
，哪些信息是其它雷达系统带来的信号串扰
(
需要识别并滤除
)
，哪些信息是雷达信号的多径串扰
……
如何有效地区分它们并最大限度地识别出目标有效反射信息，这是目前行业正在期待有技术突破的方向
。
[0008]因而，如何有效识别静态物体
、
遮挡物体等，并处理数量很大的雷达原始数据，成为本领域技术人员亟待要解决的技术重点
。

技术实现思路

[0009]本专利技术提供一种雷达与摄像头传感器组合探测的方法，以解决如何有效识别静态物体
、
遮挡物体等，并处理数量很大的雷达原始数据的问题
。
[0010]根据本专利技术的第一方面，提供了一种雷达与摄像头传感器组合探测的方法，包括：
[0011]获取目标对象的若干图像感知数据组与若干原始雷达感知数据组；其中，所述目标对象包括运动目标对象和静止目标对象；每组所述原始雷达感知数据组均包括雷达传感器在雷达传感器的探测域所在的立体空间中的每个采样点感知的距离
、
多普勒
、
水平方位角和俯仰角4个维度的雷达
4D
张量对应的功率测量信息数据的组合，其中，所述功率测量信息数据包括：信号反射能量的数据
、
或者所述信号反射能量对应的雷达截面或者信噪比信息的数据；所述若干图像感知数据组表征了图像传感器获取的数据；
[0012]根据第一数据处理法，对若干所述原始雷达感知数据组进行处理，得到若干雷达稀疏张量信息组；其中，所述第一数据处理法用于剔除所述原始雷达感知数据组中的随机噪声数据；以及所述目标对象检测产生的随机噪声
、
雷达信号的串扰信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种雷达与摄像头传感器组合探测的方法，其特征在于，包括：获取目标对象的若干图像感知数据组与若干原始雷达感知数据组；其中，所述目标对象包括运动目标对象和静止目标对象；每组所述原始雷达感知数据组均包括雷达传感器在雷达传感器的探测域所在的立体空间中的每个采样点感知的距离
、
多普勒
、
水平方位角和俯仰角4个维度的雷达
4D
张量对应的功率测量信息数据的组合，其中，所述功率测量信息数据包括：信号反射能量的数据
、
或者所述信号反射能量对应的雷达截面或者信噪比信息的数据；所述若干图像感知数据组表征了图像传感器获取的数据；根据第一数据处理法，对若干所述原始雷达感知数据组进行处理，得到若干雷达稀疏张量信息组；其中，所述第一数据处理法用于剔除所述原始雷达感知数据组中的随机噪声数据；以及所述目标对象检测产生的随机噪声
、
雷达信号的串扰信息的数据；所述随机噪声数据表征了对检测空间内检测获取的随机离散数据；形成立体多维深度感知数据组合，并输出所述立体多维深度感知数据组合；所述立体多维深度感知数据组合形成于多维矩阵结构中；所述立体多维深度感知数据组合包括赋值于所述多维矩阵结构中的若干所述雷达稀疏张量信息组与对应的若干所述图像感知数据组；其中，所述多维矩阵结构中包括沿第一方向依次排布的多个矩阵层，所述矩阵层包括至少一层图像像素矩阵层与至少一层雷达矩阵层；其中，所述雷达矩阵层中包括若干阵列排布的雷达矩阵元素；所述雷达矩阵元素表征了与所述图像像素矩阵层中的阵列排布的像素元素沿所述第一方向一一对应的元素；其中，每个所述像素元素中，均对应包括所述图像感知数据组；所述雷达矩阵层中的所述雷达矩阵元素均被赋值有对应的所述雷达稀疏张量信息组
。2.
根据权利要求1所述的雷达与摄像头传感器组合探测的方法，其特征在于，形成立体多维深度感知数据组合具体包括：形成所述雷达矩阵层与所述图像像素矩阵层，并确定第一映射关系；其中，所述第一映射关系表征了所述雷达矩阵元素与所述图像像素矩阵层中的阵列排布的像素元素之间的对应关系；根据所述第一映射关系，将所述雷达矩阵元素与所述图像像素矩阵层中的阵列排布的所述像素元素沿所述第一方向一一对应；将若干雷达稀疏张量信息组赋值于所述雷达矩阵层中对应的所述雷达矩阵元素中；其中，在所述图像像素矩阵层中，每个所述像素元素中，均对应包括所述图像感知数据组；在所述雷达矩阵层中包括若干阵列排布的雷达矩阵元素
。3.
根据权利要求2所述的雷达与摄像头传感器组合探测的方法，其特征在于，形成所述雷达矩阵层具体包括：将一个二维平面以垂直于雷达感知视场中心轴的方位切入并投射到所述雷达传感器的探测域中，其中所述二维平面中包括根据预设空间角度分辨率划分的若干映射单元；将雷达稀疏张量信息组表征的雷达感知视场内的每一个检测点，根据其对应的波达方向投射到所述二维平面上的所述映射单元中；其中，每一个所述映射单元均被赋值或标记有对应的波达方向上的所述雷达稀疏张量信息组
。
4.
根据权利要求3所述的雷达与摄像头传感器组合探测的方法，其特征在于，形成所述第一映射关系包括：根据第一坐标，确定第二坐标；所述第二坐标表征了所述第一坐标经坐标变换后，在图像坐标系中的坐标；所述第一坐标表征了在雷达传感器的探测域所处的坐标系中，若干所述雷达稀疏张量信息组的坐标；所述图像坐标系表征了图像传感器的图像采集区域所处的坐标系；将所述雷达传感器的探测域与所述图像传感器的图像采集区域进行对齐；其中，所述雷达传感器的探测域的中心轴线与所述图像采集传感器的光轴对齐，以及：所述雷...

【专利技术属性】
技术研发人员：蒋宏，郑旺，龚丹，
申请(专利权)人：上海昱感微电子科技有限公司，
类型：发明
国别省市：