基于语义掩码的毫米波雷达射频图像目标检测方法技术

本发明专利技术公开了一种基于语义掩码的毫米波雷达射频图像目标检测方法，对雷达信号进行快速傅里叶变换获得射频图像，并且作为训练数据；构建神经网络；通过所述训练数据集对神经网络进行前向传播，通过主译码器和辅助译码器分别得到两个预测标签值；通过真实标签数据和两个预测标签值分别确定主损失函数和辅助损失函数；通过所述主损失函数和辅助损失函数加权求和获得最终的损失函数；通过所述最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络；通过训练好的神经网络对预测数据集进行预测和评估。本发明专利技术利用辅助语义损失针对性地对射频图像语义特征的提取能力进行了增强，获得了更高的检测精度。获得了更高的检测精度。获得了更高的检测精度。

【技术实现步骤摘要】
基于语义掩码的毫米波雷达射频图像目标检测方法


[0001]本专利技术属于自动驾驶领域和深度学习领域，具体涉及一种用于自动驾驶的基于语义掩码的毫米波雷达射频图像目标检测方法。

技术介绍

[0002]近年来随着摄像头、毫米波雷达、激光雷达等多种传感器成本的不断降低以及深度学习及其配套算力硬件的高速发展，自动驾驶技术正不断进步并且在市场上得到应用。自动驾驶任务可分为目标检测、目标跟踪、决策判断等多个子任务，其中目标检测旨在检测车辆附近不同物体的类别及其位置，为后续的跟踪和决策提供了信息，是一项至关重要的任务。在众多传感器中，毫米波雷达具有高精度的测距测速能力、对恶劣天气的适应强等诸多优点，另外在密集场景中通常只有毫米波雷达能感知到车道前方甚至前前方的车辆和行人。围绕毫米波雷达设计的目标检测方法正受到学术界和工业界的更高重视。
[0003]在当前的主流传感器中，摄像头虽然可以更好地理解视觉场景的语义，但在弱/强照明或恶劣天气等不利条件下，图像会出现曝光率低/高或模糊/遮挡等问题，影响目标检测性能。另外基于激光雷达的目标检测方法需要相对密集的激光雷达点云来获取语义信息，设备价格高昂且计算成本高。相较之下，毫米波雷达在大多数环境下更加可靠并且成本低，适合部署在自动驾驶任务中。
[0004]调频连续波(FMCW)雷达工作在低于可见光的毫米波(MMW)波段(30
–
300GHz)，具有以下特性：1)毫米波具有穿透雾、烟和灰尘的强大能力；2)大带宽和高频率使FMCW雷达具有强大的测距能力。通常，FMCW雷达有两种数据表示，即射频图像和毫米波雷达点云。由于进行了峰值检测，毫米波雷达点云比激光雷达的点云稀疏得多，具有的信息不足以完成目标检测任务。然而，射频图像可以保持丰富的多普勒和物体运动信息，从而具有理解目标语义的能力。因此需要设计一种能处理射频图像信息的具有实用价值的目标检测算法。

技术实现思路

[0005]有鉴于此，本专利技术的主要目的在于提供一种基于语义掩码的毫米波雷达射频图像目标检测方法。
[0006]为达到上述目的，本专利技术的技术方案是这样实现的：
[0007]本专利技术实施例提供一种基于语义掩码的毫米波雷达射频图像目标检测方法，该方法为：
[0008]对雷达信号进行快速傅里叶变换获得射频图像，并且作为训练数据；
[0009]构建神经网络；
[0010]通过所述训练数据集对神经网络进行前向传播，通过主译码器和辅助译码器分别得到两个预测标签值；
[0011]通过真实标签数据和两个预测标签值分别确定主损失函数和辅助损失函数；
[0012]通过所述主损失函数和辅助损失函数加权求和获得最终的损失函数；
[0013]通过所述最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络；
[0014]通过训练好的神经网络对预测数据集进行预测和评估。
[0015]上述方案中，所述对雷达信号进行快速傅里叶变换获得射频图像，并且作为训练数据，具体为：对雷达信号进行快速傅立叶变换(FFT)，以估计反射的范围，然后利用低通滤波器(LPF)以30FPS的速率去除每帧中所有啁啾的高频噪声，在LPF之后沿着不同的接收器天线对信号进行第二次FFT，以估计反射的方位角，并获得最终的射频图像。
[0016]上述方案中，所述构建神经网络，具体为：依次构建神经网络中的3D嵌入层模块、时空融合模块、窗口Transformer模块、语义掩码模块、3D卷积下采样模块、主译码器Transformer模块、3D扩展模块、辅助译码器检测头。
[0017]上述方案中，所述通过真实标签数据和两个预测标签值分别确定主损失函数和辅助损失函数，具体为：对所述主译码器输出的预测标签值与数据集提供的真实标签数据(Ground Truth)使用二分类交叉熵损失(BCELoss)确定主损失函数的结果Loss
main
，对所述辅助译码器输出的预测标签值与真实标签数据使用二分类交叉熵损失(BCELoss)确定辅助损失函数的结果Loss
auxiliary
；通过所述主损失函数的结果Loss
main
和辅助损失函数的结果Loss
auxiliary
加权求和作为最终的损失函数。
[0018]上述方案中，所述通过所述最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络，具体为：定义最大训练周期E
max
，训练的批尺寸(batchsize)B
n
，训练样本总数为S，则每个周期内训练的批数利用Adam优化器优化所述网络所有参数，设置初始学习率为lr0，使用余弦退火学习率衰减策略；读入1个批次的训练数据，输入网络前向传播，计算损失函数并反向传播；判断总训练步数step能否被一个周期内训练的批数k整除；若成立，下一次从头开始读取训练数据；若不成立，下一次依次读取训练数据；判断总训练步数step是否等于B
n
×
k，若成立，结束训练，获得训练好的神经网络，否则继续训练神经网络。
[0019]上述方案中，所述通过训练好的神经网络对预测数据集进行预测和评估，具体为：将预测数据集通过训练好的神经网络得到一组置信度图(ConfMaps)，坐标为距离
‑
方位角；所述置信度图有多个通道，每个通道代表一个特定的类别标签，例如设检测类别行人、自行车、汽车分别为类别1、类别2、类别3，则第cls个通道中的像素处的值表示具有类别cls的对象出现在该距离方位位置处的概率，然后在设置的目标位置相似性(OLS)阈值下进行非极大值抑制，并且在设置的置信度阈值下判断该像素处是正样本还是负样本，大于置信度阈值的判定为正样本，小于置信度阈值的判定为负样本，最终计算平均精度(AP)和平均召回率(AR)；所述cls取值为大于1的自然数。
[0020]与现有技术相比，本专利技术利用辅助语义损失针对性地对特征图的语义提取能力进行了增强，获得了更高的检测精度；同时引入了一种新的时空融合方法，将时间信息融合进空间信息中，在减少计算量的同时保证了性能。
附图说明
[0021]此处所说明的附图用来公开对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0022]图1为本专利技术实施例提供一种基于语义掩码的毫米波雷达射频图像目标检测方法的流程图。
[0023]图2为本专利技术实施例提供一种基于语义掩码的毫米波雷达射频图像目标检测方法的结构图。
[0024]图3为本专利技术实施例提供一种基于语义掩码的毫米波雷达射频图像目标检测方法中时空融合模块采用的模式示意图。
[0025]图4为本专利技术实施例提供一种基于语义掩码的毫米波雷达射频图像目标检测方法中窗口Transformer模块的结构示意图。
[0026]图5为本专利技术实施例提供一种基于语义掩码的毫米波雷达射频图像目标检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义掩码的毫米波雷达射频图像目标检测方法，用于用于自动驾驶，其特征在于，该方法为：对雷达信号进行快速傅里叶变换获得射频图像，并且作为训练数据；构建神经网络；通过所述训练数据集对神经网络进行前向传播，通过主译码器和辅助译码器分别得到两个预测标签值；通过真实标签数据和两个预测标签值分别确定主损失函数和辅助损失函数；通过所述主损失函数和辅助损失函数加权求和获得最终的损失函数；通过所述最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络；通过训练好的神经网络对预测数据集进行预测和评估。2.根据权利要求1所述的基于语义掩码的毫米波雷达射频图像目标检测方法，其特征在于，所述对雷达信号进行快速傅里叶变换获得射频图像，并且作为训练数据，具体为：对雷达信号进行快速傅立叶变换(FFT)，以估计反射的范围，然后利用低通滤波器(LPF)以30FPS的速率去除每帧中所有啁啾的高频噪声，在LPF之后沿着不同的接收器天线对信号进行第二次FFT，以估计反射的方位角，并获得最终的射频图像。3.根据权利要求1
‑
2任意一项所述的基于语义掩码的毫米波雷达射频图像目标检测方法，其特征在于，所述构建神经网络，具体为：依次构建神经网络中的3D嵌入层模块、时空融合模块、窗口Transformer模块、语义掩码模块、3D卷积下采样模块、主译码器Transformer模块、3D扩展模块、辅助译码器检测头。4.根据权利要求3所述的基于语义掩码的毫米波雷达射频图像目标检测方法，其特征在于，所述通过真实标签数据和两个预测标签值分别确定主损失函数和辅助损失函数，具体为：对所述主译码器输出的预测标签值与数据集提供的真实标签数据(GroundTruth)使用二分类交叉熵损失(BCELoss)确定主损失函数的结果，对所述...

【专利技术属性】
技术研发人员：刘军，吴煜之，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：