基于图像特征的图像和单帧毫米波雷达目标的匹配方法组成比例

本申请涉及基于图像特征的图像和单帧毫米波雷达目标的匹配方法，包括基于时间同步下的图像和该时间下的毫米波雷达目标，将毫米波雷达目标投影到图像上；将图像输入预设的目标检测器中，得到图像的融合特征和目标区域；在图像的融合特征中提取出图像目标区域的中心点特征以及毫米波雷达目标的初始雷达目标特征；将中心点特征和初始雷达目标特征输入预设的匹配模型中，在初始雷达目标特征中额外加入雷达目标信息并进行特征提取得到第一雷达目标特征，根据中心点特征和第一雷达目标特征得到匹配矩阵；基于匹配矩阵，解析得到图像和毫米波雷达目标之间匹配结果。本申请具有提升毫米波雷达目标匹配的实时性能的效果。米波雷达目标匹配的实时性能的效果。米波雷达目标匹配的实时性能的效果。

【技术实现步骤摘要】
基于图像特征的图像和单帧毫米波雷达目标的匹配方法


[0001]本申请涉及自动驾驶
，尤其是涉及基于图像特征的图像和单帧毫米波雷达目标的匹配方法。

技术介绍

[0002]目前，自动驾驶车辆面临的挑战之一是复杂场景中精确的目标检测和跟踪，因毫米波雷达使用的是毫米波信号，其波长比形成雾、雨和雪的微小粒子大，穿透能力强，并且具有全天候全天时的特点，适用于复杂场景中精确的目标检测和跟踪。
[0003]但是，现有的图像和毫米波雷达目标的匹配方法采用了伪图，因伪图是稀疏图，冗余了大量的伪信息（元素值为0），导致构造时耗费的计算机资源较多，运算速度慢，在车载芯片上的运行难度大，实时性难以满足自动驾驶的要求。
[0004]针对上述中的相关技术，专利技术人发现现有的图像和毫米波雷达目标的匹配方法存在有在车载芯片上的运行难度大，实时性差的问题。

技术实现思路

[0005]为了提升图像和毫米波雷达目标匹配时的实时性能，本申请提供了基于图像特征的图像和单帧毫米波雷达目标的匹配方法。
[0006]第一方面，本申请提供一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法。
[0007]本申请是通过以下技术方案得以实现的：一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法，包括以下步骤，基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息，并进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；将所述目标区域的中心点特征和第一雷达目标特征进行特征再加工，得到加工后的目标区域的中心点特征和第一雷达目标特征；根据加工后的目标区域的中心点特征与加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。
[0008]本申请在一较佳示例中可以进一步配置为：所述将所述图像输入预设的目标检测
器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征的步骤包括，所述目标检测器包括CSPdarknet53层、Neck层、Head层和NMS层的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Head层的输入端，Head层的输出端连接NMS层的输入端；将所述图像输入所述目标检测器的CSPdarknet53层，得到图像的特征金字塔，并将所述特征金字塔进行特征融合，得到图像的融合特征；所述特征金字塔经过所述目标检测器的Neck层、Head层和NMS层，得到所述目标区域的中心点位置、宽度和高度；基于所述目标区域的中心点位置，结合所述融合特征，得到所述目标区域的中心点特征；基于所述毫米波雷达目标在所述图像上的投影点坐标，结合所述融合特征，得到所述毫米波雷达目标的初始雷达目标特征。
[0009]本申请在一较佳示例中可以进一步配置为：所述匹配模型的训练过程包括，将属于真实世界的同一个目标物体的所述图像与所述单帧毫米波雷达目标一一对应，获得匹配关系；以所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征为输入，以所述图像和所述单帧毫米波雷达目标之间的匹配矩阵为输出，根据所述匹配关系对预设的匹配模型进行训练；其中，所述匹配模型包括雷达特征融合网络、特征再加工网络和匹配矩阵生成网络；在训练时，所述雷达特征融合网络对初始雷达目标特征和额外加入的雷达信息进行融合并提取，得到与所述目标区域的中心点特征维度一致的第二雷达目标特征；所述特征再加工网络，用于将所述目标区域的中心点特征和第二雷达目标特征进行二次加工；所述匹配矩阵生成网络，用于根据加工后的目标区域的中心点特征和加工后的第二雷达目标特征生成所述图像和所述单帧毫米波雷达目标之间的匹配矩阵；在训练完毕后生成所述匹配模型。
[0010]本申请在一较佳示例中可以进一步配置为：还包括以下步骤，每次监督训练时，基于负对数似然函数，计算匹配模型的匹配损失；根据所述匹配损失，利用优化器优化所述匹配模型；重复上述步骤，直至匹配模型收敛，得到图像和单帧毫米波雷达目标的匹配模型；其中，所述匹配损失的函数表达式包括，其中，表示匹配损失，（N，M）表示标注的图像的目标区域i和毫米波雷达目标j的匹配集合，N+1表示匹配矩阵的第N+1行，M+1表示匹配矩阵的第M+1列，表示第M+1列
的毫米波雷达目标中图像目标的集合，表示第N+1行的图像目标中毫米波雷达目标的集合。
[0011]本申请在一较佳示例中可以进一步配置为：还包括以下步骤，对加工后的目标区域的中心点特征和加工后的第二雷达目标特征进行内积计算，得到得分矩阵；所述匹配模型还包括sinkhorn优化匹配层，基于所述匹配模型，初始化回归参数，将所述回归参数放入所述得分矩阵，并经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵，并通过监督训练更新回归参数；将所述目标扩充矩阵作为匹配矩阵。
[0012]本申请在一较佳示例中可以进一步配置为：所述经过sinkhorn优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，初始化最优匹配后的每行之和及每列之和的目标常数；对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；计算所述第二扩充矩阵的每列之和，对应得到第二常数；对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵。
[0013]本申请在一较佳示例中可以进一步配置为：还包括以下步骤，求解所述匹配矩阵的每一行的最大分数值所在的列数h，并判断所述最大分数值是否大于预设阈值；若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前行数的所述图像和所述毫米波雷达目标中的第h个雷达目标匹配；若所述匹配矩阵的最大分数值小于预设阈值时，则位于当前行数的所述图像没有与之匹配的雷达目标。
[0014]第二方面，本申请提供一种基于图像特征的图像和单帧毫米波雷达目标的匹配装置。
[0015]本申请是通过以下技术方案得以实现的：一种基于图像特征的图像和单帧毫米波雷达目标的匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，包括以下步骤，基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的投影点坐标；将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征；将所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征输入至预设的匹配模型中，在所述初始雷达目标特征中额外加入雷达点信息，并进行特征提取，得到与所述目标区域的中心点特征维度一致的第一雷达目标特征；将所述目标区域的中心点特征和第一雷达目标特征进行特征再加工，得到加工后的目标区域的中心点特征和第一雷达目标特征；根据加工后的目标区域的中心点特征和加工后的第一雷达目标特征，确定所述图像与所述毫米波雷达目标之间的匹配矩阵；基于所述匹配矩阵，解析得到所述图像和所述单帧毫米波雷达目标的匹配结果。2.根据权利要求1所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，所述将所述图像输入预设的目标检测器中，获得图像的融合特征和图像的目标区域，并根据所述目标区域的中心点位置和所述毫米波雷达目标在所述图像上的投影点坐标，在所述融合特征上分别提取出所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征的步骤包括，所述目标检测器包括CSPdarknet53层、Neck层、Head层和NMS层的网络结构，CSPdarknet53层的输出端连接Neck层的输入端，Neck层的输出端连接Head层的输入端，Head层的输出端连接NMS层的输入端；将所述图像输入所述目标检测器的CSPdarknet53层，得到图像的特征金字塔，并将所述特征金字塔进行特征融合，得到融合特征；所述特征金字塔经过所述目标检测器的Neck层、Head层和NMS层，得到所述目标区域的中心点位置、宽度和高度；基于所述目标区域的中心点位置，结合所述融合特征，得到所述目标区域的中心点特征；基于所述毫米波雷达目标在所述图像上的投影点坐标，结合所述融合特征，得到所述毫米波雷达目标的初始雷达目标特征。3.根据权利要求1所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，所述匹配模型的训练过程包括，将属于真实世界的同一个目标物体的所述图像与所述单帧毫米波雷达目标一一对应，获得匹配关系；以所述目标区域的中心点特征以及所述毫米波雷达目标的初始雷达目标特征为输入，以所述图像和所述单帧毫米波雷达目标之间的匹配矩阵为输出，根据所述匹配关系对预设的匹配模型进行训练；
其中，所述匹配模型包括雷达特征融合网络、特征再加工网络和匹配矩阵生成网络；在训练时，所述雷达特征融合网络对初始雷达目标特征和额外加入的雷达信息进行融合并提取，得到与所述目标区域的中心点特征维度一致的第二雷达目标特征；所述特征再加工网络，用于将所述目标区域的中心点特征和第二雷达目标特征进行二次加工；所述匹配矩阵生成网络，用于根据加工后的目标区域的中心点特征和加工后的第二雷达目标特征生成所述图像和所述单帧毫米波雷达目标之间的匹配矩阵；在训练完毕后生成所述匹配模型。4.根据权利要求3所述的基于图像特征的图像和单帧毫米波雷达目标的匹配方法，其特征在于，还包括以下步骤，每次监督训练时，基于负对数似然函数，计算匹配模型的匹配损失；根据所述匹配损失，利用优化器优化所述匹配模型；重复上述步骤，直至匹配模型收敛，得到图像和单帧毫米波雷达目标的匹配模型；其中，所述...

【专利技术属性】
技术研发人员：杨超，刘国清，杨广，王启程，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：