本申请公开了一种基于雷达和影像的目标融合方法、装置、设备及存储介质，雷达与影像分别用于获取同一外部场景的雷达数据和图像数据，方法包括根据第一预设算法对图像数据进行目标检测，得到具有检测框的图像布局；根据第二预设算法对雷达数据进行目标检测，得到雷达点数据；通过单应性矩阵将雷达点数据映射至图像布局；根据第三预设算法融合检测框和雷达点数据，得到基于图像布局的识别目标。本申请相比于其他算法的计算步骤较少，减少了中间过程的误差引入，提高了融合精度，使得最终的融合效果较好，且算法均为自适应算法，不用设置绝对静止阈值，避免了因为阈值设置不正确导致最终融合结果误差较大。终融合结果误差较大。终融合结果误差较大。
【技术实现步骤摘要】
基于雷达和影像的目标融合方法、装置、设备及存储介质
[0001]本申请涉及目标检测
，尤其涉及一种基于雷达和影像的目标融合方法、装置、设备及存储介质。
技术介绍
[0002]随着各种工程机械电子化和智能化的发展，传感器的应用也越来越广泛，摄像头和毫米波雷达作为感知周围环境的重要手段，已成为业界公认的主流选择。摄像头成本低、功耗小，能够进行高级别的目标检测和图像处理功能，但受光照、天气和图像质量等因素影响较大。毫米波雷达对环境适应性强，能够在恶劣的天气和光照条件下正常工作，同时性能稳定、功耗低，但空间分辨率相对较低。两种传感器各有优点，也互为补充，将两种传感器数据融合才能使得环境感知更加精准。
[0003]中国专利“基于固定距离的毫米波雷达与视频数据融合方法”(专利申请号：202010137014.3)公开了一种基于固定距离的毫米波雷达与视频数据融合方法，该方法根据毫米波雷达与视频采集器的固定间隔，将毫米波雷达探测到的目标数据从毫米波雷达直角坐标中转换为摄像头坐标系，通过成像原理将目标数据从摄像头坐标系转换到图像坐标系中，通过视频采集器内部参数标定将目标数据从图像坐标系转换到像素坐标系，实现毫米波雷达数据转换为视频数据。中国专利“一种车辆毫米波雷达和摄像头的目标融合方法和装置”(专利申请号：201910075572.9)公开了该方法首先获取毫米波雷达传感器探测到的目标物及摄像头探测到的目标物信息；若两传感器目标点之间的距离小于预设阈值，则认为两目标点是同一目标物；将毫米波雷达探测到的该目标物的距离和速度、摄像头探测到的该目标物的类别和横向位置组合作为该目标物的目标级数据信息。中国专利“一种基于毫米波雷达和视频融合的车辆检测方法”(专利申请号：202111473173.1)公开了该方法利用毫米波雷达检测目标车辆的速度、距离、角度信息，摄像头检测目标车辆的位置和类型，然后在时间和空间上将毫米波雷达和摄像头完成对准，得到最终的车辆检测结果。
[0004]上述方法处理步骤较多，需要多个阶段的配准，导致每个阶段的误差持续积累放大，导致最终的融合效果准确度较低。
技术实现思路
[0005]本申请的主要目的在于提供一种基于雷达和影像的目标融合方法、装置、设备及存储介质，以解决现有技术中处理步骤较多，需要多个阶段的配准，导致每个阶段的误差持续积累放大，导致最终的融合效果准确度较低的问题。
[0006]为实现上述目的，本申请提供如下技术方案：
[0007]一种基于雷达和影像的目标融合方法，所述雷达与所述影像分别用于获取同一外部场景的雷达数据和图像数据，所述融合方法包括：
[0008]根据第一预设算法对所述图像数据进行目标检测，得到具有检测框的图像布局；
[0009]根据第二预设算法对所述雷达数据进行目标检测，得到雷达点数据；
[0010]通过单应性矩阵将所述雷达点数据映射至所述图像布局；
[0011]根据第三预设算法融合所述检测框和所述雷达点数据，得到基于所述图像布局的识别目标。
[0012]作为本申请的进一步改进，根据第一预设算法对所述图像数据进行目标检测，得到具有检测框的图像布局，包括：
[0013]将所述图像数据平均划分为第一预设个数的栅格；
[0014]基于每个栅格的分别预测第二预设个数的边界框；
[0015]分别获取每个边界框的置信度并在所有置信度中获取置信度最高的边界框作为最优检测框；
[0016]计算所述最优检测框分别与每个边界框的交并比；
[0017]删除交并比大于所述第一预设阈值的边界框，保留置信度最高的边界框即为所述检测框。
[0018]作为本申请的进一步改进，删除交并比大于所述第一预设阈值的边界框，保留置信度最高的边界框即为所述检测框，之后，包括：
[0019]通过所述第一预设算法定义所述检测框的训练模型；
[0020]基于预设数据集对所述训练模型进行神经网络训练，通过反向传播算法以第一预设次数迭代调整所述训练模型的权重和偏置，以使所述训练模型的损失函数的值减小；
[0021]基于训练完成的训练模型更新所述检测框，以获得最终检测框。
[0022]作为本申请的进一步改进，根据第二预设算法对所述雷达数据进行目标检测，得到雷达点数据，包括：
[0023]通过所述雷达发射第一电磁波至同一外部场景；
[0024]获取来自同一外部场景反射的第二电磁波采集同一外部场景的第一雷达信息；
[0025]删除所述第一雷达信息中目标距离超过第三预设阈值的目标，得到所述雷达点数据。
[0026]作为本申请的进一步改进，通过单应性矩阵将所述雷达点数据映射至所述图像布局，包括：
[0027]通过所述雷达重复第二预设次数发射所述第一电磁波至同一外部场景中的同一个目标，以得到数量与所述第二预设次数相匹配的若干个第二雷达信息；
[0028]基于若干个第二雷达信息根据式(1)的映射关系定义所述单应性矩阵H：
[0029][0030]其中，u和v为同一个目标的位置信息，x和y为同一个目标在所述图像数据中的像素坐标值，H为所述单应性矩阵，且
[0031]求解所述单应性矩阵得到像素坐标系与同一外部场景的世界坐标系相吻合的所
有雷达点；
[0032]在所述图像布局中输出所有雷达点。
[0033]作为本申请的进一步改进，在所述图像布局中输出所有雷达点，之后，包括：
[0034]分别获取位于每个最终检测框中的雷达点的第一数量，分别判断每个第一数量是否有且仅有一个；
[0035]若否，则通过第四预设算法对所有雷达点进行滤波，以删除所有雷达点中的离群点；
[0036]获取滤波后的雷达点并根据预设权重系数计算得到最终雷达点；
[0037]在所述图像布局中输出所有最终雷达点。
[0038]作为本申请的进一步改进，分别获取位于每个最终检测框中的雷达点的第一数量，分别判断每个第一数量是否有且仅有一个，之后，包括：
[0039]若否，则获取所述第一数量为零的最终检测框并根据预设比例分别扩容以形成扩展框；
[0040]基于同一个扩展框获取距离当前的扩展框的中点最近的雷达点并作为所述最终雷达点；
[0041]在所述图像布局中输出所有雷达点。
[0042]为实现上述目的，本申请还提供了如下技术方案：
[0043]一种基于雷达和影像的目标融合装置，所述基于雷达和影像的目标融合装置应用于如上述的基于雷达和影像的目标融合方法，所述基于雷达和影像的目标融合装置包括：
[0044]图像布局获取模块，用于根据第一预设算法对所述图像数据进行目标检测，得到具有检测框的图像布局；
[0045]雷达点数据获取模块，用于根据第二预设算法对所述雷达数据进行目标检测，得到雷达点数据；
[0046]雷达点数据映射模块，用于通过单应性矩阵将所述雷达点数据映射至所述图像布局；
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于雷达和影像的目标融合方法，所述雷达与所述影像分别用于获取同一外部场景的雷达数据和图像数据，其特征在于，所述融合方法包括：根据第一预设算法对所述图像数据进行目标检测，得到具有检测框的图像布局；根据第二预设算法对所述雷达数据进行目标检测，得到雷达点数据；通过单应性矩阵将所述雷达点数据映射至所述图像布局；根据第三预设算法融合所述检测框和所述雷达点数据，得到基于所述图像布局的识别目标。2.根据权利要求1所述的基于雷达和影像的目标融合方法，其特征在于，根据第一预设算法对所述图像数据进行目标检测，得到具有检测框的图像布局，包括：将所述图像数据平均划分为第一预设个数的栅格；基于每个栅格的分别预测第二预设个数的边界框；分别获取每个边界框的置信度并在所有置信度中获取置信度最高的边界框作为最优检测框；计算所述最优检测框分别与每个边界框的交并比；删除交并比大于所述第一预设阈值的边界框，保留置信度最高的边界框即为所述检测框。3.根据权利要求2所述的基于雷达和影像的目标融合方法，其特征在于，删除交并比大于所述第一预设阈值的边界框，保留置信度最高的边界框即为所述检测框，之后，包括：通过所述第一预设算法定义所述检测框的训练模型；基于预设数据集对所述训练模型进行神经网络训练，通过反向传播算法以第一预设次数迭代调整所述训练模型的权重和偏置，以使所述训练模型的损失函数的值减小；基于训练完成的训练模型更新所述检测框，以获得最终检测框。4.根据权利要求3所述的基于雷达和影像的目标融合方法，其特征在于，根据第二预设算法对所述雷达数据进行目标检测，得到雷达点数据，包括：通过所述雷达发射第一电磁波至同一外部场景；获取来自同一外部场景反射的第二电磁波采集同一外部场景的第一雷达信息；删除所述第一雷达信息中目标距离超过第三预设阈值的目标，得到所述雷达点数据。5.根据权利要求4所述的基于雷达和影像的目标融合方法，其特征在于，通过单应性矩阵将所述雷达点数据映射至所述图像布局，包括：通过所述雷达重复第二预设次数发射所述第一电磁波至同一外部场景中的同一个目标，以得到数量与所述第二预设次数相匹配的若干个第二雷达信息；基于若干个第二雷达信息根据式(1)的映射关系定义所述单应性矩阵H：其中，u和...
【专利技术属性】
技术研发人员：李海鹏，陈亚军，赵昕，张礼兵，赵继丹，赵志勇，梁礼绘，
申请(专利权)人：中国电建集团昆明勘测设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。