目标检测方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种目标检测方法、装置、电子设备及存储介质，所述方法包括：分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；根据目标匹配结果确定融合后的目标检测结果。该技术方案能够通过融合毫米波雷达的雷达图像和图像传感器的视觉图像，降低了毫米波雷达的漏检率和虚警率，并获得了目标的位置信息以及目标类型等，提高了目标检测准确率。提高了目标检测准确率。提高了目标检测准确率。

【技术实现步骤摘要】
目标检测方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体涉及一种目标检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着人工智能和传感器技术的发展，智慧交通系统体现出巨大的优越性。智慧交通系统中，最重要的技术是目标检测技术。交通场景中的目标检测在于用一种快速、高效的方法，实时检测道路上的特定目标，获取目标的位置、类型等信息。实际交通场景中的目标检测多处于复杂背景环境中，因此，该项技术的实现对感知设备性能提出了较高的要求。
[0003]目前应用于路侧目标检测的感知设备主要包括图像传感器、毫米波雷达、激光雷达等。图像传感器具有分辨率高、速度快、传递信息丰富、成本低等优势，依赖深度学习对复杂数据的强大处理能力，可以极大提高环境感知分类能力；毫米波雷达具有反应速度快、操作简单、无视遮挡等优势，并且能在多种环境条件下提供目标的有效位置和速度；激光雷达具备精确3D感知能力、对光线变化不敏感、信息丰富等优势。
[0004]在进行目标识别和轨迹跟踪任务时，使用单传感器检测存在以下不足之处：
[0005](1)激光雷达价格昂贵，在实际制造中会大大增加感知设备的制造成本；
[0006](2)图像传感器获取的图像数据只包含二维信息，无法提供准确的三维空间信息，在实际中难以对检测目标进行距离估计；
[0007](3)毫米波雷达检测的分辨率和精度较低，无法准确识别目标类型。
[0008]为了降低制造成本，并克服单一传感器存在的上述各种问题，毫米波雷达与视觉融合感知技术得到了广泛的研究和应用。在众多融合感知技术中，决策融合是一种实现简单、计算复杂度低的融合技术，实际中采用决策融合的方式可以极大降低计算开销和对设备处理性能的要求。

技术实现思路

[0009]本公开实施例提供一种目标检测方法、装置、电子设备及计算机可读存储介质。
[0010]第一方面，本公开实施例中提供了一种目标检测方法，其中，包括：
[0011]分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；
[0012]将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；
[0013]针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；
[0014]根据目标匹配结果确定融合后的目标检测结果。
[0015]进一步地，所述方法还包括：
[0016]利用所述毫米波雷达采集目标空间区域中的雷达数据以及利用图像传感器采集所述目标空间区域中的视觉数据；
[0017]对所述雷达数据进行处理获得所述第一目标数据，以及利用预先训练的神经网络模型对所述视觉数据进行处理获得所述第二目标数据。
[0018]进一步地，将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐，包括：
[0019]利用预先标定的所述图像传感器的内参、所述图像传感器与所述毫米波雷达的外参将所述第一目标数据中的目标空间位置投影到所述第二目标数据中的目标空间位置所在的图像平面；和/或，
[0020]以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据。
[0021]进一步地，以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据，包括：
[0022]确定所述第二目标数据对应的采集时间；
[0023]获取所述采集时间前后所采集到的两帧雷达图像对应的两组所述第一目标数据；
[0024]利用两组所述第一目标数据进行线性插值得到所述采集时间处对应的所述时间对齐目标数据。
[0025]进一步地，针对时间和空间上均对齐的第一帧和的第二帧进行目标匹配，包括：
[0026]计算时间和空间对齐的所述第一目标数据和第二目标数据中两两目标之间的最小交点值；所述最小交点值为两目标相交面积与所述两目标中的较小面积之比；
[0027]将所述最小交点值大于预设阈值的两目标确定为相匹配的目标。
[0028]进一步地，根据目标匹配结果确定融合后的目标检测结果，包括：
[0029]将相匹配的目标对应的所述第一目标数据和所述第二目标数据加入融合之后的所述目标检测结果中；
[0030]对于第一目标数据中存在而第二目标数据中不存在的待恢复目标，进行毫米波漏检恢复，并将所述待恢复目标对应的第一目标数据以及恢复得到的第二目标数据加入融合之后的所述目标检测结果中。
[0031]进一步地，对于第一目标数据中存在而第二目标数据中不存在的待恢复目标，进行毫米波漏检恢复，包括：
[0032]从所述目标检测结果中选定其中一个目标作为参考目标，根据所述参考目标的底边的图像像素坐标推算出所述参考目标的底边的空间位置坐标；
[0033]假设所述待恢复目标与所述参考目标位于同一地平面的情况下，基于所述参考目标的底边的空间位置坐标以及所述待恢复目标的图像像素坐标推算出所述待恢复目标的空间位置坐标。
[0034]第二方面，本公开实施例中提供了一种目标检测装置，其中，包括：
[0035]获取模块，被配置为分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；
[0036]对齐模块，被配置为将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；
[0037]匹配模块，被配置为针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；
[0038]确定模块，被配置为根据目标匹配结果确定融合后的目标检测结果。
[0039]所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
[0040]在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述任一方面中的所述方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。
[0041]第三方面，本公开实施例提供了一种目标检测系统，其中，包括：毫米波雷达、图像传感器以及处理设备；其中，
[0042]所述毫米波雷达用于采集目标空间区域中的雷达数据，并将所述雷达数据传送至所述处理设备；
[0043]所述图像传感器用于采集目标空间区域中的视觉数据，并将所述视觉数据传送至所述处理设备；
[0044]所述处理设备对所述雷达数据进行处理获得第一目标数据，并对所述视觉数据进行处理获得第二目标数据；
[0045]所述处理设备还将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐，并针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配，以及根据目标匹配结果确定融合后的目标检测结果。
[0046]第四方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其中，包括：分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；根据目标匹配结果确定融合后的目标检测结果。2.根据权利要求1所述的方法，其中，将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐，包括：利用预先标定的所述图像传感器的内参、所述图像传感器与所述毫米波雷达的外参将所述第一目标数据中的目标空间位置投影到所述第二目标数据中的目标空间位置所在的图像平面；和/或，以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据。3.根据权利要求2所述的方法，其中，以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据，包括：确定所述第二目标数据对应的采集时间；获取所述采集时间前后所采集到的两帧雷达图像对应的两组所述第一目标数据；利用两组所述第一目标数据进行线性插值得到所述采集时间处对应的所述时间对齐目标数据。4.根据权利要求1
‑
3任一项所述的方法，其中，针对时间和空间上均对齐的第一帧和的第二帧进行目标匹配，包括：计算时间和空间对齐的所述第一目标数据和第二目标数据中两两目标之间的最小交点值；所述最小交点值为两目标相交面积与所述两目标中的较小面积之比；将所述最小交点值大于预设阈值的两目标确定为相匹配的目标。5.根据权利要求1
‑
3任一项所述的方法，其中，根据目标匹配结果确定融合后的目标检测结果，包括：将相匹配的目标对应的所述第一目标数据和所述第二目标数据加入融合之后的所述目标检测结果中；对于第一目标数据中存在而第二目标数据中不存在的待恢复目标，进行毫米波漏检恢复，并将所述待恢复目标对应的第一目标数据以及恢复得到的第二目标数据...

【专利技术属性】
技术研发人员：温向明，邓家寅，路兆铭，王鲁晗，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：