单目3D目标检测方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种单目3D目标检测方法、装置、电子设备和存储介质，包括：获取待检测图像；将待检测图像输入目标检测模型中，得到待检测图像中目标的检测数据，检测数据包括目标的深度补偿值、3D尺寸补偿值、3D角度、目标在待检测图像中的2D检测框以及类别；根据目标的检测数据、预设的背景深度图、以及预设的3D平均尺寸生成目标的3D检测框，以作为3D目标检测结果。目标检测模型无需直接回归目标的深度，使得目标检测模型训练简单、稳定性高，预测的数据准确，并且能够预测目标的3D角度，对单目相机的安装角度无要求，单目相机可以应用于各种安装位置需求。安装位置需求。安装位置需求。

【技术实现步骤摘要】
单目3D目标检测方法、装置、电子设备和存储介质


[0001]本专利技术涉及图像识别
，尤其涉及一种单目3D目标检测方法、装置、电子设备和存储介质。

技术介绍

[0002]随着自动驾驶技术的迅速发展，视觉感知在自动驾驶领域的需求也越来越高，传统用于自动驾驶的3D目标检测多为视觉激光结合、激光感知或双目目标检测等。
[0003]但是由于激光雷达价格比较昂贵，导致一些算法不适合大量推广，为了减轻造价成本以及随着神经网络算法的推出，很多单目相机的深度估计及3D检测算法也逐渐推出，但是效果都不太理想，不适合实际应用落地，比如目前基于单目相机的3D目标检测通常要求单目相机安装后光心与地面平行，并且通过神经网络直接回归目标的深度值，导致网络训练慢和目标检测效果不佳，无法应用到自动驾驶技术中。

技术实现思路

[0004]本专利技术提供了一种单目3D目标检测方法、装置、电子设备和存储介质，以解决目前单目3D目标检测对单目相机安装有要求，并且网络训练慢和检测效果不佳的问题。
[0005]第一方面，本专利技术提供了一种单目3D目标检测方法，包括：
[0006]获取待检测图像，所述待检测图像为单目相机对检测区域所采集的图像；
[0007]将所述待检测图像输入目标检测模型中，得到所述待检测图像中目标的检测数据，所述检测数据包括所述目标的深度补偿值、3D尺寸补偿值、3D角度、所述目标在所述待检测图像中的2D检测框以及类别；
[0008]根据所述目标的所述检测数据、预设的背景深度图、以及预设的3D平均尺寸生成所述目标的3D检测框，以作为3D目标检测结果。
[0009]第二方面，本专利技术提供了一种单目3D目标检测装置，包括：
[0010]待检测图像获取模块，用于获取待检测图像，所述待检测图像为单目相机对检测区域所采集的图像；
[0011]检测数据获取模块，用于将所述待检测图像输入目标检测模型中，得到所述待检测图像中目标的检测数据，所述检测数据包括所述目标的深度补偿值、3D尺寸补偿值、3D角度、所述目标在所述待检测图像中的2D检测框以及类别；
[0012]3D检测框生成模块，用于根据所述目标的所述检测数据、预设的背景深度图、以及预设的3D平均尺寸生成所述目标的3D检测框，以作为3D目标检测结果。
[0013]第三方面，本专利技术提供了一种电子设备，所述电子设备包括：
[0014]至少一个处理器；以及
[0015]与所述至少一个处理器通信连接的存储器；其中，
[0016]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术第一方面所述的单
目3D目标检测方法。
[0017]第四方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术第一方面所述的单目3D目标检测方法。
[0018]本专利技术获取单目相机对检测区域所采集的待检测图像后，将待检测图像输入目标检测模型中，得到待检测图像中目标的检测数据，其中，检测数据包括目标的深度补偿值、3D尺寸补偿值、3D角度、目标在待检测图像中的2D检测框以及类别，然后通过目标的上述检测数据、预设的背景深度图、以及预设的3D平均尺寸生成目标的3D检测框，以作为3D目标检测结果，本专利技术的通过目标检测模型预测目标的深度补偿值、3D尺寸补偿值、3D角度、目标在待检测图像中的2D检测框以及类别，并通过预测的数据结合预设的背景深度图、以及预设的3D平均尺寸生成目标的3D检测框，目标检测模型无需直接回归目标的深度，使得目标检测模型训练简单，目标检测模型稳定性高，预测的数据准确，并且能够预测目标的3D角度，对单目相机的安装角度无要求，单目相机可以应用于各种安装位置需求。
[0019]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例一提供的一种单目3D目标检测方法的流程图；
[0022]图2A是本专利技术实施例二提供的一种单目3D目标检测方法的流程图；
[0023]图2B为本专利技术实施例的目标检测场景的示意图；
[0024]图3是本专利技术实施例三提供的一种单目3D目标检测装置的结构示意图；
[0025]图4是本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0026]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0027]实施例一
[0028]图1为本专利技术实施例一提供的一种单目3D目标检测方法的流程图，本实施例可适用于检测目标并输出目标的3D数据的情况，该方法可以由单目3D目标检测装置来执行，该单目3D目标检测装置可以采用硬件和/或软件的形式实现，该单目3D目标检测装置可配置于电子设备中，如配置在与自动驾驶车辆通信的后台服务器等。如图1所示，该单目3D目标检测方法包括：
[0029]S101、获取待检测图像，待检测图像为单目相机对检测区域所采集的图像。
[0030]本实施例中，单目相机可以是设置有一个摄像头的相机，该摄像头可以是RGB摄像头，单目相机可以安装在路侧设备上，示例性地，可以安装在自动驾驶系统的路侧设备的支撑杆上，以在距离地面一定高度的位置采集图像，其中，检测区域可以是指自动驾驶中所关注的道路的区域，如路口区域等。
[0031]路侧的单目相机采集到图像后，可以将图像传输到后台服务器，后台服务器可以获取到单目相机实时采集的图像，并将当前所接收到的图像确定为待检测图像，以通过该待检测图像检测出目标相对于单目相机的3D数据，比如检测出目标相对于单目相机的三维坐标、外形尺寸、方向等，其中，目标可以是行人、车辆等。
[0032]S102、将待检测图像输入目标检测模型中，得到待检测图像中目标的检测数据，检测数据包括目标的深度补偿值、3D尺寸补偿值、3D角度、目标在待检测图像中的2D检测框以及类别。
[0033]本实施例中，目标检测模型包括特征提取网络、2D检测框提取网络、3D角度提取网络、深度补偿值提取网络以及3D尺寸补偿值提取网络，特征提取网络的输出端分别与2D检测框提取网络、3D角度提取网络、深度补偿值提取网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目3D目标检测方法，其特征在于，包括：获取待检测图像，所述待检测图像为单目相机对检测区域所采集的图像；将所述待检测图像输入目标检测模型中，得到所述待检测图像中目标的检测数据，所述检测数据包括所述目标的深度补偿值、3D尺寸补偿值、3D角度、所述目标在所述待检测图像中的2D检测框以及类别；根据所述目标的所述检测数据、预设的背景深度图、以及预设的3D平均尺寸生成所述目标的3D检测框，以作为3D目标检测结果。2.如权利要求1所述的单目3D目标检测方法，其特征在于，所述目标检测模型包括特征提取网络、2D检测框提取网络、3D角度提取网络、深度补偿值提取网络以及3D尺寸补偿值提取网络，所述特征提取网络的输出端分别与所述2D检测框提取网络、3D角度提取网络、深度补偿值提取网络以及3D尺寸补偿值提取网络的输入端连接。3.如权利要求1所述的方法，其特征在于，在将所述待检测图像输入目标检测模型中，得到所述待检测图像中目标的检测数据之前，还包括：对所述待检测图像进行裁剪，得到裁剪后的待检测图像。4.如权利要求2所述的单目3D目标检测方法，其特征在于，所述将所述待检测图像输入目标检测模型中，得到所述待检测图像中目标的检测数据，包括：将所述待检测图像输入所述特征提取网络得到图像特征；将所述图像特征分别输入所述2D检测框提取网络、3D角度提取网络、深度补偿值提取网络以及3D尺寸补偿值，得到目标的2D检测框和类别、3D角度、深度补偿值以及3D尺寸补偿值。5.如权利要求1所述的单目3D目标检测方法，其特征在于，所述根据所述目标的所述检测数据、预设的背景深度图以及预设的3D平均尺寸生成所述目标的3D检测框，以作为3D目标检测结果，包括：确定与所述类别匹配的3D平均尺寸，并计算所述3D平均尺寸与所述3D尺寸补偿值的和值，得到所述目标的3D尺寸；在预设的背景深度图中确定所述2D检测框的中心对应的目标像素，并从所述背景深度图中获取所述目标像素关联的深度值，其中，所述预设的深度图像为所述单目相机标定后对所述检测区域采集图像所得到的、以所述检测区域的路面为背景的深度图像；计算所述深度值与所述深度补偿值的和值，得到所述目标的深度值；采用所述单目相机的标定参数将所述2D检测框的中心位置...

【专利技术属性】
技术研发人员：吴家豪，赖志林，杨晓东，
申请(专利权)人：广州赛特智能科技有限公司，
类型：发明
国别省市：