一种三维物体检测方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术公开了一种三维物体检测方法、装置、计算机设备和存储介质，该方法包括：获取与待检测区域匹配的目标识别图像和点云数据，并根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图；获取与所述目标识别图像对应的图像二维物体边框图，以及与所述鸟瞰图对应的点云二维物体边框图；获取与图像二维物体边框图对应的三维物体边框图，并生成与所述三维物体边框图匹配的鸟瞰投影图；将所述鸟瞰投影图与所述点云二维物体边框图进行匹配，并根据匹配结果，对三维物体边框图进行更新，得到与所述待检测区域匹配的三维物体检测结果。使用本发明专利技术的技术方案，可以实现快速、全面、准确地检测图像中的三维物体。

【技术实现步骤摘要】
一种三维物体检测方法、装置、计算机设备和存储介质
本专利技术实施例涉及图像处理技术，尤其涉及一种三维物体检测方法、装置、计算机设备和存储介质。
技术介绍
三维物体的检测是计算机视觉技术中的一个重要研究领域，可以广泛应用于智能汽车、智能交通以及智能视频监控等领域。现有技术中，研究者通常采用图像和激光雷达点云融合的方式，检测图像中的三维物体。专利技术人在实现本专利技术的过程中，发现现有技术存在以下缺陷：采用根据激光雷达点云生成鸟瞰图和前视图，在鸟瞰图上获取三维物体候选框，再对三维物体候选框投射到鸟瞰图、前视图和图像平面的特征进行深度融合的方式，时间复杂度较高，检测速度较慢；采用对图像和激光雷达点云生成的鸟瞰图进行特征融合生成三维物体候选框，再对三维物体候选框进行边框回归和分类的方式，物体的检测精度较低；采用根据图像生成二维物体边界框，提取二维边界框内的点云，再进行实例分割和边框回归的方式，检测速度较慢，并且容易产生漏检的情况。
技术实现思路
本专利技术实施例提供一种三维物体检测方法、装置、计算机设备和存储介质，以实现快速、全面、准确地检测图像中的三维物体。第一方面，本专利技术实施例提供了一种三维物体检测方法，该方法包括：获取与待检测区域匹配的目标识别图像和点云数据，并根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图；获取与所述目标识别图像对应的图像二维物体边框图，以及与所述鸟瞰图对应的点云二维物体边框图；获取与图像二维物体边框图对应的三维物体边框图，并生成与所述三维物体边框图匹配的鸟瞰投影图；将所述鸟瞰投影图与所述点云二维物体边框图进行匹配，并根据匹配结果，对三维物体边框图进行更新，得到与所述待检测区域匹配的三维物体检测结果。第二方面，本专利技术实施例还提供了一种三维物体检测装置，该装置包括：图像获取模块，用于获取与待检测区域匹配的目标识别图像和点云数据，并根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图；二维物体边框图获取模块，用于获取与所述目标识别图像对应的图像二维物体边框图，以及与所述鸟瞰图对应的点云二维物体边框图；鸟瞰投影图生成模块，用于获取与图像二维物体边框图对应的三维物体边框图，并生成与所述三维物体边框图匹配的鸟瞰投影图；三维物体检测结果获取模块，用于将所述鸟瞰投影图与所述点云二维物体边框图进行匹配，并根据匹配结果，对三维物体边框图进行更新，得到与所述待检测区域匹配的三维物体检测结果。第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的三维物体检测方法。第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本专利技术实施例中任一所述的三维物体检测方法。本专利技术实施例通过获取待检测区域的目标识别图像，和根据待检测区域的点云数据生成的鸟瞰图，生成图像二维物体边框图和点云二维物体边框图，根据图像二维物体边框图获取三维物体边框图，并将三维物体边框图的鸟瞰投影图与点云二维物体边框图匹配，根据匹配结果更新三维物体边框图，得到与待检测区域匹配的三维物体检测结果。解决了现有技术中的三维物体检测方法，时间复杂度较高，检测速度较慢的问题，以及检测精度较低，容易产生漏检的问题，实现了快速、全面、准确地检测图像中的三维物体的效果。附图说明图1a是本专利技术实施例一中的一种三维物体检测方法的流程图；图1b是适用于本专利技术实施例中的一种图像二维物体边框图的示意图；图1c是适用于本专利技术实施例中的一种点云二维物体边框图的示意图；图1d是适用于本专利技术实施例中的一种三维物体边框图的结构示意图；图2a是本专利技术实施例二中的一种三维物体检测方法的流程图；图2b是本专利技术具体适用场景一中的一种三维物体检测方法的流程图；图3是本专利技术实施例三中的一种三维物体检测装置的结构示意图；图4是本专利技术实施例四中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1a是本专利技术实施例一提供的一种三维物体检测方法的流程图，本实施例可适用于检测待检测区域内的三维物体的情况，该方法可以由三维物体检测装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备中，典型的，该计算机设备可以装载在智能汽车中，并与车载激光雷达配合使用。如图1a所示，本专利技术实施例的技术方案，具体包括如下步骤：S110、获取与待检测区域匹配的目标识别图像和点云数据，并根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图。其中，待检测区域是需要进行三维物体检测的区域，在本专利技术实施例中，待检测区域可以是智能汽车行驶过程中的前方区域。目标识别图像是待检测区域的平面图像，目标识别图像可以通过车载拍摄装置获取，但本实施例对目标识别图像的来源不进行限制。点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以x、y、z三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。在本专利技术实施例中，点云数据是待检测区域内多个点的坐标，点云数据可以通过激光雷达获取，但本实施例对点云数据的获取方式不进行限制。鸟瞰图是将待检测区域的点云投影到鸟瞰平面得到的图像。在本专利技术一个可选的实施例中，根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图，可以包括：根据所述点云数据生成点云鸟瞰投影图；对所述点云鸟瞰投影图进行栅格化，并对栅格化后的点云鸟瞰投影图进行高度层、密度层以及反射强度层编码，获得鸟瞰图。其中，点云鸟瞰投影图是将点云数据对应的点云投影到鸟瞰平面生成的图像。栅格化是指将向量图形转换成位图的过程，在本专利技术实施例中，栅格化是指将点云鸟瞰投影图转换为包含多个单元格的图像的过程，示例性的，可以以0.1米/pixel的分辨率对点云鸟瞰投影图进行栅格化。高度层体现点云中各点的高度，密度层体现点云中点的密度分布，反射强度层体现点云中点的反射率，进行高度层、密度层以及反射强度层编码的目的，是用于获取二维物体边框对应的物体的朝向角。S120、获取与所述目标识别图像对应的图像二维物体边框图，以及与所述鸟瞰图对应的点云二维物体边框图。其中，图像二维物体边框图是根据目标识别图像生成的，包含若干二维物体边框的图像，二维物体边框用于框出目标识别图像中的物体。点云二维物体边框图是根据鸟瞰图生成的，包含若干二维物体边框的图像，二维物体边框用于框出鸟瞰图中的物体。示例性的，图1b提供了一种图像二维物体边框图的示意图，如图1b所示，图像二维物体边框图包括若干二维物体边框，并标示了二维物体边框本文档来自技高网...

【技术保护点】
1.一种三维物体检测方法，其特征在于，包括：/n获取与待检测区域匹配的目标识别图像和点云数据，并根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图；/n获取与所述目标识别图像对应的图像二维物体边框图，以及与所述鸟瞰图对应的点云二维物体边框图；/n获取与图像二维物体边框图对应的三维物体边框图，并生成与所述三维物体边框图匹配的鸟瞰投影图；/n将所述鸟瞰投影图与所述点云二维物体边框图进行匹配，并根据匹配结果，对三维物体边框图进行更新，得到与所述待检测区域匹配的三维物体检测结果。/n

【技术特征摘要】
1.一种三维物体检测方法，其特征在于，包括：
获取与待检测区域匹配的目标识别图像和点云数据，并根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图；
获取与所述目标识别图像对应的图像二维物体边框图，以及与所述鸟瞰图对应的点云二维物体边框图；
获取与图像二维物体边框图对应的三维物体边框图，并生成与所述三维物体边框图匹配的鸟瞰投影图；
将所述鸟瞰投影图与所述点云二维物体边框图进行匹配，并根据匹配结果，对三维物体边框图进行更新，得到与所述待检测区域匹配的三维物体检测结果。


2.根据权利要求1所述的方法，其特征在于，根据所述点云数据，生成与所述待检测区域匹配的鸟瞰图，包括：
根据所述点云数据生成点云鸟瞰投影图；
对所述点云鸟瞰投影图进行栅格化，并对栅格化后的点云鸟瞰投影图进行高度层、密度层以及反射强度层编码，获得鸟瞰图。


3.根据权利要求2所述的方法，其特征在于，对栅格化后的点云鸟瞰投影图进行高度层、密度层以及反射强度层编码，包括：
获取目标单元格中各点的点云数据的最高值，并对所述最高值进行归一化处理，获得与目标单元格匹配的高度层信息；
将目标单元格中点的数量作为与目标单元格匹配的密度层信息；
获取目标单元格的各点中高度值最大的目标点，并将所述目标点的反射率值作为反射强度层信息；
根据所述高度层信息、所述密度层信息以及所述反射强度层信息，对栅格化后的点云鸟瞰投影图进行编码。


4.根据权利要求1所述的方法，其特征在于，获取与所述目标识别图像对应的图像二维物体边框图，以及与所述鸟瞰图对应的点云二维物体边框图，包括：
将目标识别图像输入至预先训练的图像目标检测模型中，并获取图像目标检测模型输出的图像二维物体边框图；
将鸟瞰图输入至预先训练的鸟瞰图目标检测模型中，并获取鸟瞰图目标检测模型输出的点云二维物体边框图。


5.根据权利要求4所述的方法，其特征在于，图像二维物体边框图和点云二维物体边框图中分别包括至少一个二维物体边框，以及与各二维物体边框对应的边框参数和类别；
图像二维物体边框图对应的边框参数包括以下至少一项：边框中心坐标、边框高度以及边框宽度，点云二维物体边框图对应的边框参数包括以下至少一项：边框中心坐标、边框高度、边框宽度以及朝向...

【专利技术属性】
技术研发人员：高延熹，吕颖，杨化伟，庞竹吟，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：吉林;22