一种三维检测方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种三维检测方法、装置、电子设备及存储介质，涉及人工智能领域，尤其涉及智能交通领域、自动驾驶领域、智慧停车领域等。具体实现方案为：对原始图像进行目标检测，得到目标物体的第一参数集合，该第一参数集合中包括该目标物体的类别、该目标物体在三维坐标系中的第一坐标轴上的坐标值、该目标物体在三维坐标系中的第二坐标轴上的坐标值、该目标物体的尺寸和该目标物体的角度中的至少之一；对该原始图像进行深度检测，得到该原始图像中各个像素的深度；利用该原始图像中各个像素的深度，确定该目标物体的深度；以及，将该第一参数集合和该目标物体的深度进行组合，以得到该目标物体的三维检测参数。本公开可以对物体进行三维检测。行三维检测。行三维检测。

【技术实现步骤摘要】
一种三维检测方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能领域，尤其涉及智能交通领域、自动驾驶领域、智慧停车领域等。

技术介绍

[0002]三维检测又称为3D(Three Dimensional)检测，能够反映场景中物体的立体形状。三维检测是自动驾驶、智慧交通、智慧停车等领域必不可少的技术。

技术实现思路

[0003]本公开提供了一种三维检测方法、装置、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种三维检测方法，包括：
[0005]对原始图像进行目标检测，得到目标物体的第一参数集合，该第一参数集合中包括该目标物体的类别、该目标物体在三维坐标系中的第一坐标轴上的坐标值、该目标物体在三维坐标系中的第二坐标轴上的坐标值、该目标物体的尺寸和该目标物体的角度中的至少之一；
[0006]对该原始图像进行深度检测，得到该原始图像中各个像素的深度；利用该原始图像中各个像素的深度，确定该目标物体的深度；以及，
[0007]将该第一参数集合和该目标物体的深度进行组合，以得到该目标物体的三维检测参数。
[0008]根据本公开的另一方面，提供了一种三维检测装置，包括：
[0009]目标检测模块，用于对原始图像进行目标检测，得到目标物体的第一参数集合，该第一参数集合中包括该目标物体的类别、该目标物体在三维坐标系中的第一坐标轴上的坐标值、该目标物体在三维坐标系中的第二坐标轴上的坐标值、该目标物体的尺寸和该目标物体的角度中的至少之一；
[0010]深度检测模块，用于对该原始图像进行深度检测，得到该原始图像中各个像素的深度；利用该原始图像中各个像素的深度，确定该目标物体的深度；以及，
[0011]组合模块，用于将该第一参数集合和该目标物体的深度进行组合，以得到该目标物体的三维检测参数。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机
程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0018]本公开通过结合目标检测和深度检测的结果，可以得到原始图像中目标物体的三维检测参数。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是是可以应用本公开实施例的三维检测方法的一种系统100架构示意图；
[0022]图2是根据本公开实施例的一种三维检测方法200的实现流程图；
[0023]图3是根据本公开一实施例的三维坐标系示意图；
[0024]图4是根据本公开一实施例的目标检测模型400的示意图；
[0025]图5是根据本公开一实施例的深度检测模型500的示意图；
[0026]图6是根据本公开一实施例的三维检测方法的整体流程图；
[0027]图7A是本公开一实施例中第一区域的示意图一；
[0028]图7B是本公开一实施例中第一区域的示意图二；
[0029]图7C是本公开一实施例中第一区域的示意图三；
[0030]图7D是本公开一实施例中第一区域的示意图四；
[0031]图8是根据本公开一实施例的三维检测装置800的结构示意图；
[0032]图9是根据本公开一实施例的三维检测装置900的结构示意图；
[0033]图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。
具体实施方式
[0034]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0035]另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
[0036]相关技术中，三维检测有广泛的应用需求。三维检测用于检测场景中物体的立体形状。例如，在自动驾驶、智能交通、智慧停车等场景中，需要确定目标物体(如车辆、行人等)的立体形状和位置等信息。
[0037]目前已有的三维(3D)检测方法主要有：
[0038]1、采用激光雷达得到点云，之后利用点云数据进行3D目标检测。具体地，由激光器发射一个激光脉冲，并由计时器记录下出发射的时间，返回的激光脉冲由接收器接收，并由计时器记录下返回的时间。两个时间相减即得到了光的“飞行时间”，而光速是一定的，因此在已知速度和时间后就可以计算出距离。
[0039]2、采用双目相机进行3D检测。此方案需要对相机进行标定，得到相机的内外参。通
过对两幅图像视差的计算，直接对前方景物(图像所拍摄到的范围)进行距离测量，而无需判断前方出现的是什么类型的障碍物。双目摄像头的原理与人眼相似。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。
[0040]3、采用单目相机和深度学习算法进行3D检测。单目相机是日常常见的相机，只有一个摄像头。从原理上看，单目相机得到的是二维(Two Dimensional，2D)图像，无法得到3D视角。但是，通过有监督的深度学习算法，将单目相机拍摄的图像作为训练数据，将目标物体的三维检测参数(如3D框信息)作为标注信息，利用训练数据和标注信息对深度学习模型进行训练，可以在特定场景实现单目3D检测。当模型训练过程顺利时，理论上单目3D检测结果能无限接近激光雷达检测结果。
[0041]上述方式各有缺点：第一种方式中，激光雷达的成本高、功耗高、且故障率高。第二种方式中，需要对双目相机做大量的参数标定工作，因此需要大量的运维人员。第三种方式中，需要对用于实现3D检测的深度学习模型进行训练，训练过程复杂、需要人工标准训练样本、并且3D检测模型的运行也需要较高的时间和功耗成本。
[0042]本公开实施例提出一种三维检测方法。图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维检测方法，包括：对原始图像进行目标检测，得到目标物体的第一参数集合，所述第一参数集合中包括所述目标物体的类别、所述目标物体在三维坐标系中的第一坐标轴上的坐标值、所述目标物体在三维坐标系中的第二坐标轴上的坐标值、所述目标物体的尺寸和所述目标物体的角度中的至少之一；对所述原始图像进行深度检测，得到所述原始图像中各个像素的深度；利用所述原始图像中各个像素的深度，确定所述目标物体的深度；以及，将所述第一参数集合和所述目标物体的深度进行组合，以得到所述目标物体的三维检测参数。2.根据权利要求1所述的方法，其中，所述将所述第一参数集合和所述目标物体的深度进行组合，以得到所述目标物体的三维检测参数，包括：将所述目标物体在三维坐标系中的第一坐标轴上的坐标值、所述目标物体在三维坐标系中的第二坐标轴上的坐标值以及所述目标物体的深度进行组合，以得到所述目标物体在三维空间中的位置；将所述目标物体在三维空间中的位置、所述目标物体的类别、所述目标物体的尺寸和所述目标物体的角度中的至少之一进行组合，以得到所述目标物体的三维检测参数。3.根据权利要求1或2所述的方法，其中，所述目标物体的深度对应所述目标物体在三维坐标系中的第三坐标轴上的坐标值。4.根据权利要求1
‑
3中任一所述的方法，其中，所述利用所述原始图像中各个像素的深度，确定所述目标物体的深度，包括：确定所述原始图像中所述目标物体的目标检测框；利用所述原始图像中各个像素的深度、以及所述目标检测框，确定所述目标检测框中各个像素的深度；计算所述目标检测框中所有像素的深度平均值，将所述平均值作为所述目标物体的深度。5.根据权利要求1
‑
3中任一所述的方法，其中，所述利用所述原始图像中各个像素的深度，确定所述目标物体的深度，包括：确定所述原始图像中所述目标物体的边界；利用所述原始图像中各个像素的深度、以及所述目标物体的边界，确定所述边界限定范围内各个像素的深度；计算所述边界限定范围内所有像素的深度平均值，将所述平均值作为所述目标物体的深度。6.根据权利要求1
‑
3中任一所述的方法，其中，所述利用所述原始图像中各个像素的深度，确定所述目标物体的深度，包括：确定所述原始图像中所述目标物体的目标检测框，确定第一区域，其中，所述第一区域的中心点与所述目标检测框的中心点重合，并且所述第一区域的面积与所述目标物体的目标检测框的面积的比值大于或等于预设阈值；利用所述原始图像中各个像素的深度、所述目标检测框以及所述第一区域，确定所述第一区域中各个像素的深度；
利用所述第一区域中所有像素的深度，确定所述目标物体的深度。7.根据权利要求6所述的方法，其中，所述利用所述第一区域中所有像素的深度，确定所述目标物体的深度，包括：计算所述第一区域中所有像素的深度的平均值，将所述平均值作为所述目标物体的深度。8.根据权利要求6或7所述的方法，其中，所述目标检测框的形状为矩形；所述第一区域的形状为菱形或正方形，并且所述第一区域的4个顶点分别位于所述目标检测框的4个边的中点。9.根据权利要求6或7所述的方法，其中，所述目标检测框的形状为长方形；所述第一区域的形状为椭圆形，并且所述第一区域的4个顶点分别位于所述目标检测框的4个边的中点。10.根据权利要求6或7所述的方法，其中，所述目标检测框的形状为正方形；所述第一区域的形状为圆形，并且所述目标检测框的4个边均是所述第一区域的切线。11.根据权利要求1
‑
10中任一所述的方法，其中，所述对原始图像进行目标检测，得到目标物体的第一参数集合，包括：将所述原始图像输入预先训练的目标检测模型，得到所述目标检测模型输出的所述目标物体的第一参数集合。12.根据权利要求1
...

【专利技术属性】
技术研发人员：段由，
申请(专利权)人：北京精英路通科技有限公司，
类型：发明
国别省市：