三维目标检测方法及系统技术方案

本公开涉及三维目标检测方法及系统。该方法包括：接收来自相机的图片数据和来自雷达的点云数据，所述相机和所述雷达是针对同一目标同时进行采集的；对所述图片数据进行特征提取，以得到第一特征图；从所述点云数据中提取目标的速度和深度信息以及雷达回波的强度值，并对所提取的信息进行卷积操作以得到第二特征图，所述第二特征图具有与所述第一特征图相同的尺寸；将所述第一特征图与所述第二特征图进行融合，以得到经融合特征图；以及将所述经融合特征图送入检测头来进行三维目标检测。融合特征图送入检测头来进行三维目标检测。融合特征图送入检测头来进行三维目标检测。

【技术实现步骤摘要】
三维目标检测方法及系统
[0001]本申请要求2022年10月19日提交的、申请号为202211281727.2、专利技术名称为“三维目标检测方法及系统”的优先权。


[0002]本公开涉及三维目标检测方法及系统。

技术介绍

[0003]三维目标检测技术是自动驾驶领域中的核心技术之一，自动驾驶车辆可以规划出合理路线的前提是对周围环境的正确感知。人类驾驶员可以通过视觉观察周围路况，而自动驾驶车辆仅仅依靠相机来实现三维目标检测却是异常困难的，因此依靠更加强大的传感器来实现更可靠的检测是十分有必要的。
[0004]目前的三维目标检测方法按照模态可以大致分为三类：仅依靠相机的方法、相机和激光雷达融合的方法、以及相机和毫米波雷达融合的方法。仅仅使用相机三维目标检测效果差，不利于自动驾驶技术的实际应用。而激光雷达虽然更为精准但是部署成本过高，并且在恶劣天气下无法正常工作。而毫米波雷达成本低，并且可以全天候工作，很好地弥补了相机检测的缺陷。
[0005]但目前的毫米波雷达和相机融合方案较为简单，仅仅是将不同模态的数据拼接在一起送入神经网络，并没有充分利用不同模态间和模态内的上下文信息。目前的相机单模态检测算法表现不佳，而雷达和相机的多模态融合方法过于简单，没有考虑到模态间的上下文信息，融合效果一般，还不得不进行视锥关联过滤操作，这进一步增加了神经网络的计算负担。
[0006]本公开针对但不限于上述诸多因素进行了改进。

技术实现思路

[0007]为此，本公开提出了一种雷达相机多模态融合的三维目标检测方法及系统。由于雷达点云和相机图片之间的巨大差异，本公开的方法和系统使用神经网络中的注意力机制来自适应地根据上下文信息来习得关键特征。本公开的方法和系统利用注意力机制来自适应地习得两种模态(即雷达点云和相机图片)之间的相关性，并从雷达点云中提取出关键特征。所获得的特征数据经过融合之后，再送入回归头进行预测，解析最终得到的张量便可以在输入图像中标识出三维目标检测框，从而实现三维目标检测的目的。
[0008]根据本公开的第一方面，提供了一种三维目标检测方法，包括：接收来自相机的图片数据和来自雷达的点云数据，所述相机和所述雷达是针对同一目标同时进行采集的；对所述图片数据进行特征提取，以得到第一特征图；从所述点云数据中提取目标的速度和深度信息以及雷达回波的强度值，并对所提取的信息进行卷积操作以得到第二特征图，所述第二特征图具有与所述第一特征图相同的尺寸；将所述第一特征图与所述第二特征图进行融合，以得到经融合特征图；以及将所述经融合特征图送入检测头来进行三维目标检测。
[0009]根据一实施例，所述第一特征图是使用DLA34骨干网络来提取得到的。
[0010]根据另一实施例，所述第一特征图和所述第二特征图在融合之前经受下采样处理，并且经下采样的第一和第二特征图被改变成令牌的形式且加入位置编码以得到嵌入形式的特征图，其中所述位置编码对于所述第一特征图和所述第二特征图而言是共享的。
[0011]根据又一实施例，所述下采样是使用AvgPool来实现的四倍下采样。
[0012]根据又一实施例，将所述第一特征图与所述第二特征图进行融合包括将嵌入形式的第一特征图与嵌入形式的第二特征图相乘以得到所述经融合特征图。
[0013]根据又一实施例，将所述第一特征图与所述第二特征图进行融合还包括将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘以将得到的积作为所述经融合特征图。
[0014]根据又一实施例，该方法还包括在将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘之后：将所述积送入归一化层来进行归一化；将经归一化的积分别输入到膨胀聚合器和紧缩聚合器；将分别经过膨胀聚合器与紧缩聚合器的经归一化的积拼接在一起，并随后使用1
×
1卷积来恢复其尺寸，以得到所述经融合特征图，其中所述膨胀聚合器通过第一全连接层将经归一化的经融合特征图的特征向量的尺寸扩充四倍并随后通过第二全连接层将特征向量的尺寸恢复，所述紧缩聚合器通过第三全连接层将经归一化的经融合特征图的特征向量的尺寸压缩为1/4并随后通过第四全连接层将尺寸恢复。
[0015]根据又一实施例，在将分别经过膨胀聚合器与紧缩聚合器的经归一化的积拼接在一起并随后使用1
×
1卷积来恢复其尺寸之后：将其与所述第二特征图相加，以得到所述经融合特征图。
[0016]根据又一实施例，该方法还包括执行如下操作达预定次数：将所述经融合特征图拆分成两份分别作为新的第一特征图和新的第二特征图并重复融合操作。
[0017]根据又一实施例，所述第一特征图和所述第二特征图包括相同数目的不同尺寸的特征向量，其中所述第一特征图中的每一特征向量与所述第二特征图中的相应一个具有相同尺寸的特征向量进行融合。
[0018]根据又一实施例，不同尺寸的特征向量的融合所使用的参数是不共享的。
[0019]根据本公开的第二方面，提供了一种三维目标检测系统，包括：设置在车辆上的相机和雷达；车载计算机，其中所述相机和所述雷达被配置成针对同一目标同时进行采集以获得图片数据和点云数据并将其传送给所述车载计算机，并且其中所述车载计算机被配置成执行根据本公开的第一方面所述的方法。
[0020]根据本公开的第三方面，提供了一种包括根据本公开的第二方面所述的系统的机动车。
[0021]各方面一般包括如基本上在本文参照附图所描述并且如通过附图所解说的方法、装备、系统、计算机程序产品和处理系统。
[0022]前述内容已较宽泛地勾勒出根据本公开的示例的特征和技术优势以使下面的详细描述可以被更好地理解。附加的特征和优势将在此后描述。所公开的概念和具体示例可
容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。此类等效构造并不背离所附权利要求书的范围。本文所公开的概念的特性在其组织和操作方法两方面以及相关联的优势将因结合附图来考虑以下描述而被更好地理解。每一附图是出于解说和描述目的来提供的，且并不定义对权利要求的限定。
附图说明
[0023]为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。不同附图中的相同附图标记可标识相同或相似的元素。
[0024]图1是根据本公开的一实施例的示例三维目标检测方法的流程图；
[0025]图2是根据本公开的一实施例的示例三维目标检测系统的示意框图；
[0026]图3是根据本公开的一实施例的示例融合模块的示意性结构图；
[0027]图4是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标检测方法，包括：接收来自相机的图片数据和来自雷达的点云数据，所述相机和所述雷达是针对同一目标同时进行采集的；对所述图片数据进行特征提取，以得到第一特征图；从所述点云数据中提取目标的速度和深度信息以及雷达回波的强度值，并对所提取的信息进行卷积操作以得到第二特征图，所述第二特征图具有与所述第一特征图相同的尺寸；将所述第一特征图与所述第二特征图进行融合，以得到经融合特征图；以及将所述经融合特征图送入检测头来进行三维目标检测。2.根据权利要求1所述的方法，其特征在于，所述第一特征图是使用DLA34骨干网络来提取得到的。3.根据权利要求1所述的方法，其特征在于，所述第一特征图和所述第二特征图在融合之前经受下采样处理，并且经下采样的第一和第二特征图被改变成令牌的形式且加入位置编码以得到嵌入形式的特征图，其中所述位置编码对于所述第一特征图和所述第二特征图而言是共享的。4.根据权利要求3所述的方法，其特征在于，所述下采样是使用AvgPool来实现的四倍下采样。5.根据权利要求4所述的方法，其特征在于，将所述第一特征图与所述第二特征图进行融合包括将嵌入形式的第一特征图与嵌入形式的第二特征图相乘以得到所述经融合特征图。6.根据权利要求5所述的方法，其特征在于，将所述第一特征图与所述第二特征图进行融合还包括将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第二特征图相乘以将得到的积作为所述经融合特征图。7.根据权利要求6所述的方法，其特征在于，还包括在将嵌入形式的第一特征图与嵌入形式的第二特征图拼接在一起，并将嵌入形式的第一特征图、嵌入形式的第二特征图以及经拼接的嵌入形式的第一特征图与嵌入形式的第...

【专利技术属性】
技术研发人员：陈新元，吴子章，王凡，
申请(专利权)人：纵目科技上海股份有限公司，
类型：发明
国别省市：