基于制造技术

本申请公开了一种基于

【技术实现步骤摘要】
基于BEV视角的目标识别方法、装置、存储介质及设备


[0001]本申请涉及无人驾驶
，特别涉及一种基于
BEV
视角的目标识别方法
、
装置
、
存储介质及设备
。

技术介绍

[0002]在自动驾驶领域里，主流的感知方案中，常用的传感器是激光雷达和摄像头
。
激光雷达具有可靠的三维检测能力，但基于多路环视的摄像机的感知方法因其成本较低，受到了很高的关注
。
并且，经过长期迭代，对于摄像头的使用已经有相对成熟的技术方案
。
如图1所示，感知任务将上述多路环视的图像作为输入，得到目标障碍物的信息，包括目标包围
3D
框的坐标
、
尺寸
、
朝向等信息
。
[0003]常用的基于图像的三维目标识别算法有
BEVDet、BEVDepth
和
BEVFormer
等算法，这些算法都是将多路环视图像作为输入，提取多路环视图像中的特征向量以及深度信息，结合特征向量和深度信息在
BEV(Bird's
‑
Eye View
，鸟瞰
)
视角下进行统一的目标信息的识别
。
[0004]然而，相关技术中是将多路环视图的特征向量直接拼接成
BEV
视角下的特征向量，无法实现特征融合，导致目标识别精度较低
。

技术实现思路

[0005]本申请提供了一种基于
BEV
视角的目标识别方法
、
装置
、
存储介质及设备，用于解决相关技术中的目标识别精度较低的问题
。
所述技术方案如下：
[0006]根据本申请的第一方面，提供了一种基于
BEV
视角的目标识别方法，所述方法包括：
[0007]获取多路环视图，所述多路环视图由具有不同水平拍摄视角的多个摄像头同时对同一场景进行拍摄得到的图像组成；
[0008]对所述多路环视图提取特征图，根据所述特征图生成特征向量；
[0009]根据所述特征向量和激活函数计算特征系数向量，并根据所述特征图和所述特征系数向量计算融合特征图，所述特征系数向量表示多视角的全局范围内对于所述特征图中不同通道的重要性；
[0010]根据所述深度信息和所述目标特征信息图创建
BEV
视角下的
BEV
特征图，根据所述
BEV
特征图进行目标识别
。
[0011]在一种可能的实现方式中，所述根据所述特征向量和激活函数计算特征系数向量，包括：
[0012]将所述多路环视图的特征向量进行融合，得到中间特征向量；
[0013]根据激活函数对所述中间特征向量进行计算，得到特征系数向量
。
[0014]在一种可能的实现方式中，所述将所述多路环视图的特征向量进行融合，得到中间特征向量，包括：
[0015]对每路环视图的特征向量进行全局平均采样，得到第一特征向量；
[0016]将多路环视图的所有第一特征向量进行拼接，得到第二特征向量；
[0017]利用全线性链路对所述第二特征向量进行融合，得到中间特征向量
。
[0018]在一种可能的实现方式中，所述根据激活函数对所述中间特征向量进行计算，得到特征系数向量，包括：
[0019]将所述中间特征向量作为参数输入所述激活函数中，将所述激活函数的输出确定为特征系数向量
。
[0020]在一种可能的实现方式中，所述根据所述特征向量和所述特征系数向量计算融合特征图，包括：
[0021]将所述特征图与所述特征系数向量相乘；
[0022]将得到的乘积与所述特征图相加，得到融合特征图
。
[0023]在一种可能的实现方式中，所述对所述多路环视图提取特征图，包括：
[0024]利用编码神经网络对所述多路环视图进行深层语义提取，得到特征图
。
[0025]根据本申请的第二方面，提供了一种基于
BEV
视角的目标识别装置，所述装置包括：
[0026]获取模块，用于获取多路环视图，所述多路环视图由具有不同水平拍摄视角的多个摄像头同时对同一场景进行拍摄得到的图像组成；
[0027]提取模块，用于对所述多路环视图提取特征图，根据所述特征图生成特征向量；
[0028]融合模块，用于根据所述特征向量和激活函数计算特征系数向量，并根据所述特征图和所述特征系数向量计算融合特征图，所述特征系数向量表示多视角的全局范围内对于所述特征图中不同通道的重要性；
[0029]识别模块，用于根据所述深度信息和所述目标特征信息图创建
BEV
视角下的
BEV
特征图，根据所述
BEV
特征图进行目标识别
。
[0030]在一种可能的实现方式中，所述融合模块，还用于：
[0031]将所述多路环视图的特征向量进行融合，得到中间特征向量；
[0032]根据激活函数对所述中间特征向量进行计算，得到特征系数向量
。
[0033]根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于
BEV
视角的目标识别方法
。
[0034]根据本申请的第四方面，提供了一种计算机设备，所述计算机设备包括基于
BEV
视角的目标识别上述基于
BEV
视角的目标识别装置
。
[0035]本申请提供的技术方案的有益效果至少包括：
[0036]在提取到多路环视图的特征图和特征向量，先根据特征向量和激活函数计算特征系数向量，并根据特征图和特征系数向量计算融合特征图，再根据融合特征图生成深度信息和目标特征信息图，最后，根据深度信息和目标特征信息图创建
BEV
视角下的
BEV
特征图，从而根据
BEV
特征图进行目标识别
。
由于深度信息是根据融合特征图生成的，能够提高深度信息的准确性，且特征系数向量表示多视角的全局范围内对于特征图中不同通道的重要性，所以，对多路环视图的特征向量进行融合后可以提高目标识别精度
。
附图说明
[0037]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0038]图1是多路环视图像的示意图；
[0039]图2是本申请一个实施例提供的基于
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
BEV
视角的目标识别方法，其特征在于，所述方法包括：获取多路环视图，所述多路环视图由具有不同水平拍摄视角的多个摄像头同时对同一场景进行拍摄得到的图像组成；对所述多路环视图提取特征图，根据所述特征图生成特征向量；根据所述特征向量和激活函数计算特征系数向量，并根据所述特征图和所述特征系数向量计算融合特征图，所述特征系数向量表示多视角的全局范围内对于所述特征图中不同通道的重要性；根据所述融合特征图生成深度信息和目标特征信息图；根据所述深度信息和所述目标特征信息图创建
BEV
视角下的
BEV
特征图，根据所述
BEV
特征图进行目标识别
。2.
根据权利要求1所述的基于
BEV
视角的目标识别方法，其特征在于，所述根据所述特征向量和激活函数计算特征系数向量，包括：将所述多路环视图的特征向量进行融合，得到中间特征向量；根据激活函数对所述中间特征向量进行计算，得到特征系数向量
。3.
根据权利要求2所述的基于
BEV
视角的目标识别方法，其特征在于，所述将所述多路环视图的特征向量进行融合，得到中间特征向量，包括：对每路环视图的特征向量进行全局平均采样，得到第一特征向量；将多路环视图的所有第一特征向量进行拼接，得到第二特征向量；利用全线性链路对所述第二特征向量进行融合，得到中间特征向量
。4.
根据权利要求2所述的基于
BEV
视角的目标识别方法，其特征在于，所述根据激活函数对所述中间特征向量进行计算，得到特征系数向量，包括：将所述中间特征向量作为参数输入所述激活函数中，将所述激活函数的输出确定为特征系数向量
。5.
根据权利要求1所述的基于
BEV
视角的目标识别方法，其特征在于，所述根据所...

【专利技术属性】
技术研发人员：陈涛，陈忠涛，
申请(专利权)人：九识苏州智能科技有限公司，
类型：发明
国别省市：