一种多通道感知的3D点云目标检测方法技术

本发明专利技术属于3D点云目标检测领域，具体涉及一种多通道感知的3D点云目标检测方法，包括：获取原始3D点云数据，采用立柱法对3D点云数据进行处理，得到立柱；采用注意力感知模块提取立柱的点维度注意力、通道维度注意力以及体素维度注意力，并通过多层感知机对三个注意力特征进行优化，到三个注意力得分；根据三个注意力得分以及立柱构建完整的注意力矩阵；将完整的注意力矩阵输入到检测头，得到目标检测结果；本发明专利技术使用了多维度综合注意力感知模块，能够更好的保留重要信息并推广到各种行人表征，以克服点云中行人数据的非刚性和稀疏性，由于多维度的注意力，可以增强柱状的表示，并通过复合池化策略更好的获取立柱中所有点的上下文信息。上下文信息。上下文信息。

【技术实现步骤摘要】
一种多通道感知的3D点云目标检测方法


[0001]本专利技术属于3D点云目标检测领域，具体涉及一种多通道感知的3D点云目标检测方法。

技术介绍

[0002]目前汽车行业正发生着巨大的变革，车辆正在由传统的人工驾驶逐步走向AI自动驾驶的方向，自动驾驶相关技术的研究也日益增长，但是确保自动驾驶可能可靠、稳定、安全的运作，还需要足够的技术与实践。自动驾驶就是车辆在无人工操作时可以实现自行控制车辆行驶，它的实现方式非常多种，如单车智能、多车协同、联网云控等。在单车智能中主要包含了三个环节：感知、决策和控制；其中感知就是车辆自身以及环境信息的采集与处理，包括视频信息、GPS信息、车辆姿态、加速信息以及点云信息；而目前在汽车辅助驾驶系统和自动驾驶系统等实际应用的道路场景中，行人、车辆等三维目标的检测是建立汽车与环境交互机制的关键技术；与二维图像相辅相成，三维数据提供了一个以更好地了解机器周围的环境的机会。但二维视觉图像所检测的目标在空间中的定位误差较大，而基于3D点云的目标检测则具有更准确的深度信息和更高的检测精度。因此3D点云数据推动下的自动驾驶技术成为了当前自动驾驶和辅助驾驶中一项不可或缺的关键技术。
[0003]近年来，3D点云的目标检测算法在道路场景中已经取得刀非凡的成果，对于3D点云数据的输入处理方面与2D图片不同，3D点云数据具有无序性、稀疏性以及局部敏感性等特点，在对3D点云数据进行提取时使用的模型还需要具有置换不变性和平移不变性。目前常用的方法包括：基于原始3D点云数据的方法，该方法使用神经网络直接提取无序点特征，它们以原始点云作为输入，并使用多层感知器(MLP)将低维特征映射到高维特征空间来确保网络平移不变性，随后将高维特征输入到对称函数如平均函数或最值函数中，以确保模型对输入点云顺序的置换不变性。还有分层聚合不同层级的点云特征来获取局部信息，并迭代使用最远点采样(FPS)方法选择点云的子集，试图用最少的采样点最大化覆盖整个场景后进行特征提取。还包括一种不限高度的特殊体素，将3D点云信息编码为可以由2D卷积网络和检测头处理的数据形式。
[0004]但是由于人体的姿态属于柔性物体，对于车辆等刚性物体而言，人体姿态由于时间、场景、个体等因素，大多数目标都不是相同形状，并且人的体积小，体现在点云数据中人体点云就有明显的技术性和稀缺性，造成目标检测的准确度较低。

技术实现思路

[0005]为解决以上现有技术存在的问题，本专利技术提出了一种多通道感知的3D点云目标检测方法，该方法包括：
[0006]S1：获取原始3D点云数据，采用立柱法对3D点云数据进行处理，得到立柱；
[0007]S2：采用复合池化策略分别捕捉立柱的点注意力、点通道注意力以及立柱通道注意力的上下文信息；
[0008]S3：根据捕捉的上下文信息融合点注意力、点通道注意力和立柱通道注意力，得到融合通道注意力得分；
[0009]S4：根据融合通道注意力得分构建注意力矩阵；
[0010]S5：根据注意力矩阵生成伪2D图像；
[0011]S6：将伪2D图像输入到Tiny
‑
BiFPN颈部模块中，融合不同分辨率的特征图；
[0012]S7：将融合后的特征图输入到SSD探测头中，得到检测结果。
[0013]优选的，采用立柱法对3D点云数据进行处理包括：将点沿着x轴和y轴切分为单个的立柱，其中立柱中的点的最大数量为N，每个点的通道数量为C，在整个场景中共有P个立柱。
[0014]优选的，采用复合池化策略捕捉上下文信息包括：对生成立柱信息的每个立柱中所有点进行最大池化操作，将最大池化操作结果作为立柱通道注意力模块的输入，得到对F
′
v
分别使用最大池化和平均池化，得到和将生成的立柱信息分别输入到点通道注意力模块和点注意力模块中，再对其分别使用最大池化和平均池化，得到和和其中，F
′
v
表示在立柱通道注意力中对每个立柱中所有点进行一次最大池化操作的结果，和分别表示在立柱通道注意力中对F
′
v
进行平均池化操作和最大池化操作的结果，和分别表示在点注意力中进行平均池化操作和最大池化操作的结果，和分别表示在点通道注意力中进行平均池化操作和最大池化操作的结果。
[0015]优选的，计算融合通道注意力得分的过程包括：将点注意力模块得到的结果通过由两个全连接神经网络、一个缩减比r和一个激活函数δ组成的共享多层感知机结构，并将结果在立柱数量维度重复堆叠P次，得到注意力得分A
v
；将点通道注意力模块和立柱通道注意力模块得到的结果通过由两个全连接神经网络、一个缩减比r和一个激活函数δ组成的共享多层感知机结构，分别得到注意力得分A
c
和A
p
。
[0016]优选的，采用Tiny
‑
BiFPN对完整注意力矩阵进行处理的过程包括：在卷积块B1,B2,B3,B4中输入生成好的伪图像，得到将的分辨率随着上标依次减半，即第i层图像分辨率为输入伪图像分辨的其中i∈(1,2,3,4)，在网络中反复进行自顶向下的双向特征融合，对不同分辨率下的特征进行聚合，并添加可自行训练的权值以适应性的调整融合权重，得到不同分辨率的特征图；将不同分辨率的特征图进行拼接融合，得到融合后的特征图。
[0017]本专利技术的有益效果：
[0018]本专利技术提出并使用了多维度综合注意力感知模块，能够更好的保留重要信息并推广到各种行人表征，以克服点云中行人数据的非刚性和稀疏性，由于多维度的注意力，可以增强柱状的表示，并通过复合池化策略更好的获取立柱中所有点的上下文信息。本专利技术使用了Tiny
‑
BiFPN网络，该网络可以双向连接和融合多分辨率特征的轻量级特征网络，通过反复应用自顶向下和自底向上的双向特征融合对多尺度特征进行聚合，并且具有可训练的权重，可以相应地调整融合权重，使得模型更有效的执行多尺度特征融合。
附图说明
[0019]图1为本专利技术的整体流程图；
[0020]图2为本专利技术的总体模型框架图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]一种多通道感知的3D点云目标检测方法，如图1所示，该方法包括：获取原始3D点云数据，采用立柱法对3D点云数据进行处理，得到立柱；采用注意力感知模块提取立柱的点维度注意力、通道维度注意力以及体素维度注意力，并通过多层感知机对三个注意力特征进行优化，到三个注意力得分；根据三个注意力得分以及立柱构建完整的注意力矩阵；将完整的注意力矩阵输入到Tiny
‑
BiFPN检测头，得到目标检测结果。
[0023]在本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多通道感知的3D点云目标检测方法，其特征在于，包括：S1：获取原始3D点云数据，采用立柱法对3D点云数据进行处理，得到立柱；S2：采用复合池化策略分别捕捉立柱的点注意力、点通道注意力以及立柱通道注意力的上下文信息；S3：根据捕捉的上下文信息融合点注意力、点通道注意力和立柱通道注意力，得到融合通道注意力得分；S4：根据融合通道注意力得分构建注意力矩阵；S5：根据注意力矩阵生成伪2D图像；S6：将伪2D图像输入到Tiny
‑
BiFPN颈部模块中，融合不同分辨率的特征图；S7：将融合后的特征图输入到SSD探测头中，得到检测结果。2.根据权利要求1所述的一种多通道感知的3D点云目标检测方法，其特征在于，采用立柱法对3D点云数据进行处理包括：将点沿着x轴和y轴切分为单个的立柱，其中立柱中的点的最大数量为N，每个点的通道数量为C，在整个场景中共有P个立柱。3.根据权利要求1所述的一种多通道感知的3D点云目标检测方法，其特征在于，采用复合池化策略捕捉上下文信息包括：对生成立柱信息的每个立柱中所有点进行最大池化操作，将最大池化操作结果作为立柱通道注意力模块的输入，得到对F
v
′
分别使用最大池化和平均池化，得到和将生成的立柱信息分别输入到点通道注意力模块和点注意力模块中，再对其分别使用最大池化和平均池化，得到和和其中，F
v
′
表示在立柱通道注意力中对每个立柱中所有点进行一次最大池化操作的结果，和分别表示在立柱通道注意力中对F
v
′
进行平均池化操作和最大池化操作的结果，和分别表示在点注意力中进行平均池化操作和最大池化操作的结果，和分别表示在点通道注意力中进行平均池化操作和最大池化操作的结果。4.根据权利要求1所述的一种多通道感知的3D点云目标检测方法，其特征在于，计算融合通道注意力得分的过程包括：将点注意力模块得到的结果通过由两个全连接神经网络、一个缩减比r和一个激活函数δ组成的共享多层感知机结构，并将结果在立柱数量维度重复堆叠P次，得到注意力得分A
v
；将点通道注意力模块和立柱通道注意力模块得到的结果通过由两个全连接神经网络、一个缩减比r和一个激活函数δ组成的共享多层感知机结构，分别得到注意力得分A
c
和A
p
。5.根据权利要求4所述的一种多通...

【专利技术属性】
技术研发人员：张旭，韦沁言，裴行健，闫亮，夏英，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：