【技术实现步骤摘要】
本专利技术属于自动驾驶，涉及一种车辆环境感知方法，特别涉及一种基于多视角和多尺度特征融合的车辆环境感知方法。
技术介绍
1、基于激光雷达的点云分割在环境感知领域占据主导地位，并被广泛应用于各种驾驶场景。相比于基于视觉的分割模型，基于激光雷达的分割模型不受到天气以及光照的影响。目前主流的点云分割算法主要分为三种：第一种是基于点的方法，直接对点云中的每个点进行处理，如pointnet、pointnet++和randla-net。通过逐点分析点云数据来捕捉空间特征，实现高精度的点云分割；第二种是基于体素的方法，将点云划分为一系列规则或不规则的体素单元，然后对其进行三维卷积处理，提取空间结构信息，适用于处理大规模点云数据；第三种是基于投影的方法，将点云数据投影到二维图像上，然后使用二维卷积对其进行处理。这种方法可以充分利用现有的二维图像处理技术，提高处理效率，在应用场景中表现出较好的效果。
2、上述三种点云分割算法存在以下问题：（1）基于点的方法虽然能有效地保留环境要素的几何信息，但由于点的数量较多，导致推理时间较长。（2）基于体素的方法面临计算冗余的问题，因为点云的密度分布不均匀会导致许多体素是空的。此外，随着点云复杂度的增加，三维卷积的效率会降低。（3）基于投影的方法使用自上而下或球面投影技术将点云数据转换为鸟瞰图(bird's-eye-view, bev)和距离视图(range view, rv)图像。bev投影可以捕获不同位置的目标，特别适合处理水平覆盖范围大的目标，但是该方法会造成几何信息和高度信息的丢失，影响高度
3、为了解决这些问题，目前的主流方法通常使用多投影融合策略。通过组合不同角度的投影数据，弥补单个投影在输入或输出阶段造成的信息损失。然而这并没有完全或根本地解决投影过程中固有的信息丢失问题，在特征提取方面也存在不足。例如，在bev投影中，现有方法通常使用多层感知器(multilayer perceptron, mlp)和池化操作来提取网格单元的平均高度等浅层特征，但无法充分捕获关键的几何结构信息。对于rv投影，尽管目前的方法尝试使用bev特征来部分补偿信息，但由于投影遮挡导致的信息丢失仍然是一个未解决的问题，因此，当将采用上述多投影融合策略，应用于实际的车辆环境感知环境中时，容易导致车辆环境感知能力差，进而无法为自动驾驶汽车安全高效的决策和导航提供关键支持。
技术实现思路
1、本专利技术的目的在于提供一种基于多视角和多尺度特征融合的车辆环境感知方法，该方法基于鸟瞰图特征双重编码和多层距离视图表示，对原始点云数据进行处理，同时结合所提基于多视角和多尺度特征融合的车辆环境感知网络，利于解决基于投影的点云分割方法在投影过程中信息丢失问题，从而提升车辆环境感知能力。
2、为解决上述技术问题，本专利技术采用的技术方案是：
3、一种基于多视角和多尺度特征融合的车辆环境感知方法，包括如下步骤：
4、步骤1. 将采集的原始点云数据，经鸟瞰图特征双重编码后，分别输出鸟瞰图像、熵值图像和得分图像；同时，将采集的原始点云数据经多层距离视图表示，得到整体rv图像和多幅不同距离的rv子图像，并动态调整各幅不同视图的重要性；
5、步骤2. 搭建基于多视角和多尺度特征融合的车辆环境感知网络，其包括距离视图编码网络、鸟瞰图编码网络、多视角融合模块mvfm以及检测头；
6、将鸟瞰图像、熵值图像和得分图像拼接作为鸟瞰图编码网络中编码器的输入；
7、将提取到的整体rv图像的特征和其他各幅rv子图像提取到的特征进行交互连接，最后经过线性层输出作为距离视图编码网络中编码器的输入；
8、距离视图编码网络、鸟瞰图编码网络分别用于提取rv特征和bev特征，二者网络结构相同，且均使用resnet101结构，其包括编码器与解码器；
9、编码器包括四个阶段的编码模块，且分别定义为第一、第二、第三、第四阶段编码模块；解码器包括四个上采样模块，且分别定义为第一、第二、第三、第四上采样模块；
10、在第一、第四阶段编码模块以及第二上采样模块的位置均插入一个mvfm，分别用于将距离视图编码网络、鸟瞰图编码网对应阶段络输出的rv特征与bev特征作为mvfm的输入；
11、在mvfm中进行多视角特征深度融合；经过每个mvfm深度融合并分割后的rv特征和bev特征对应返回距离视图编码网络和鸟瞰图编码网络，并作为相应网络下一阶段的特征输入；
12、鸟瞰图编码网络中解码器的输出和距离视图编码网络中解码器的输出分别经网格转点云后拼接，拼接后的特征输入检测头，经检测后输出分割点云结果；
13、步骤3. 利用步骤1得到的图像数据训练步骤2中搭建的车辆环境感知网络；对于输入的当前车辆的点云数据，利用训练好的车辆环境感知网络，获取车辆环境感知结果。
14、本专利技术具有如下优点：
15、如上所述，本专利技术述及了一种基于多视角和多尺度特征融合的车辆环境感知方法，该方法搭建了基于多视角和多尺度特征融合的车辆环境感知网络。其中，在网络结构的输入方面，本专利技术通过采用多层距离视图表示和鸟瞰图特征双重编码，设计了多级多投影融合的深度学习网络，有效提高了垂直信息较突出且距离较远的点云中目标的信息提取精度，显著降低了分离投影的信息丢失。具体而言，本专利技术通过投影生成多层rv表示，实现对不同距离目标的选择性关注，从而有效抑制投影造成的信息丢失。此外，还利用多头注意力，根据多层rv输入在不同场景中的相关性，自适应调整其权重，确保本专利技术能够对环境中的显著元素进行差异化编码，多层rv表示实现了对不同距离目标的选择性关注。而 bev（鸟瞰视角）通过主成分分析与正态分布变换（normal distributions transform, ndt）对局高度和几何结构信息进行编码，极大程度上降低了因投影造成的信息损失，从而提升对场景的整体理解能力。本专利技术有效抑制点云bev几何结构信息的丢失，利用mlp和池化操作提取初步特征，结合无损检测提取局部几何结构信息，协同实现对bev特征的有效挖掘。多视角输入能够有效缓解单视角的局限性，提升模型的鲁棒性与抗干扰性。在网络结构方面，本专利技术设计了距离视图编码网络、鸟瞰图编码网络、多视角融合模块mvfm以及检测头。在复杂场景或存在感知异常（如遮挡、动态物体、点云稀疏区域）时，网络可以灵活地利用不同视角和模态的信息，避免因单一视角输入而导致的决策失误，从而实现更精准的车辆感知。本专利技术所提mvfm，将多模态分解双线性池化模块（multi-modal factorized bilinearpooling,mfb）与多尺度多视图视觉变压器（multiscale multiview vision transformers ,mmvit）相结合，探索多视角、多尺度特征之间的高本文档来自技高网...
【技术保护点】
1.一种基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤1中，鸟瞰图特征双重编码的处理流程如下：
3.根据权利要求2所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤1中，利用主成分分析来分析各点云特征的主要方向，并计算点云的均值和协方差矩阵；协方差矩阵定义如下：
4.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤1中，多层距离视图表示的处理流程如下：
5.根据权利要求4所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述多层距离视图表示的处理流程中，投影公式如下：
6.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤2中，编码器包括卷积块、最大池化层以及四个阶段的编码模块；
7.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述多视角融合模块包括多
8.根据权利要求7所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述多模态分解双线性池化模块中，求和池化的计算公式如下：
9.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤3中，车辆环境感知网络的训练过程如下：
10.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤3中，利用训练好的车辆环境感知网络，获取车辆环境感知结果的过程如下：
...【技术特征摘要】
1.一种基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤1中，鸟瞰图特征双重编码的处理流程如下：
3.根据权利要求2所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤1中，利用主成分分析来分析各点云特征的主要方向，并计算点云的均值和协方差矩阵；协方差矩阵定义如下：
4.根据权利要求1所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述步骤1中，多层距离视图表示的处理流程如下：
5.根据权利要求4所述的基于多视角和多尺度特征融合的车辆环境感知方法，其特征在于，所述多层距离视图表示的处理流程中，投影公式如下：
6.根据权利要求1所述的基于...
【专利技术属性】
技术研发人员：董海荣，孔栋，李中正，张立业，张硕，孙晓宇，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。