【技术实现步骤摘要】
本专利技术涉及智能车辆自主定位，尤其是涉及一种基于深度学习的4d毫米波雷达里程计方法。
技术介绍
1、里程计是智能车辆自主定位的关键技术之一，是智能车辆后续规划和决策任务的基础。该任务使用传感器采集的两帧连续的图像或点云数据来估计两帧之间的相对位姿变换。现有的里程计系统大多使用相机和激光雷达传感器，虽然已有研究通过监督或自监督学习的方式在里程计任务方面取得了效果，但这两类传感器由于存在无法全天候感知、探测距离较近和经济成本较高等缺点，制约了其在里程计技术上的应用。
2、4d毫米波雷达作为的新兴传感器，与相机和激光雷达相比具有独特的优势，因此越来越受到学术界和工业界广泛的关注。首先，4d毫米波雷达对场景有着更为丰富的描述，包括场景中物体的3d位置、雷达截面积以及径向相对速度测量，其中额外的径向相对速度测量有利于里程计系统中动态点的剔除。其次，由于毫米波雷达的波长短，穿透能力强，其可以在雨、雪、雾等恶劣天气以及任何不利照明条件的环境中鲁棒运行。最后，相比于激光雷达，4d毫米波雷达具有更低的成本和更小的尺寸使其更容易在预算和装配空间有限的智能车辆上使用。尽管4d毫米波雷达具有上述优点，但当前还没有学者使用4d毫米波雷达进行里程计方面的研究工作。对于从4d毫米波雷达采集的点云学习4d毫米波雷达帧间位姿变换，存在三个挑战：(1)与激光雷达输出的点云相比，4d毫米波雷达采集的点云更稀疏、更嘈杂且分辨率更低，具体来说，单帧4d毫米波雷达点只有几百个点，只有32线激光雷达点数量的1％，这种稀疏性大大增加了鲁棒提取点云特征的难度；(2
3、针对上述第一个挑战，在深度激光雷达里程计中，现有工作大多数使用pointnet、pointnet++以及将3d点云投影到2d深度图像中提取点云特征，然而，由于激光雷达点云信息的局限性，上述工作只使用了点云的空间信息，无法全面有效获得点云特征。
4、针对上述第二个挑战，zheng等人通过在2d深度图像中提取和匹配关键点的方式实现点对点的对应，然而，由于雷达点云十分稀疏和嘈杂，无法进行准确的点对应。
5、针对上述第三个挑战，需要过滤掉动态物体点，wang等人提出了分层嵌入掩码来过滤激光雷达点云中的动态点，但这种方式无法充分利用4d毫米波雷达点云所特有的速度信息，导致不能获得准确的位姿估计。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的4d毫米波雷达里程计方法，能够充分利用4d毫米波雷达的点云信息，实现对稀疏点云的高效学习、对稀疏的点云数据进行有效的特征提取、提高位姿估计的精度。
2、本专利技术的目的可以通过以下技术方案来实现：一种基于深度学习的4d毫米波雷达里程计方法，包括以下步骤：
3、s1、构建4dro-net架构，包括特征编码模块、初始位姿生成模块以及矫正位姿生成模块；
4、s2、利用4d毫米波雷达点云序列数据集，针对4dro-net架构进行训练，得到4d毫米波雷达里程计模型；
5、s3、将当前传感器采集的4d毫米波雷达点云输入4d毫米波雷达里程计模型，输出得到位姿估计结果。
6、进一步地，所述步骤s1中，特征编码模块的输出端分别连接至初始位姿生成模块以及矫正位姿生成模块，以输出全局特征给初始位姿生成模块、输出点特征给矫正位姿生成模块；
7、所述初始位姿生成模块分别与矫正位姿生成模块、位姿细化单元相连接，以分别输出初始位姿给矫正位姿生成模块、位姿细化单元；
8、所述矫正位姿生成模块连接至位姿细化单元，以输出矫正位姿给位姿细化单元；
9、所述位姿细化单元融合初始位姿和矫正位姿，输出得到位姿估计结果。
10、进一步地，所述步骤s2的具体过程为：
11、在训练阶段，将数据集中当前点云pck和其相连的前两帧点云pck-1和pck-2组成滑动窗口作为网络的输入，在滑动窗口内，不仅求解pck和pck-1之间的位姿变换、还求解pck和pck-2之间的位姿变换，特征编码模块对滑动窗口内的每一帧点云进行特征编码，生成其对应的点特征pf和全局特征gf；
12、初始位姿生成模块以成对的点云全局特征作为输入，估计点云之间的初始欧拉角eulainit和初始平移向量tinit；
13、基于初始欧拉角和初始平移向量，矫正位姿生成模块进行位姿扭曲，然后基于位姿扭曲后的点云和其对应的点特征，使用速度意识的注意力成本量网络生成成对点云之间的成本量，使用该成本量回归矫正欧拉角eulacorr和矫正平移向量tcorr；
14、最后，使用矫正位姿细化初始位姿来得到最终欧拉角eulafinal和最终平移向量tfinal，针对滑动窗口中的不同点云对，则设计相邻点云损失和间隔点云损失对网络进行训练；
15、在测试阶段，将数据集中相邻两帧点云pck和pck-1输入训练好的网络来获得两帧点云之间的位姿变换。
16、进一步地，所述特征提取模块包括深度特征融合单元和特征生成单元，所述深度特征融合单元针对输入的点云，将点云的空间、速度和截面积信息分别使用三个1d卷积、批量归一化和relu激活函数的组合层分开进行编码，并在三个特征尺度上进行特征连接来实现深度特征融合，以得到点云融合特征；
17、所述特征生成单元使用平均池化对点云融合特征进行聚合，得到点云的点特征，之后基于点特征，使用1d卷积和最大池化在点云点特征各个维度上执行最大池化操作来得到最终的全局特征。
18、进一步地，所述深度特征融合单元的计算过程包括：
19、fl1＝σ(h(l1))
20、
21、
22、
23、
24、
25、
26、其中，i,j代表特征尺度，l表示点的位置信息，v表示点的速度信息，p表示点的雷达横截面信息，h(·)表示1d卷积，σ表示relu激活函数，表示连接，fl表示点的位置信息特征提取，fv表示点的速度信息特征提取，fp表示点的雷达横截面信息特征提取，flvp表示点的位置信息、速度信息以及雷达横截面信息的融合特征，avg(·)表示平均池化函数；
27、所述特征生成单元的计算过程包括：
28、
29、
30、
31、
32、其中，为点云的点特征，和表示点特征聚合过程中生成的中间特征，max(·)表示最大池化函数，gf为全局特征。
33、进一步地，所述初始位姿生成模块获得待估计位姿变换两帧点云的全局特征gf1和gf2，然后将这些特征连接起来用于后续空间特征的提取；
34、空间特征的提取通过平均池化来实现，利用平均池化综合两帧本文档来自技高网...
【技术保护点】
1.一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述步骤S1中，特征编码模块的输出端分别连接至初始位姿生成模块以及矫正位姿生成模块，以输出全局特征给初始位姿生成模块、输出点特征给矫正位姿生成模块；
3.根据权利要求2所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述步骤S2的具体过程为：
4.根据权利要求3所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述特征提取模块包括深度特征融合单元和特征生成单元，所述深度特征融合单元针对输入的点云，将点云的空间、速度和截面积信息分别使用三个1D卷积、批量归一化和ReLU激活函数的组合层分开进行编码，并在三个特征尺度上进行特征连接来实现深度特征融合，以得到点云融合特征；
5.根据权利要求4所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述深度特征融合单元的计算过程包括：
6.根据权利要求5所述的一种基于深度学习的4D毫米波雷达里程
7.根据权利要求6所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述矫正位姿生成模块包括位姿扭曲单元、速度意识的注意力成本量单元、位姿回归单元，其中，位姿扭曲单元使用初始位姿对PC2进行变换来拉近PC1和PC2之间的距离，得到扭曲的PC2；
8.根据权利要求7所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述位姿扭曲单元的工作过程为：
9.根据权利要求8所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述位姿细化单元的工作过程为：
10.根据权利要求3～9任一所述的一种基于深度学习的4D毫米波雷达里程计方法，其特征在于，所述相邻点云损失和间隔点云损失的损失函数为：
...【技术特征摘要】
1.一种基于深度学习的4d毫米波雷达里程计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的4d毫米波雷达里程计方法，其特征在于，所述步骤s1中，特征编码模块的输出端分别连接至初始位姿生成模块以及矫正位姿生成模块，以输出全局特征给初始位姿生成模块、输出点特征给矫正位姿生成模块；
3.根据权利要求2所述的一种基于深度学习的4d毫米波雷达里程计方法，其特征在于，所述步骤s2的具体过程为：
4.根据权利要求3所述的一种基于深度学习的4d毫米波雷达里程计方法，其特征在于，所述特征提取模块包括深度特征融合单元和特征生成单元，所述深度特征融合单元针对输入的点云，将点云的空间、速度和截面积信息分别使用三个1d卷积、批量归一化和relu激活函数的组合层分开进行编码，并在三个特征尺度上进行特征连接来实现深度特征融合，以得到点云融合特征；
5.根据权利要求4所述的一种基于深度学习的4d毫米波雷达里程计方法，其特征在于，所述深度特征融合...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。