System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于扩散模型的激光雷达定位方法、装置及可读介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>厦门大学专利>正文

基于扩散模型的激光雷达定位方法、装置及可读介质制造方法及图纸

技术编号:41914663 阅读:12 留言:0更新日期:2024-07-05 14:16
本发明专利技术公开了一种基于扩散模型的激光雷达定位方法、装置及可读介质,涉及计算机模型领域,包括:构建基于扩散模型的激光雷达定位模型,激光雷达定位模型包括特征学习器和去噪器,特征学习器包括依次连接的预训练的视觉基础模型和静态目标感知池模块;将点云序列转换得到的深度投影图像输入经训练的激光雷达定位模型中,通过预训练的视觉基础模型提取得到每帧点云对应的特征图,并输入静态目标感知池模块,得到每帧点云对应的几何鲁棒特征,将每帧点云对应的几何鲁棒特征作为条件,通过去噪器进行迭代去噪,得到预测噪声,根据预测噪声计算出姿态,根据特征图计算得到静态目标掩码,解决APR在捕获关键几何信息方面的不足及定位性能差等问题。

【技术实现步骤摘要】

本专利技术涉及计算机模型领域,具体涉及一种基于扩散模型的激光雷达定位方法、装置及可读介质


技术介绍

1、激光雷达定位在导航规划中扮演着至关重要的角色,具有广泛的计算机视觉应用,如自动驾驶和增强现实。激光雷达定位的核心目标是以扫描的点云作为输入,输出其六自由度(6-dof)的姿态信息。

2、当前激光雷达定位包含基于结构的方法和基于绝对位姿回归的方法两类。其中,基于结构的方法是目前最常见、最广泛应用的定位技术,它通过建立查询点云与预先构建的三维地图的3d-3d对应关系实现定位,这一对应关系可以通过坐标点回归(scenecoordinate regression,scr)或特征匹配(feature matching)等方法实现。接着,这些对应关系被应用于基于ransac的鲁棒估计算法输出激光雷达姿态。然而,这些方法通常在计算和内存方面成本较高。另外一种是基于绝对位姿回归(absolute pose regression,apr)的方法,绝对位姿回归通常使用深度神经网络提取场景几何鲁棒特征,并通过多层感知机直接回归6自由度位姿,其具有速度快的优势,但性能相比基于结构的方法仍有较大差距。


技术实现思路

1、本申请的目的在于针对上述提到的技术问题提出一种基于扩散模型的激光雷达定位方法、装置及可读介质。

2、第一方面,本专利技术提供了一种基于扩散模型的激光雷达定位方法,包括以下步骤:

3、获取待定位目标的点云序列,对点云序列中的每帧点云进行预处理,转换得到每帧点云对应的深度投影图像;

4、构建基于扩散模型的激光雷达定位模型,激光雷达定位模型包括特征学习器和去噪器,特征学习器包括依次连接的预训练的视觉基础模型和静态目标感知池模块,去噪器对应扩散模型的去噪过程,激光雷达定位模型在训练过程中所采用的总损失函数包括扩散损失函数和分割损失函数,基于总损失函数训练得到经训练的激光雷达定位模型;

5、将深度投影图像输入经训练的激光雷达定位模型中,深度投影图像输入特征学习器,经过预训练的视觉基础模型提取得到每帧点云对应的特征图,每帧点云对应的特征图输入静态目标感知池模块,静态目标感知池模块包括全连接层、sigmoid函数层和全局平均池化层,每帧点云对应的特征图依次经过全连接层和sigmoid函数层,得到sigmoid函数层的输出特征,sigmoid函数层的输出特征与特征图进行点积运算,得到点积运算结果,点积运算结果再与特征图相加,得到相加结果,相加结果经过全局平均池化层,得到每帧点云对应的几何鲁棒特征,将每帧点云对应的几何鲁棒特征作为条件,通过去噪器进行迭代去噪,得到预测噪声,根据预测噪声计算出姿态,根据特征图计算得到静态目标掩码。

6、作为优选,预训练的视觉基础模型包括改进的dino模型,改进的dino模型采用非线性卷积主干网络替换dino模型的嵌入层。

7、作为优选,静态目标感知池模块的计算过程如下:

8、

9、其中,表示第i帧点云对应的特征图,m和c分别表示标记数和特征维度,σ表示sigmoid函数层,⊙表示点积函数,fc表示全连接层,gap表示全局平均池化层,表示第i帧点云对应的几何鲁棒特征。

10、作为优选,去噪器包括transformer模块,transformer模块包括依次连接的若干个序列编码器层和一个全连接层,在激光雷达定位模型的训练过程中,扩散模型的扩散过程如下:

11、随机生成时间步长k,k∈{1,2,...,k},通过预定义的方差调度β1,...,βk引入累积噪声调度,根据累积噪声调度向真实姿态t0引入噪声,得到噪声姿态tk,如下式所示;

12、

13、其中,表示时间步长k对应的累积噪声调度,

14、αk=1-βk,表示高斯分布,ε表示符合高斯分布的随机噪声,

15、tk表示时间步长k对应的噪声姿态;

16、扩散模型的迭代去噪过程如下:

17、将时间步长k对应的噪声姿态tk、时间步长k和点云序列p输入去噪器中,得到预测噪声,公式如下:

18、

19、其中,[·]表示连接操作,表示预测噪声,表示transformer模块,表示第i帧点云在时间步长k对应的噪声姿态,表示通过正弦函数生成的时间步长k对应的去噪嵌入。

20、作为优选,将每帧点云对应的几何鲁棒特征作为条件,通过去噪器进行迭代去噪,得到预测噪声,具体包括:

21、将随机生成的符合高斯分布的随机位姿、时间步长k和点云序列输入经训练的去噪器,得到预测噪声采用下式进行由表示的从纯噪声到预测的姿态的迭代去噪过程:

22、

23、其中,表示第k步去噪后生成的姿态,表示第k-1步去噪后生成的姿态,表示时间步长k对应的累积噪声调度,表示时间步长k-1对应的累积噪声调度。

24、作为优选,扩散损失函数的计算公式如下:

25、

26、其中,表示扩散损失函数,||·||1表示l1损失,表示预测噪声,ε表示符合高斯分布的随机噪声;

27、分割损失函数的计算公式如下:

28、

29、其中,表示分割损失函数,mgt表示由基于稀疏点-体素的卷积神经网络预先生成的静态目标掩码的真值,mpred表示由经训练的激光雷达定位模型生成的静态目标掩码,mpred=σ(fc(fi)),fi表示第i帧点云对应的特征图,σ表示sigmoid函数层,fc表示全连接层;

30、总损失函数的计算公式如下:

31、

32、其中,表示总损失函数。

33、作为优选,对点云序列中的每帧点云进行预处理,转换得到每帧点云对应的深度投影图像,具体包括:

34、点云序列表示为其中,pi表示第i帧点云,表示点云序列的长度,每帧点云由笛卡尔坐标系中的坐标(x,y,z)表示,采用下式将每帧点云投影为深度投影图像:

35、

36、其中,(h,w)表示深度投影图像的像素坐标,(h,w)表示深度投影图像的长和宽,fv表示激光雷达的垂直视场,fv=fup+fdown,fup和fdown分别表示激光雷达的上视场角和下视场角,表示每个点的距离,在投影为深度投影图像的过程中,为每个投影点存储特征(r,x,y,z,q),q表示反射强度,当每帧点云中存在多个点投影到深度投影图像的同一像素时,则仅保留最小的距离所对应的点的特征,当每帧点云中没有点投影到深度投影图像的某一像素,则将该像素的特征用零填充。

37、第二方面,本专利技术提供了一种基于扩散模型的激光雷达定位装置,包括:

38、转换模块,被配置为获取待定位目标的点云序列,对点云序列中的每帧点云进行预处理,转换得到每帧点云对应的深度投影图像;

39、模型构建模块,被配置为构建基于扩散模型的激光雷达定位模型,激光雷达定位模型包括特征学习器和去噪器,特征本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的激光雷达定位方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述预训练的视觉基础模型包括改进的DINO模型,所述改进的DINO模型采用非线性卷积主干网络替换DINO模型的嵌入层。

3.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述静态目标感知池模块的计算过程如下:

4.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述去噪器包括Transformer模块,所述Transformer模块包括依次连接的若干个序列编码器层和一个全连接层,在所述激光雷达定位模型的训练过程中,所述扩散模型的扩散过程如下:

5.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述将所述每帧点云对应的几何鲁棒特征作为条件,通过所述去噪器进行迭代去噪,得到预测噪声,具体包括:

6.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述扩散损失函数的计算公式如下:

7.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述对所述点云序列中的每帧点云进行预处理,转换得到每帧点云对应的深度投影图像,具体包括:

8.一种基于扩散模型的激光雷达定位装置,其特征在于,包括:

9.一种电子设备,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

...

【技术特征摘要】

1.一种基于扩散模型的激光雷达定位方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述预训练的视觉基础模型包括改进的dino模型,所述改进的dino模型采用非线性卷积主干网络替换dino模型的嵌入层。

3.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述静态目标感知池模块的计算过程如下:

4.根据权利要求1所述的基于扩散模型的激光雷达定位方法,其特征在于,所述去噪器包括transformer模块,所述transformer模块包括依次连接的若干个序列编码器层和一个全连接层,在所述激光雷达定位模型的训练过程中,所述扩散模型的扩散过程如下:

5.根据权利要求...

【专利技术属性】
技术研发人员:王程李文杨煜阳温程璐程明
申请(专利权)人:厦门大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1