System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于融合体素的全局掩码自编码器的点云分类分割方法及系统技术方案_技高网
当前位置: 首页 > 专利查询>西北大学专利>正文

一种基于融合体素的全局掩码自编码器的点云分类分割方法及系统技术方案

技术编号:44884182 阅读:15 留言:0更新日期:2025-04-08 00:20
本发明专利技术公开了一种基于融合体素的全局掩码自编码器的点云分类分割方法及系统,属于三维点语义分割和深度学习技术领域,包括:获取并处理无标签与有标签的点云数据集,构建基于融合体素的全局掩码自编码器模型,迁移预训练得到的参数并构建下游任务模型,再用有标签数据集对模型进行微调得到最优深度网络模型,从而用于三维点云的分类或分割。本发明专利技术采用自监督学习方法,在一定程度上解决了标记数据集不足的问题,并有效改善了以往基于掩码自编码器划分局部区块导致模型低效的问题,它没有任何最远点采样和K近邻操作,而是使用全局体素特征作为预测目标,也避免了区块划分导致信息冗余的问题。

【技术实现步骤摘要】

本专利技术属于三维点语义分割和深度学习,尤其涉及一种基于融合体素的全局掩码自编码器的点云分类分割方法及系统


技术介绍

1、三维点云分类是计算机视觉和图形学领域中的一个重要研究方向,主要涉及对三维空间中点云数据进行分析和处理,以识别和分类其中的物体或场景。三维点云可以通过激光雷达等各种传感器获取得到,通常包含位置信息和法向量信息等。三维点云分类是一个复杂而富有挑战性的任务,涉及多种技术和方法,它推动了自动驾驶、机器人、城市建模等领域的进步。未来,点云分类技术将在更广泛的应用场景中发挥重要作用。设计一个有效的点云分类网络仍然具有重大意义。

2、监督学习在点云处理方面已经展现了其优秀的特征学习能力。监督学习方法根据提取的特征类型的不同可大致分为基于体素、基于多视图和基于点的方法。基于体素的方法将点云划分为规则的体素网格后,再使用深度学习技术提取体素特征;基于多视图的方法将三维形状投影至多个二维平面上,再在这些二维平面上提取信息。基于体素和基于多视图的方法在体素化和投影的过程中会损失大量精细几何结构信息,导致模型的分类能力有限。而基于点的方法则直接在点云上进行特征提取操作,避免了这些问题。但监督学习通过学习任务中被标记的数据来增加性能提升的机会,然而大量的人工标记数据集是昂贵的。针对这一问题,本专利技术采用自监督学习方法学习点云特征,用于点云分割。

3、自监督学习在无标记数据集上执行前置任务,以学习一种通用的特征表示,然后在较小的标记数据集上执行下游任务并进行微调。自监督学习算法在一定程度上解决了标记数据集不足的问题。在自监督学习方法中掩码自编码器在文本理解和图像理解等领域展现了其广泛的应用前景,许多研究也证明了该方案在点云数据学习方面的有效性。大部分基于掩码自编码器方法的点云自监督学习模型通常将点云划分为多个局部区域特征,屏蔽其中的一部分,然后利用未屏蔽区域他特征学习高级潜在特征,以预测被屏蔽的信息。但局部区域的划分大多使用最远点采样和k近邻方法,这需要大量的时间耗费,此外,为了使局部区域能够完全覆盖整个点云形状,k近邻划分的局部邻域不可避免会包含冗余信息。针对这一问题本专利技术构建基于体素提出全局掩码自编码器来进行点云自监督学习,它以不同体素分辨率的全局点云形状作为特征,再利用以标准transformer作为主干的自编码器从可见特征中预测被屏蔽的不同分辨率的体素特征。基于体素提出全局掩码自编码器直接对点云体素化操作,没有最远点采样和k近邻操作导致的时间耗费,且点云中的每个点只会被划分到一个体素块中,不会产生信息冗余。

4、通过上述分析,现有技术存在的问题及缺陷为:监督学习方法需要大量的人工标记数据集来提升模型性能,而大量的人工标记数据集十分昂贵;基于掩码自动编码器的点云自监督学习方法在划分局部区块时会有大量的时间消耗,导致模型效率的下降;基于掩码自动编码器的点云自监督学习方法在划分局部区块会不可避免包含冗余信息。

5、基于此,本专利技术设计了一种基于融合体素的全局掩码自编码器的点云分类分割方法及系统,以解决上述问题。


技术实现思路

1、本专利技术的目的在于:为了解决监督学习方法需要大量的人工标记数据集来提升模型性能,而大量的人工标记数据集十分昂贵;基于掩码自动编码器的点云自监督学习方法在划分局部区块时会有大量的时间消耗,导致模型效率的下降;基于掩码自动编码器的点云自监督学习方法在划分局部区块会不可避免包含冗余信息的问题,而提出的一种基于融合体素的全局掩码自编码器的点云分类分割方法及系统。

2、为了实现上述目的,本专利技术采用了如下技术方案:

3、一种基于融合体素的全局掩码自编码器的点云分类分割方法,包括:

4、步骤一,获取两种点云数据集,其中无标签的数据集用于预训练自监督学习,将有标签数据集按一定比例划分为训练集、验证集、测试集用于对下游任务进行微调,并对点云数据集进行预处理;

5、步骤二,构建多尺度体素特征生成模块,并构建基于融合体素的全局掩码自编码器模型;

6、步骤三,使用无标签数据集对基于融合体素的全局掩码自编码器模型进行预训练,以前置任务的重建损失最小为目标选取网络模型参数;

7、步骤四,基于预训练模型,构建用于下游任务的点云深度学习网络;

8、步骤五,将步骤三中预训练模型学习到的参数迁移至用于下游任务的点云深度学习网络,使用有标签数据集进行微调,其中使用训练集对网络进行训练,在训练过程中使用验证集获得最优的深度网络模型;

9、步骤六,将有标签数据集中的测试集输入选取的最优网络模型,得到点云分类结果。

10、作为上述技术方案的进一步描述:

11、所述步骤一中对点云数据集进行预处理包括:将点云数据集中的每个点云下采样,并将采样后的点坐标进行归一化和标准化。

12、作为上述技术方案的进一步描述:

13、所述步骤二中的构建多尺度体素特征生成模块,并构建基于融合体素的全局掩码自编码器模型,包括:

14、(1)构建多尺度体素特征生成模块;

15、多尺度体素特征的生成包括以下几个步骤:点云浅层特征提取、体素化、通道扩展、形状重塑及特征嵌入;

16、(2)构建基于融合体素的全局掩码自编码器模型;

17、基于融合体素的全局掩码自编码器使用非对称的编码器-解码器结构,以不同体素分辨率的全局点云形状作为编码器的输入。

18、作为上述技术方案的进一步描述:

19、所述步骤三中的使用无标签数据集对基于融合体素的全局掩码自编码器模型进行预训练,以前置任务的重建损失最小为目标选取网络模型参数包括:

20、使用无标签数据集对模型进行训练,将无标签数据集输入网络中。以预测掩码体素特征作为预测目标,来督促模型的学习。

21、作为上述技术方案的进一步描述:

22、所述步骤四中的基于预训练模型,构建用于下游任务的点云深度学习网络包括:

23、将基于融合体素的全局掩码自编码器中的解码器部分摈弃,将编码器提取到的高级潜在特征拼接,后接一个最大池化层,再跟上5个线性层,每个线性层用归一化、swish激活函数、随机丢失连接,由此构成用于下游分类任务的点云深度学习网络。

24、作为上述技术方案的进一步描述:

25、所述步骤五中的将步骤三中预训练模型学习到的参数迁移至用于下游任务的点云深度学习网络,使用有标签数据集进行微调,其中使用训练集对网络进行训练,在训练过程中使用验证集获得最优的深度网络模型包括:

26、(1)将预训练模型学习到的参数迁移至用于下游任务的点云深度学习网络;

27、(2)使用有标签数据集进行微调,将训练集输入网络中,计算交叉熵损失,更新网络的参数;

28、(3)使用验证集对进行测试并选取最优网络模型;

29、将验证集输入模型,数据处理包括点云下采样、归一化和标准化,然后得到预测标本文档来自技高网...

【技术保护点】

1.一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,包括:

2.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤一中对点云数据集进行预处理包括:将点云数据集中的每个点云下采样,并将采样后的点坐标进行归一化和标准化。

3.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤二中的构建多尺度体素特征生成模块,并构建基于融合体素的全局掩码自编码器模型,包括:

4.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤三中的使用无标签数据集对基于融合体素的全局掩码自编码器模型进行预训练,以前置任务的重建损失最小为目标选取网络模型参数包括:

5.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤四中的基于预训练模型,构建用于下游任务的点云深度学习网络包括:

6.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤五中的将步骤三中预训练模型学习到的参数迁移至用于下游任务的点云深度学习网络,使用有标签数据集进行微调,其中使用训练集对网络进行训练,在训练过程中使用验证集获得最优的深度网络模型包括:

7.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤六中的将有标签数据集中的测试集输入选取的最优网络模型,得到点云分类结果包括:

8.一种应如权利要求1~7任意一项所述的一种基于融合体素的全局掩码自编码器的点云分类方法的基于融合体素的全局掩码自编码器的点云分类系统,其特征在于,一种基于融合体素的全局掩码自编码器的点云分类系统包括:

9.一种计算机设备,其特征在于,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~7任意一项所述的一种基于融合体素的全局掩码自编码器的点云分类方法的步骤。

10.一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~7任意一项所述的一种基于融合体素的全局掩码自编码器的点云分类方法的步骤;

...

【技术特征摘要】

1.一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,包括:

2.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤一中对点云数据集进行预处理包括:将点云数据集中的每个点云下采样,并将采样后的点坐标进行归一化和标准化。

3.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤二中的构建多尺度体素特征生成模块,并构建基于融合体素的全局掩码自编码器模型,包括:

4.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤三中的使用无标签数据集对基于融合体素的全局掩码自编码器模型进行预训练,以前置任务的重建损失最小为目标选取网络模型参数包括:

5.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步骤四中的基于预训练模型,构建用于下游任务的点云深度学习网络包括:

6.根据权利要求1所述的一种基于融合体素的全局掩码自编码器的点云分类分割方法,其特征在于,所述步...

【专利技术属性】
技术研发人员:周伟金卫卫刘坤龙郝星星王德奎陈莉
申请(专利权)人:西北大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1