一种三维预训练大模型参数高效型微调方法及系统技术方案

本申请涉及三维预训练模型技术领域，特别涉及一种三维预训练大模型参数高效型微调方法及系统，该方法包括：对三维点云数据进行分块并编码，形成点云令牌序列；以下游任务训练数据集中的

【技术实现步骤摘要】
一种三维预训练大模型参数高效型微调方法及系统


[0001]本申请实施例涉及三维预训练模型
，特别涉及一种三维预训练大模型参数高效型微调方法及系统
。

技术介绍

[0002]三维预训练大模型的流行已经颠覆了传统三维领域下游任务的学习方式，通过在大规模
3D
数据集上进行无监督预训练，迁移到下游任务后获得相当可观的性能表现
。
[0003]目前主流的方法是在适配到下游任务的时候将大模型的所有参数在原有基础上重新进行训练，这将会导致昂贵的计算资源消耗
。
在二维图像和语言处理领域，一些参数高效微调
(Parameter
‑
Efficient Fine
‑
tuning)
技术已经被提出，通过微调部分参数以最小化下游任务的适配成本并取得不错的性能表现
。
[0004]现有的针对三维预训练模型提出的参数高效微调技术，仅从提示调节的角度进行了设计，忽略了三维领域特有的知识和参数高效微调技术的多样性，在参数量相对较多的情况下性能并没有得到良好的提升
。
因此，目前针对三维预训练大模型的专有高效微调框架仍有待开发
。

技术实现思路

[0005]本申请实施例提供一种三维预训练大模型参数高效型微调方法及系统，在有效提升预训练模型性能的同时大大减少了可学习参数数量
。
[0006]为解决上述技术问题，第一方面，本申请实施例提供了一种三维预训练大模型参数高效型微调方法，该方法包括以下步骤：首先，对三维点云数据进行分块并编码，形成点云令牌序列；然后，以下游任务训练数据集中的
3D
特征作为先验知识，构建点云先验库；并以点云令牌序列作为预训练模型的输入，在预训练模型的编码器模块中，将可学习提示令牌添加至所述点云令牌序列前，采用无参数的注意力机制，并结合点云先验库中的先验知识对所述可学习提示令牌进行增强，得到强化后的提示令牌；接下来，通过几何感知适配器对所述强化后的提示令牌进行聚类，并通过自注意力机制进行局部特征交互后，得到调整后的令牌；最后，将调整后的令牌输入下游任务头，得到预测输出
。
[0007]在一些示例性实施例中，对三维点云数据进行分块并编码，形成点云令牌序列，包括以下步骤：首先，从原始点云中采样，得到子点云；然后，基于空间位置信息，将所述子点云分割为多个点云块；最后，对每个点云块进行编码，获取点云块的表征，形成点云令牌序列
。
[0008]在一些示例性实施例中，通过随机采样或最远点采样的方式，从原始点云中采样部分点，得到子点云
。
[0009]在一些示例性实施例中，每个点云块中包括固定数量的点
。
[0010]在一些示例性实施例中，预训练模型包括多个编码器模块，每个编码器模块包括依次连接的自注意力层
、
前馈网络以及几何感知适配器；自注意力层和所述前馈网络用于
探索点云中的全局形状信息和长程依赖性，增强特征表示的能力；几何感知适配器用于与自注意力层的长程依赖性达到互补，汇聚局部几何信息并抓取细粒度的三维结构
。
[0011]在一些示例性实施例中，编码器模块由变形器网络结构构成
。
[0012]在一些示例性实施例中，通过最远点采样和
K
近邻的方式对所述强化后的提示令牌进行聚类
。
[0013]在一些示例性实施例中，下游任务训练数据集通过对三维下游数据集划分得到；所述三维下游数据集为下游三维场景任务的数据集
。
[0014]第二方面，本申请实施例还提供了一种三维预训练大模型参数高效型微调系统，包括预训练模型，预训练模型包括依次连接的三维令牌嵌入模块
、
点云先验提示模块
、
几何感知适配器模块以及下游任务头；其中，三维令牌嵌入模块用于对三维点云数据进行分块并编码，形成点云令牌序列；点云先验提示模块用于以下游任务训练数据集中的
3D
特征作为先验知识，构建点云先验库；并以点云令牌序列作为预训练模型的输入，在预训练模型的编码器模块中，将可学习提示令牌添加至所述点云令牌序列前，采用无参数的注意力机制，并结合点云先验库中的先验知识对所述可学习提示令牌进行增强，得到强化后的提示令牌；几何感知适配器模块用于对所述强化后的提示令牌进行聚类，并通过自注意力机制进行局部特征交互后，得到调整后的令牌；下游任务头用于根据调整后的令牌，得到预测输出
。
[0015]在一些示例性实施例中，上述三维预训练大模型参数高效型微调系统还包括：数据处理模块
、
验证与应用模块；所述数据处理模块的输出端与所述预训练模型的输入端连接；所述验证与应用模块的输入端与所述预训练模型的输出端连接；数据处理模块用于获取三维下游数据集，并对所述三维下游数据集进行拆分，分别得到下游任务训练数据集
、
下游任务测试数据集；验证与应用模块用于对所述预训练模型输出的预测结果进行验证，并将预测结果应用于三维下游任务
。
[0016]本申请实施例提供的技术方案至少具有以下优点：
[0017]本申请实施例提供一种三维预训练大模型参数高效型微调方法及系统，该方法包括以下步骤：首先，对三维点云数据进行分块并编码，形成点云令牌序列；然后，以下游任务训练数据集中的
3D
特征作为先验知识，构建点云先验库；并以点云令牌序列作为预训练模型的输入，在预训练模型的编码器模块中，将可学习提示令牌添加至所述点云令牌序列前，采用无参数的注意力机制，并结合点云先验库中的先验知识对所述可学习提示令牌进行增强，得到强化后的提示令牌；接下来，通过几何感知适配器对所述强化后的提示令牌进行聚类，并通过自注意力机制进行局部特征交互后，得到调整后的令牌；最后，将调整后的令牌输入下游任务头，得到预测输出
。
[0018]本申请提出了一种三维预训练大模型参数高效微调方法及系统，使用极少可学习参数来微调点云预训练模型，从而在各种下游任务上达到优于完全微调的效果
。
本申请通过探索如何有效地将下游三维语义融入预训练模型来达到高效微调
。
针对点云稀疏和不规则的特点，本申请提出点云先验提示模块，在每个转换器块前，本申请会在输入点云特征之前添加一组可学习的提示令牌，将下游知识注入预训练模型中
。
此外，本申请还提出几何感知适配器模块，插入在预训练的自注意力层和前馈网络之后，与预训练注意力层的长程依赖性达到互补，汇聚局部几何信息并抓取细粒度的三维结构
。
该方法冻结大多数的预训练
参数，结合三维领域的特有知识和局部特征交互，仅对新增的模块和任务头在下游任务进行微调，证明具有更高的效率和性能
。
附图说明
[0019]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维预训练大模型参数高效型微调方法，其特征在于，包括：对三维点云数据进行分块并编码，形成点云令牌序列；以下游任务训练数据集中的
3D
特征作为先验知识，构建点云先验库；并以点云令牌序列作为预训练模型的输入，在预训练模型的编码器模块中，将可学习提示令牌添加至所述点云令牌序列前，采用无参数的注意力机制，并结合点云先验库中的先验知识对所述可学习提示令牌进行增强，得到强化后的提示令牌；通过几何感知适配器对所述强化后的提示令牌进行聚类，并通过自注意力机制进行局部特征交互后，得到调整后的令牌；将调整后的令牌输入下游任务头，得到预测输出
。2.
根据权利要求1所述的三维预训练大模型参数高效型微调方法，其特征在于，所述对三维点云数据进行分块并编码，形成点云令牌序列，包括以下步骤：从原始点云中采样，得到子点云；基于空间位置信息，将所述子点云分割为多个点云块；对每个点云块进行编码，获取点云块的表征，形成点云令牌序列
。3.
根据权利要求2所述的三维预训练大模型参数高效型微调方法，其特征在于，通过随机采样或最远点采样的方式，从原始点云中采样部分点，得到子点云
。4.
根据权利要求2所述的三维预训练大模型参数高效型微调方法，其特征在于，每个点云块中包括固定数量的点
。5.
根据权利要求1所述的三维预训练大模型参数高效型微调方法，其特征在于，所述预训练模型包括多个编码器模块，每个编码器模块包括依次连接的自注意力层
、
前馈网络以及几何感知适配器；所述自注意力层和所述前馈网络用于探索点云中的全局形状信息和长程依赖性，增强特征表示的能力；所述几何感知适配器用于与自注意力层的长程依赖性达到互补，汇聚局部几何信息并抓取细粒度的三维结构
。6.
根据权利要求1所述的三维预训练大模型参数高效型微调方法，其特征在于，所述编码器模块由变形器网络结构构成
。7.<...

【专利技术属性】
技术研发人员：赵斌，李学龙，汤轶文，张仁瑞，郭子瑜，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：