【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种基于低秩分解的参数更新方法、装置、设备及存储介质。
技术介绍
1、在现代金融行业中，随着大数据和人工智能技术的快速发展，金融机构越来越依赖于数据驱动的决策模型。这些模型广泛应用于风险管理、信用评估、市场预测、欺诈检测等关键业务领域。然而，随着金融数据的规模和复杂性的不断增加，如何有效地训练和优化这些模型，特别是在保证模型准确性的同时，降低计算资源的消耗，已成为一项亟待解决的技术难题。
2、传统的金融模型通常依赖于大量的历史数据进行训练，这些模型的复杂度和参数数量往往非常庞大。这不仅增加了训练和部署的成本，还对计算资源提出了更高的要求。此外，由于金融数据的多样性和动态性，模型的泛化能力和实时更新的需求也越来越高。
3、为了解决这些问题，近年来，基于低秩分解的模型压缩和优化技术逐渐受到关注。低秩分解技术可以在不显著降低模型性能的前提下，减少模型的参数数量，从而降低计算复杂度，适用于在资源有限的环境中部署金融模型。此外，低秩分解还可以与其他优化技术(如增量式更新、学习率衰减)结合使用，以进一步提升模型的实时性和精度。
4、在金融领域，使用低秩分解技术进行模型优化的典型应用包括：
5、信用评分模型优化：通过对信用评分模型进行低秩分解，可以有效减少模型的计算负担，提高模型的实时评分能力，特别是在处理海量用户数据时尤为重要。
6、欺诈检测：通过将低秩分解应用于欺诈检测模型，可以在保证高准确率的同时，减少模型在实际运行中的资源消耗，使其能够在高并发
技术实现思路
1、本专利技术的主要目的在于提供一种基于低秩分解的参数更新方法、装置、设备及存储介质，旨在解决现有技术在处理大规模金融数据时面临计算资源高消耗以及模型性能与复杂度难以平衡的技术问题。
2、为实现上述目的，本专利技术提供一种基于低秩分解的参数更新方法，所述基于低秩分解的参数更新方法包括以下步骤：
3、确定预训练模型，获取源数据集，利用所述源数据集训练所述预训练模型，得到源模型；
4、固定所述源模型的所有层的参数，向所述源模型中插入预设数量的数据处理层；
5、获取训练数据集，利用所述训练数据集训练插入的所述数据处理层，利用增量式方式更新所述数据处理层的参数，获得目标模型。
6、在一个实施例中，所述利用增量式方式更新所述数据处理层的参数，包括：
7、将所述数据处理层的权重矩阵分解为两个秩低于原始权重矩阵秩的矩阵，分别表示为第一矩阵和第二矩阵；
8、所述第一矩阵的维度与所述源模型的预训练权重矩阵的行数相同，所述第二矩阵的维度与所述源模型的预训练权重矩阵的列数相同；
9、保持源模型的预训练权重矩阵不变，更新新增数据处理层的第一矩阵和第二矩阵的参数；
10、更新后的数据处理层的权重矩阵由第一矩阵和第二矩阵的乘积与源模型的预训练权重矩阵的和组成，形成目标模型的最终权重矩阵。
11、在一个实施例中，所述获取训练数据集，包括：
12、选取候选训练数据集，利用词嵌入技术将所述候选训练数据集和所述源数据集中标签转换为向量表示，分别表示为候选标签向量表示和源标签向量表示；
13、利用余弦相似性计算所述候选标签向量表示和源标签向量表示之间的标签相似度；
14、若所述标签相似度高于相似度阈值，则将所述候选训练数据集作为训练所述数据处理层的训练数据集。
15、在一个实施例中，所述利用增量式方式更新所述数据处理层的参数，包括：
16、设置初始学习率以及学习率衰减策略，将训练数据集分成多个小批量数据，每个小批量数据中包含固定预设数量的样本；
17、每次从训练数据集中提取一个小批量数据，进行前向传播以计算模型的预测结果；
18、根据预测结果和实际标签计算损失函数，通过后向传播计算损失函数相对于数据处理层的参数的梯度，利用当前的学习率更新参数；
19、在每次使用小批量数据更新数据处理层的参数后，根据当前的学习率衰减策略调整学习率，直到所有的小批量数据处理完毕。
20、在一个实施例中，所述获得目标模型之后，还包括：
21、获取验证数据集，根据所述目标模型的任务需求确定评估指标；
22、通过所述验证数据集计算所述目标模型的预测结果，并根据选定的评估指标进行量化评估，生成综合评估结果；
23、分析所述综合评估结果，调整所述目标模型的参数。
24、在一个实施例中，向所述源模型中插入预设数量的数据处理层，包括：
25、基于目标任务的需求确定插入层的类型，根据插入层的类型设计插入层的预设数量和深度；
26、分析所述源模型的层结构，确定插入层在所述源模型中插入的位置；
27、根据所述插入层的类型、插入层的预设数量和深度以及插入的位置向所述源模型中插入数据处理层；
28、根据所述插入层的类型确定初始化策略，通过所述初始化策略对插入的数据处理层的所有权重和偏置进行初始化。
29、在一个实施例中，确定预训练模型，获取源数据集，利用所述源数据集训练所述预训练模型，得到源模型，包括：
30、基于目标任务的需求确定预训练模型，选择与目标任务的特征匹配的源数据集；
31、根据目标任务的复杂度与源数据集的规模设置模型训练的参数，包括学习率与训练轮数；
32、对所述源数据集进行数据增强处理，同时进行标准化或归一化处理；
33、基于处理后的源数据集以及模型训练的参数训练所述预训练模型，得到所述源模型。
34、在一个实施例中，为实现上述目的，本专利技术还提供一种基于低秩分解的参数更新装置，所述基于低秩分解的参数更新装置包括：
35、模型预训练模块，确定预训练模型，获取源数据集，利用所述源数据集训练所述预训练模型，得到源模型；
36、参数固定模块，固定所述源模型的所有层的参数，向所述源模型中插入预设数量的数据处理层；
37、参数更新模块，获取训练数据集，利用所述训练数据集训练插入的所述数据处理层，利用增量式方式更新所述数据处理层的参数，获得目标模型。
38、在一个实施例中，为实现上述目的，本专利技术还提供一种基于低秩分解的参数更新设备，所述基于低秩分解的参数更新设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于低秩分解的参数更新程序，所述基于低秩分解的参数更新程序被所述处理器执行时实现如上述所述的基于低秩分解的参数更新方法的步骤。
39、在一个实施例中，为实现上述目的，本专利技术还提供一种存储介质，所述存储介质上存储有基于低秩分解的参数更新程序，所述基于低秩分解的参数更新程序被处理器执行时实现如上所述的基于低秩分解的参数更新方法的步骤。
40、有益效果：本专利技术涉及一本文档来自技高网...
【技术保护点】
1.一种基于低秩分解的参数更新方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，所述利用增量式方式更新所述数据处理层的参数，包括：
3.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，所述获取训练数据集，包括：
4.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，所述利用增量式方式更新所述数据处理层的参数，包括：
5.如权利要求1中所述的基于低秩分解的参数更新方法，其特征在于，所述获得目标模型之后，还包括：
6.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，向所述源模型中插入预设数量的数据处理层，包括：
7.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，确定预训练模型，获取源数据集，利用所述源数据集训练所述预训练模型，得到源模型，包括：
8.一种基于低秩分解的参数更新装置，其特征在于，所述基于低秩分解的参数更新装置包括：
9.一种基于低秩分解的参数更新设备，其特征在于，所述基于低秩分解的参数更新设
10.一种计算机存储介质，其特征在于，所述存储介质上存储有基于低秩分解的参数更新程序，所述基于低秩分解的参数更新程序被处理器执行时实现如权利要求1-7中任一项所述的基于低秩分解的参数更新方法的步骤。
...【技术特征摘要】
1.一种基于低秩分解的参数更新方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，所述利用增量式方式更新所述数据处理层的参数，包括：
3.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，所述获取训练数据集，包括：
4.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，所述利用增量式方式更新所述数据处理层的参数，包括：
5.如权利要求1中所述的基于低秩分解的参数更新方法，其特征在于，所述获得目标模型之后，还包括：
6.如权利要求1所述的基于低秩分解的参数更新方法，其特征在于，向所述源模型中插入预设数量的数据处理层，包括：
7.如权利要求1所述的基于低秩分解的参数更新方法，...
【专利技术属性】
技术研发人员：李乐吟，张翔，张天祥，王磊，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。