【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种面向集成学习的大模型微调下的问答方法及装置。
技术介绍
1、随着人工智能技术的快速发展，llms(large language models，llms)如gpt-4等在自然语言处理(natural language processing，nlp)领域取得了显著的进展。这些模型通过学习大量文本数据，能够生成连贯、逻辑性强的文本，并在多种语言任务中展现出色的表现。然而，尽管llms在通用性能上表现出色，它们在特定领域的应用仍面临一些挑战。
2、首先，llms通常在大规模的通用数据集上进行训练，这可能导致模型在特定领域的知识覆盖不足。例如，在工业领域，模型可能需要理解特定的行业术语、操作流程和安全规范，这些知识在通用数据集中可能并不常见。此外，llms在生成文本时可能会出现所谓的“幻觉”现象，即生成与现实不符或不准确的信息，这在需要高度准确性的领域中是不可接受的。
3、为了解决这些问题，提高llms在特定领域中的适用性和实用性，需要对其进行针对性的微调。微调过程旨在使模型能够生成符合特定领域需求的文本，同时减少不准确或不相关的输出。然而，传统的微调方法往往依赖于大量的标注数据，这在某些领域可能难以获得，特别是在多模态环境中，如图像和视频内容的标注成本更高。
4、此外，人类的偏好和需求是多样化的，且随着时间的推移和环境的变化而变化。因此，需要一种能够持续适应并精准对齐人类偏好的方法，以提升模型在实际应用中的用户体验和满意度。
技术实现思路
1、针对现有技术存在的上述问题，本专利技术提供一种面向集成学习的大模型微调下的问答方法及装置。
2、本专利技术提供一种面向集成学习的大模型微调下的问答方法，包括：
3、对llms模型进行预训练得到基准llms模型；
4、基于集成学习策略对奖励模型进行训练，得到集成奖励模型；
5、基于强化学习策略根据所述集成奖励模型输出的奖励分数对所述基准llms模型进行微调，得到目标llms模型；
6、将用户的问题输入目标llms模型，得到所述问题的答案。
7、根据本专利技术提供的一种面向集成学习的大模型微调下的问答方法，所述基于集成学习策略对奖励模型进行训练，得到集成奖励模型，包括：
8、将第一数据多次输入所述基准llms模型中，得到所述基准llms模型输出的所述第一数据的各答案，根据所述第一数据和所述第一数据的各答案生成第一问答对；
9、获取人工对所述第一数据的各答案的修订结果，所述第一数据和所述各答案的修订结果生成第二问答对；
10、根据所述第一问答对的质量对所述第一问答对进行排序，根据所述第二问答对的质量对所述第二问答对进行排序，所述第二问答对的排序位置位于所述第一问答对的排序位置之前，按照排序结果将所述第一问答和所述第二问答存入反馈数据库；
11、基于集成学习策略使用所述反馈数据库对所述奖励模型进行训练，得到集成奖励模型。
12、根据本专利技术提供的一种面向集成学习的大模型微调下的问答方法，所述基于集成学习策略使用所述反馈数据库对所述奖励模型进行训练，得到集成奖励模型，包括：
13、将所述反馈数据库中的数据划分为训练集和验证集；
14、使用所述训练集中的不同数据子集和/或不同超参数对多个奖励模型进行训练；
15、使用所述验证集中对训练后的各奖励模型进行验证，得到所述各奖励模型在所述验证集上的性能指标评价函数值；
16、将根据所述各奖励模型在所述验证集上的性能指标评价函数值对所述多个奖励模型进行融合，得到集成奖励模型。
17、根据本专利技术提供的一种面向集成学习的大模型微调下的问答方法，所述集成奖励模型的权重通过以下公式获取：
18、
19、其中，为所述集成奖励模型的权重，为第i个奖励模型rmi的权重，n为所述奖励模型的数量，pf(rmi)为第i个奖励模型在所述验证集上的性能指标评价函数值，为第i个奖励模型在所述验证集中的第一问答对上的性能指标评价函数值，为第i个奖励模型在所述验证集中的第二问答对上的性能指标评价函数值，α为预设调节系数，在大于所述时α为正数，否则为负数。
20、根据本专利技术提供的一种面向集成学习的大模型微调下的问答方法，所述使用所述训练集中的不同数据子集和/或不同超参数对多个奖励模型进行训练，包括：
21、将所述训练集中的不同数据子集和/或不同超参数输入所述各奖励模型；
22、根据所述各奖励模型输出所述训练集的奖励分数是否为马尔可夫，确定所述各奖励模型的偏好概率；
23、根据所述各奖励模型对所述训练集的的偏好概率和预设偏好标签之间的交叉熵损失，确定所述各奖励模型的损失函数；
24、根据所述各奖励模型的损失函数对所述各奖励模型的权重进行调整。
25、根据本专利技术提供的一种面向集成学习的大模型微调下的问答方法，所述奖励模型为多层感知机(multilayer perceptron，mlp)、卷积神经网络(convolutional neuralnetwork，cnn)或transformer模型。
26、根据本专利技术提供的一种面向集成学习的大模型微调下的问答方法，所述基于强化学习策略根据所述集成奖励模型输出的奖励分数对所述基准llms模型进行微调，得到目标llms模型，包括：
27、将第二数据分别输入所述基准llms模型和目标llms模型，得到所述基准llms模型和所述目标llms模型输出的所述第二数据的答案；
28、将所述基准llms模型和所述目标llms模型输出的所述第二数据的答案分别输入策略模型，得到所述策略模型的输出之间的惩罚项；
29、将所述目标llms模型输出的所述第二数据的答案输入所述集成奖励模型，得到所述集成奖励模型输出的奖励分数；
30、根据所述惩罚项和所述奖励分数，确定所述目标llms模型的损失函数；
31、根据所述目标llms模型的损失函数对所述目标llms模型的权重进行调整。
32、根据本专利技术提供的一种面向集成学习的大模型微调下的问答方法，在所述将用户的问题输入目标llms模型，得到所述问题的答案之后，还包括：
33、获取用户对所述问题的答案的评估和修改；
34、将所述评估和修改作为新的数据集，对所述目标llms模型进行再次微调。
35、本专利技术还提供一种面向集成学习的大模型微调下的问答装置，包括：
36、第一预训练模块，用于对llms模型进行预训练得到基准llms模型；
37、第二预训练模块，用于基于集成学习策略对奖励模型进行训练，得到集成奖励模型；
38、微调模块，用于基于强化学习策略根据所述集成奖励模型输出的奖励分数对所述基准llms模型进行微调，得到目标llms模型；...
【技术保护点】
1.一种面向集成学习的大模型微调下的问答方法，其特征在于，包括：
2.根据权利要求1所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述基于集成学习策略对奖励模型进行训练，得到集成奖励模型，包括：
3.根据权利要求2所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述基于集成学习策略使用所述反馈数据库对所述奖励模型进行训练，得到集成奖励模型，包括：
4.根据权利要求3所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述集成奖励模型的权重通过以下公式获取：
5.根据权利要求3所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述使用所述训练集中的不同数据子集和/或不同超参数对多个奖励模型进行训练，包括：
6.根据权利要求1-5任一所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述奖励模型为多层感知机、卷积神经网络或Transformer模型。
7.根据权利要求1-5任一所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述基于强化学习策略根据所述集成奖励模型输出的奖
8.根据权利要求1-5任一所述的面向集成学习的大模型微调下的问答方法，其特征在于，在所述将用户的问题输入目标LLMs模型，得到所述问题的答案之后，还包括：
9.一种面向集成学习的大模型微调下的问答装置，其特征在于，包括：
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述面向集成学习的大模型微调下的问答方法。
...【技术特征摘要】
1.一种面向集成学习的大模型微调下的问答方法，其特征在于，包括：
2.根据权利要求1所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述基于集成学习策略对奖励模型进行训练，得到集成奖励模型，包括：
3.根据权利要求2所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述基于集成学习策略使用所述反馈数据库对所述奖励模型进行训练，得到集成奖励模型，包括：
4.根据权利要求3所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述集成奖励模型的权重通过以下公式获取：
5.根据权利要求3所述的面向集成学习的大模型微调下的问答方法，其特征在于，所述使用所述训练集中的不同数据子集和/或不同超参数对多个奖励模型进行训练，包括：
6.根据权利要求1-5任一所述的面向集成学习的大模型微调下的...
【专利技术属性】
技术研发人员：毕敬，麻鸿耀，王梓奇，乔俊飞，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。