【技术实现步骤摘要】
本专利技术涉及机器学习领域，特别涉及一种行业大模型优化方法、装置、设备及存储介质。
技术介绍
1、在自然语言处理（nlp，natural language processing）这一广泛而深入的
中，模型微调技术占据了极为重要的地位，它是推动nlp应用进步和性能优化的关键子领域之一。模型微调，通常是指在预训练的基础上，针对特定任务对行业大模型进行调整的过程，以适应新的数据集和任务需求。这种方法充分利用了预训练行业大模型的泛化能力，同时通过微调来捕捉目标任务特有的语言特征和上下文信息，从而显著提升模型在特定应用场景下的表现。虽然技术在不断发展，也有相关技术的方法例如，一种银行业大语言模型训练方法，但是这个方法在具体的行业大模型的语义理解能力还有待加强，有可能在理解用户的某些问题存在困难，这就可能导致生成的回答与用户的真正想要的回答有一些出入，尤其是一些新问题和涉及新指标需求的问题方面。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种行业大模型优化方法、装置、设备及存储介质，能够通过对行业大模型的优化训练，提高不同行业大模型对特定行业数据的回答能力，从而大幅提升用户使用体验。其具体方案如下：
2、第一方面，本申请公开了一种行业大模型优化方法，包括：
3、识别目标项目对应的行业知识需求，以确定目标问答对与数据集，并根据所述目标问答对与数据集确定初始问题集；
4、基于应用程序接口对所述初始问题集进行语义扩充，以得到相应的目标问题集，利用根
5、通过所述目标问题集确定的测试集对所述训练后大模型进行分析测试，根据相应的测试结果对所述训练后大模型进行优化，以得到目标大模型；
6、将所述目标大模型与所述目标项目上的原始行业大模型进行合并，并将相应的合并后大模型部署至预先创建的生产环境，以完成对所述目标项目对应的大模型的上线与优化。
7、可选的，所述基于应用程序接口对所述初始问题集进行语义扩充，以得到相应的目标问题集，包括：
8、根据所述目标项目的需求设定扩充倍数，根据所述扩充倍数基于应用程序接口对所述初始问题集进行语义扩充。
9、可选的，所述根据所述目标问答对与数据集确定初始问题集之前，还包括：
10、将所述初始问题集对应的标注数据样表转化为js键值对数据，以便所述行业大模型基于所述js键值对数据进行训练。
11、可选的，所述利用根据所述目标问题集确定的训练集对行业大模型进行训练，获取相应的训练后大模型，包括：
12、根据所述目标项目的需求确定测试集比例，基于所述测试集比例从所述目标问题集中筛选所述训练集；
13、将所述训练集对应的所述js键值对数据集成至预先确定的训练脚本中，基于所述训练脚本对行业大模型进行训练，获取相应的训练后大模型。
14、可选的，所述利用根据所述目标问题集确定的训练集对行业大模型进行训练之前，还包括：
15、确定所述行业大模型部署的环境对应的空闲图形处理器以及端口，以便基于所述空闲图形处理器以及所述端口对行业大模型进行训练。
16、可选的，所述根据相应的测试结果对所述训练后大模型进行优化，以得到目标大模型，包括：
17、根据所述训练后大模型的目标性能指标的第一测试结果和对所述训练后大模型进行交叉验证后的第二测试结果对所述训练后大模型进行迭代优化，以得到所述目标大模型；所述目标性能指标包括计算准确性、精准率以及召回率中的任意一种或几种的组合。
18、可选的，所述将相应的合并后大模型部署至预先创建的生产环境，以完成对所述目标项目对应的大模型的上线与优化，包括：
19、将所述合并后大模型封装为应用程序编程接口，基于所述应用程序编程接口通过灰度发布在预先创建的生产环境上进行部署，以完成对所述目标项目对应的大模型的上线与优化；所述预先创建的生产环境包括基础架构和安全配置。
20、第二方面，本申请公开了一种行业大模型优化装置，包括：
21、初始问题集确定模块，用于识别目标项目对应的行业知识需求，以确定目标问答对与数据集，并根据所述目标问答对与数据集确定初始问题集；
22、训练后大模型获取模块，用于基于应用程序接口对所述初始问题集进行语义扩充，以得到相应的目标问题集，利用根据所述目标问题集确定的训练集对行业大模型进行训练，获取相应的训练后大模型；
23、大模型测试模块，用于通过所述目标问题集确定的测试集对所述训练后大模型进行分析测试，根据相应的测试结果对所述训练后大模型进行优化，以得到目标大模型；
24、大模型上线与优化模块，用于将所述目标大模型与所述目标项目上的原始行业大模型进行合并，并将相应的合并后大模型部署至预先创建的生产环境，以完成对所述目标项目对应的大模型的上线与优化。
25、第三方面，本申请公开了一种电子设备，包括：
26、存储器，用于保存计算机程序；
27、处理器，用于执行所述计算机程序以实现前述的行业大模型优化方法。
28、第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的行业大模型优化方法。
29、本申请在对行业大模型进行优化时，首先识别目标项目对应的行业知识需求，以确定目标问答对与数据集，并根据所述目标问答对与数据集确定初始问题集；然后基于应用程序接口对所述初始问题集进行语义扩充，以得到相应的目标问题集，利用根据所述目标问题集确定的训练集对行业大模型进行训练，获取相应的训练后大模型；再通过所述目标问题集确定的测试集对所述训练后大模型进行分析测试，根据相应的测试结果对所述训练后大模型进行优化，以得到目标大模型；最后将所述目标大模型与所述目标项目上的原始行业大模型进行合并，并将相应的合并后大模型部署至预先创建的生产环境，以完成对所述目标项目对应的大模型的上线与优化。可见，本申请通过识别并界定项目特有的关键信息，并据此设定一组初始问题，利用初始问题集，通过一种机制扩展语义内容，对初始问题集进行语义扩充，得到目标问题集；接着，将对行业大模型实施定向微调训练。训练完成后，利用预先准备的测试集来验证模型，在模型的表现满足精度标准，并通过所有必要的验证后便将其部署上线。这样一来，本申请不仅提升工作效能，还增强了解决行业大模型理解特定问题的能力，从而显著优化用户的互动体验。通过扩充问题集的方法，省去了大量的人工操作，极大提升了根据特定问题生成训练数据集的速度与效率，更有效地自动调整行业大型模型以适应多变的数据格式和不断演进的需求，显著增强了模型的灵活性与泛用性。
本文档来自技高网...【技术保护点】
1.一种行业大模型优化方法，其特征在于，包括：
2.根据权利要求1所述的行业大模型优化方法，其特征在于，所述基于应用程序接口对所述初始问题集进行语义扩充，以得到相应的目标问题集，包括：
3.根据权利要求1所述的行业大模型优化方法，其特征在于，所述根据所述目标问答对与数据集确定初始问题集之前，还包括：
4.根据权利要求3所述的行业大模型优化方法，其特征在于，所述利用根据所述目标问题集确定的训练集对行业大模型进行训练，获取相应的训练后大模型，包括：
5.根据权利要求1所述的行业大模型优化方法，其特征在于，所述利用根据所述目标问题集确定的训练集对行业大模型进行训练之前，还包括：
6.根据权利要求1所述的行业大模型优化方法，其特征在于，所述根据相应的测试结果对所述训练后大模型进行优化，以得到目标大模型，包括：
7.根据权利要求1至6任一项所述的行业大模型优化方法，其特征在于，所述将相应的合并后大模型部署至预先创建的生产环境，以完成对所述目标项目对应的大模型的上线与优化，包括：
8.一种行业大模型优化装置，
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的行业大模型优化方法。
...【技术特征摘要】
1.一种行业大模型优化方法，其特征在于，包括：
2.根据权利要求1所述的行业大模型优化方法，其特征在于，所述基于应用程序接口对所述初始问题集进行语义扩充，以得到相应的目标问题集，包括：
3.根据权利要求1所述的行业大模型优化方法，其特征在于，所述根据所述目标问答对与数据集确定初始问题集之前，还包括：
4.根据权利要求3所述的行业大模型优化方法，其特征在于，所述利用根据所述目标问题集确定的训练集对行业大模型进行训练，获取相应的训练后大模型，包括：
5.根据权利要求1所述的行业大模型优化方法，其特征在于，所述利用根据所述目标问题集确定的训练集对行业大模型进行训...
【专利技术属性】
技术研发人员：林家瑞，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。