【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于大语言模型的业务处理方法及装置。
技术介绍
1、随着用户对于大模型能力的需求不断多元化，lora、ia3等高效参数微调方法成为了大模型定制化主流方法。用户通过对微调少量或额外的模型参数，得到具有特定能力的大模型，并部署于算力网络中，供具体业务调用。随着业务场景的增加，大模型数量及复杂程度逐渐提升，模型的部署推理阶段对算力网络中存储和计算资源的需求剧增，这对于大模型运行性能、企业服务成本均产生显著影响。
2、在当前的大模型部署方法中，每个业务需求都需要独立的定制化大模型，导致显存和存储资源的需求成倍增加，对算力网络构成巨大负担，另外，当模型被训练以处理多种业务时，可能在某些特定任务上的表现不如专门针对单一任务训练的模型，并且随着新任务的加入，模型可能需要重新训练，导致资源消耗和时间成本的大幅增加，开发迭代成本高，业务处理效率低。
技术实现思路
1、本专利技术提供一种基于大语言模型的业务处理方法及装置，用以提升基于大语言模型的业务处理效率。
2、本专利技术提供一种基于大语言模型的业务处理方法，包括：
3、基于算力网络接收目标业务请求，所述算力网络是用于处理业务请求的计算资源，所述算力网络中部署了基座大语言模型以及所述基座大语言模型的多个适配器；
4、所述算力网络基于预先存储的业务请求与适配器之间映射关系，从所述多个适配器中确定所述目标业务请求对应的目标适配器；
5、所述算力网络基于所述基
6、根据本专利技术提供的一种基于大语言模型的业务处理方法，算力网络基于所述基座大语言模型以及所述目标适配器，构建所述目标业务请求的目标推理服务之前，还包括：
7、将所述多个适配器设置为未激活状态；
8、所述算力网络基于自适应缓存替换算法以及所述多个适配器的历史使用频次进行分析，预测未来频繁调用的适配器；
9、将所述未来频繁调用的适配器从非激活状态设置为激活状态。
10、根据本专利技术提供的一种基于大语言模型的业务处理方法，所述算力网络基于所述基座大语言模型以及所述目标适配器，构建所述目标业务请求的目标推理服务，包括：
11、所述算力网络基于配置文件，调用所述目标业务请求对应的目标适配器，所述配置文件是基于各适配器名称的哈希值以及各适配器的权重数据构建的；
12、所述算力网络将所述目标适配器加载至所述基座大语言模型，以构建所述目标业务请求的目标推理服务。
13、根据本专利技术提供的一种基于大语言模型的业务处理方法，所述算力网络将所述目标适配器加载至所述基座大语言模型，包括：
14、在所述基座大语言模型已加载适配器的情况下，基于异步锁，将所述基座大语言模型中适配器切换至所述目标适配器，以使所述目标适配器加载至所述基座大语言模型中。
15、根据本专利技术提供的一种基于大语言模型的业务处理方法，还包括：
16、所述算力网络接收适配器的变更请求；
17、基于所述变更请求，对所述多个适配器进行变更，得到变更后的适配器，并基于变更后的适配器，更新所述配置文件。
18、根据本专利技术提供的一种基于大语言模型的业务处理方法，所述算力网络基于预先存储的业务请求与适配器之间映射关系，从所述多个适配器中确定所述目标业务请求对应的目标适配器，进一步包括：
19、在基于所述映射关系，无法从所述多个适配器中确定所述目标业务请求对应的适配器的情况下，对所述目标业务请求进行分析，从所述目标业务请求中确定对应的适配器。
20、本专利技术还提供一种基于大语言模型的业务处理装置，包括：
21、业务请求接收模块，用于基于算力网络接收目标业务请求，所述算力网络是用于处理业务请求的计算资源，所述算力网络中部署了基座大语言模型以及所述基座大语言模型的多个适配器；
22、适配器匹配模块，用于所述算力网络基于预先存储的业务请求与适配器之间映射关系，从所述多个适配器中确定所述目标业务请求对应的目标适配器；
23、业务请求处理模块，用于所述算力网络基于所述基座大语言模型以及所述目标适配器，构建所述目标业务请求的目标推理服务，并基于所述目标推理服务，处理所述目标业务请求。
24、本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于大语言模型的业务处理方法。
25、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于大语言模型的业务处理方法。
26、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于大语言模型的业务处理方法。
27、本专利技术提供的基于大语言模型的业务处理方法及装置，通过算力网络仅需要部署一个完整基座大语言模型，基于多个适配器之间的切换即可完成推理能力的切换，显著节省算力资源，使得在有限的硬件资源下能够支持更复杂、更多样的模型推理需求。同时，基于优化多适配器支持，使得不同类型的适配器可以在同一推理任务中协同工作，大幅度提高处理效率。直接影响推理任务的处理速度和效率，尤其是在处理大量、复杂的数据时更显其优势。
本文档来自技高网...【技术保护点】
1.一种基于大语言模型的业务处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于大语言模型的业务处理方法，其特征在于，所述算力网络基于所述基座大语言模型以及所述目标适配器，构建所述目标业务请求的目标推理服务之前，还包括：
3.根据权利要求1所述的基于大语言模型的业务处理方法，其特征在于，所述算力网络基于所述基座大语言模型以及所述目标适配器，构建所述目标业务请求的目标推理服务，包括：
4.根据权利要求3所述的基于大语言模型的业务处理方法，其特征在于，所述算力网络将所述目标适配器加载至所述基座大语言模型，包括：
5.根据权利要求3所述的基于大语言模型的业务处理方法，其特征在于，还包括：
6.根据权利要求1所述的基于大语言模型的业务处理方法，其特征在于，所述算力网络基于预先存储的业务请求与适配器之间映射关系，从所述多个适配器中确定所述目标业务请求对应的目标适配器，进一步包括：
7.一种基于大语言模型的业务处理装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器以及存储在所述存储器
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于大语言模型的业务处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于大语言模型的业务处理方法。
...【技术特征摘要】
1.一种基于大语言模型的业务处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于大语言模型的业务处理方法，其特征在于，所述算力网络基于所述基座大语言模型以及所述目标适配器，构建所述目标业务请求的目标推理服务之前，还包括：
3.根据权利要求1所述的基于大语言模型的业务处理方法，其特征在于，所述算力网络基于所述基座大语言模型以及所述目标适配器，构建所述目标业务请求的目标推理服务，包括：
4.根据权利要求3所述的基于大语言模型的业务处理方法，其特征在于，所述算力网络将所述目标适配器加载至所述基座大语言模型，包括：
5.根据权利要求3所述的基于大语言模型的业务处理方法，其特征在于，还包括：
6.根据权利要求1所述的基于大语言模型的业务处理方法，其特征在于，...
【专利技术属性】
技术研发人员：高建波，董琦聪，宋冬冬，余立，严昱超，王晓征，蒋健，张奕林，孙超，丛鹏宇，
申请(专利权)人：中国移动通信集团浙江有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。