【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种大模型推理方法、系统、计算机设备以及非易失性计算机可读存储介质。
技术介绍
1、目前，随着深度学习技术的突破性进展，大模型推理已经成为人工智能领域的一个热点话题。大模型，即大型语言模型(llm，large language model)，如gpt、bert等，由于其出色的性能，在自然语言处理、图像识别和复杂决策任务中得到了广泛应用。这些模型通常需要大量的数据进行预训练，以学习复杂的数据表示。一旦训练完成，模型就可以用来对新的数据进行推理，从而在各种应用中提供精准的预测或生成能力。
2、然而，在实际应用中，大模型推理面临多项挑战。首先，推理过程计算量巨大，需要高性能的硬件支持，这就要求相关的硬件和软件基础设施必须能够有效支持大规模并行计算。其次，大模型通常需要优化以适应特定任务，这可能包括微调模型参数或进行知识蒸馏以简化模型结构。此外，最重要的是，大模型推理过程必须考虑到隐私和安全性问题，尤其是针对金融领域中处理敏感数据时，保护数据的隐私格外重要。
3、基于此，如何提供一种大模型推理方法、系统、计算机设备以及非易失性计算机可读存储介质，可实现对于大模型推理阶段的隐私保护，是目前本领域技术人员亟待解决的问题。
技术实现思路
1、鉴于上述现有技术的不足之处，本专利技术的目的在于提供一种可用于金融科技或其他相关领域的大模型推理方法、系统、计算机设备以及非易失性计算机可读存储介质，旨在解决如何实现对于大模型推理阶段的隐私保护的问题。
2、为了达到上述目的，本专利技术采取了以下技术方案：
3、一种大模型推理方法，其中，包括：
4、对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层；
5、将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端；
6、接收目标用户在所述客户端输入的prompt，并通过所述输入层对所述prompt进行编码，得到对应的数值向量；
7、将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量；
8、将所述结果向量返回至所述客户端，并通过所述输出层对所述结果向量进行解码，得到对应的结果文本。
9、在进一步的技术方案中，所述的大模型推理方法，其中，所述对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层，包括：
10、根据用户需求，预先确定分割策略；
11、采用所述分割策略对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层。
12、在进一步的技术方案中，所述的大模型推理方法，其中，所述将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端，包括：
13、根据所述用户需求，预先确定部署策略；
14、采用所述部署策略将所述输入层与所述输出层均部署在客户端、以及将所述中间层部署在服务端。
15、在进一步的技术方案中，所述的大模型推理方法，其中，所述接收目标用户在所述客户端输入的prompt，并通过所述输入层对所述prompt进行编码，得到对应的数值向量，包括：
16、接收目标用户在所述客户端输入的prompt；
17、通过部署在所述客户端的所述输入层对所述prompt进行编码，得到对应的初始数值向量；
18、通过预设的私有知识库对所述初始数值向量进行检索增强处理，得到对应的数值向量。
19、在进一步的技术方案中，所述的大模型推理方法，其中，所述将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量，包括：
20、将经检索增强处理后得到的所述数值向量上传至所述服务端；
21、通过部署在所述服务端的所述中间层对所述数值向量进行推理，得到对应的初始结果向量；
22、对所述初始结果向量进行规范化处理，得到对应的结果向量。
23、在进一步的技术方案中，所述的大模型推理方法，其中，所述将所述结果向量返回至所述客户端，并通过所述输出层对所述结果向量进行解码，得到对应的结果文本，包括：
24、将所述结果向量返回至所述客户端；
25、通过部署在所述客户端的所述输出层对所述结果向量进行解码，得到对应的初始结果文本；
26、对所述初始结果文本进行校正处理，得到对应的结果文本。
27、在进一步的技术方案中，所述的大模型推理方法，其中，所述对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层，其中，
28、所述目标大模型为联邦大模型，所述输入层、所述中间层、以及所述输出层分别为embedding层、transformer层、以及decoder层。
29、一种大模型推理系统，其中，包括：
30、分割模块，用于对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层；
31、部署模块，用于将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端；
32、编码模块，用于接收目标用户在所述客户端输入的prompt，并通过所述输入层对所述prompt进行编码，得到对应的数值向量；
33、推理模块，用于将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量；
34、解码模块，用于将所述结果向量返回至所述客户端，并通过所述输出层对所述结果向量进行解码，得到对应的结果文本。
35、一种计算机设备，其中，所述计算机设备包括至少一个处理器；以及，
36、与所述至少一个处理器通信连接的存储器；其中，
37、所述存储器上存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行时，可实现如上述任一项所述的大模型推理方法。
38、一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如上述任一项所述的大模型推理方法。
39、相较于现有技术，本专利技术提供了一种大模型推理方法、系统、计算机设备以及非易失性计算机可读存储介质，其中，所述方法包括：对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层；将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端；接收目标用户在所述客户端输入的prompt，并通过所述输入层对所述prompt进行编码，得到对应的数值向量；将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量；将所述结果向量返回至所述客户端，并通过所述输出层对所述结果向量进行解码，得到对应的结果文本。这样，本专利技术的方法通过将目本文档来自技高网...
【技术保护点】
1.一种大模型推理方法，其特征在于，包括：
2.根据权利要求1所述的大模型推理方法，其特征在于，所述对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层，包括：
3.根据权利要求2所述的大模型推理方法，其特征在于，所述将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端，包括：
4.根据权利要求3所述的大模型推理方法，其特征在于，所述接收目标用户在所述客户端输入的Prompt，并通过所述输入层对所述Prompt进行编码，得到对应的数值向量，包括：
5.根据权利要求4所述的大模型推理方法，其特征在于，所述将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量，包括：
6.根据权利要求5所述的大模型推理方法，其特征在于，所述将所述结果向量返回至所述客户端，并通过所述输出层对所述结果向量进行解码，得到对应的结果文本，包括：
7.根据权利要求1-6任一项所述的大模型推理方法，其特征在于，所述对预训练的目标大模型进行分割，得到所述目标大模型对应
8.一种大模型推理系统，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括至少一个处理器；以及，
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时，可实现如权利要求1-7任一项所述的大模型推理方法。
...【技术特征摘要】
1.一种大模型推理方法，其特征在于，包括：
2.根据权利要求1所述的大模型推理方法，其特征在于，所述对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层，包括：
3.根据权利要求2所述的大模型推理方法，其特征在于，所述将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端，包括：
4.根据权利要求3所述的大模型推理方法，其特征在于，所述接收目标用户在所述客户端输入的prompt，并通过所述输入层对所述prompt进行编码，得到对应的数值向量，包括：
5.根据权利要求4所述的大模型推理方法，其特征在于，所述将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量...
【专利技术属性】
技术研发人员：吴建汉，王健宗，黄章成，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。