【技术实现步骤摘要】
本专利技术涉及人工智能及金融科技领域，尤其涉及一种大语言模型的推理加速方法、装置、设备及介质。
技术介绍
1、随着大规模预训练语言模型(large language models，llms)的出现，基于大语言模型的人工智能应用在各行各业中越来越普遍，例如在金融领域，大语言模型可以很好地完成智能问答、翻译等文本相关的推理任务。
2、当前的大语言模型，如基于transformer架构的模型，在执行推理任务时面临的主要挑战在于显存管理。传统的做法是将输入输出数据转化为key-value形式并存储于gpu显存中，但这种方法存在显存资源浪费的问题，尤其是在输出内容大小不固定的情况下，从而降低了整体的模型推理速度。
技术实现思路
1、鉴于上述现有技术的不足，本专利技术的目的在于提供可应用于金融科技或其它相关领域的一种大语言模型的推理加速方法、装置、设备及介质，其主要目的在于对大语言模型进行灵活可控的动态显存分配，减少显存资源的浪费，提高模型整体的推理速度。
2、本专利技术的技术方案如下：
3、本专利技术第一方面提供一种大语言模型的推理加速方法，包括：
4、响应于用户输入的推理请求，获取所述推理请求中的待处理文本；
5、根据所述待处理文本进行显存需求预测，得到显存预测结果；
6、根据所述显存预测结果为大语言模型分配相应的初始显存空间，以对所述待处理文本执行相应的推理任务；
7、在所述大语言模型执行所述推理任务时，
8、在所述占用指标满足预设条件时触发动态分配机制，按所述动态分配机制为所述大语言模型分配新的显存空间。
9、本专利技术第二方面提供一种大语言模型的推理加速装置，包括：
10、文本获取模块，用于响应于用户输入的推理请求，获取所述推理请求中的待处理文本；
11、需求预测模块，用于根据所述待处理文本进行显存需求预测，得到显存预测结果；
12、初始分配模块，用于根据所述显存预测结果为大语言模型分配相应的初始显存空间，以对所述待处理文本执行相应的推理任务；
13、监控模块，用于在所述大语言模型执行所述推理任务时，监控所述初始显存空间的占用指标；
14、动态分配模块，用于在所述占用指标满足预设条件时触发动态分配机制，按所述动态分配机制为所述大语言模型分配新的显存空间。
15、本专利技术第三方面提供一种计算机设备，包括至少一个处理器；以及，
16、与所述至少一个处理器通信连接的存储器；其中，
17、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述大语言模型的推理加速方法。
18、本专利技术第四方面提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的大语言模型的推理加速方法。
19、有益效果：本专利技术公开了一种大语言模型的推理加速方法、装置、设备及介质，相比于现有技术，本专利技术实施例响应于用户输入的推理请求，获取所述推理请求中的待处理文本；根据所述待处理文本进行显存需求预测，得到显存预测结果；根据所述显存预测结果为大语言模型分配相应的初始显存空间，以对所述待处理文本执行相应的推理任务；在所述大语言模型执行所述推理任务时，监控所述初始显存空间的占用指标；在所述占用指标满足预设条件时触发动态分配机制，按所述动态分配机制为所述大语言模型分配新的显存空间。通过预先预测显存需求进而分配相应的初始显存空间，并实时监控初始显存空间的使用情况，在显存资源紧张时触发动态分配机制，不仅可以确保满足大语言模型的显存需求，也避免了多次显存分配消耗额外的计算资源，实现了对大语言模型的灵活可控的动态显存分配，减少显存资源的浪费，提高模型整体的推理速度。
本文档来自技高网...【技术保护点】
1.一种大语言模型的推理加速方法，其特征在于，包括：
2.根据权利要求1所述的大语言模型的推理加速方法，其特征在于，所述根据所述待处理文本进行显存需求预测，得到显存预测结果，包括：
3.根据权利要求2所述的大语言模型的推理加速方法，其特征在于，所述对所述待处理文本进行预处理和格式转换，生成指定输入格式的文本序列，包括：
4.根据权利要求2所述的大语言模型的推理加速方法，其特征在于，所述显存预测模型包括特征提取模型和逻辑回归模型，所述将所述文本序列输入到训练好的显存预测模型中，对所述大语言模型处理所述文本序列所需的显存空间大小进行预测，获得显存预测结果，包括：
5.根据权利要求4所述的大语言模型的推理加速方法，其特征在于，所述将所述显存需求值按预设规则转换为相应的显存预测区间，作为所述显存预测结果，包括：
6.根据权利要求4所述的大语言模型的推理加速方法，其特征在于，所述根据所述显存预测结果为大语言模型分配相应的初始显存空间，具体包括：
7.根据权利要求1所述的大语言模型的推理加速方法，其特征在于，所述在所述占
8.一种大语言模型的推理加速装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括至少一个处理器；以及，
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的大语言模型的推理加速方法。
...【技术特征摘要】
1.一种大语言模型的推理加速方法，其特征在于，包括：
2.根据权利要求1所述的大语言模型的推理加速方法，其特征在于，所述根据所述待处理文本进行显存需求预测，得到显存预测结果，包括：
3.根据权利要求2所述的大语言模型的推理加速方法，其特征在于，所述对所述待处理文本进行预处理和格式转换，生成指定输入格式的文本序列，包括：
4.根据权利要求2所述的大语言模型的推理加速方法，其特征在于，所述显存预测模型包括特征提取模型和逻辑回归模型，所述将所述文本序列输入到训练好的显存预测模型中，对所述大语言模型处理所述文本序列所需的显存空间大小进行预测，获得显存预测结果，包括：
5.根据权利要求4所述的大语言模型的推理加速方法，其特征在于，所述将所述显存需求值按预设规则转换为相应的显存预测区间，作为...
【专利技术属性】
技术研发人员：刘纹石，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。