一种准确低成本的大语言模型使用方法及系统技术方案

本发明专利技术属于AI应答系统的文本自动生成技术领域，具体涉及一种准确低成本的大语言模型使用方法及系统。方法包括步骤：S1、创建对话框；S2、在对话框中输入当前问题；S3、使用成本最低的大语言模型，在对话框输出当前问题答案；S4、判断当前问题答案是否合格，若合格则将当前问题答案作为当前问题的最终答案，并返回步骤S2，若不合格则执行步骤S5；S5、使用下一使用成本更高的大语言模型，在对话框输出当前问题答案，并返回步骤S4；步骤S4中，还基于当前问题和当前问题的最终答案对已输出过当前问题答案的大语言模型进行训练，以供下一次输入问题时使用。本发明专利技术可在兼顾准确度和使用成本的基础上回答用户所提出的问题。基础上回答用户所提出的问题。基础上回答用户所提出的问题。

【技术实现步骤摘要】
一种准确低成本的大语言模型使用方法及系统


[0001]本专利技术属于AI应答系统的文本自动生成
，具体涉及一种准确低成本的大语言模型使用方法及系统。

技术介绍

[0002]大语言(GPT，Generative Pre
‑
trained Transformer)是指由OpenAI开发的一类基于Transformer架构的大型语言模型。这些模型经过大规模的无监督预训练，从大量的文本数据中学习语言的结构、语义和上下文信息。
[0003]大语言模型具有强大的语言理解和生成能力，可以应用于多个自然语言处理任务，如文本生成、机器翻译、对话系统、问答系统和摘要生成等。这些模型不仅可以生成连贯的文本，还能根据上下文进行推理和回答问题。
[0004]GPT模型是一种基于自回归的生成模型，其工作原理是通过在预训练阶段学习文本序列的概率分布，在生成文本时根据上文生成下一个词或字符。这种模型具有很高的灵活性和创造力，可以生成与输入上下文相一致的自然语言文本。
[0005]目前，OpenAI已经推出了多个版本的大语言模型，如GPT
‑
2、GPT
‑
3等。这些模型在自然语言处理领域取得了显著的成果，并在各种应用场景中展示了强大的生成和理解能力。大语言模型的发展对于自然语言处理和人工智能领域具有重要意义，为各种文本相关任务提供了强大的工具和技术支持。
[0006]目前除了上述的GPT
‑
2和GPT
‑
3，还存在多个大语言模型，他们在费用、准确度、领域特异性方面各有不同的特点，比如目前比较流行的GPT
‑
4，它的精确度高达90％以上，但是它的使用费用为每1千万字符30美元，而GPT
‑
J在相同的prompt字符量的情况下只需要0.2美元，但同时它的综合准确度只有78％左右。
[0007]因此针对一个具体的问题，如何选择一个合适的语言模型，或者设计一个语言模型应用方案是一个值得深究的问题。如何能设计一套语言模型选择机制，在保证回答的准确度的前提下，大大的降低语言模型的使用费用，或者在同等费用下，提高语言模型的精确度是我们要解决的问题。

技术实现思路

[0008]针对现有技术中存在的上述问题，本专利技术提供一种准确低成本的大语言模型使用方法及系统。可在兼顾准确度和使用成本的基础上回答用户所提出的问题。
[0009]本专利技术采用以下技术方案：
[0010]本专利技术实施例第一方面提供一种准确低成本的大语言模型使用方法，包括步骤：
[0011]S1、创建对话框；
[0012]S2、在对话框中输入当前问题；
[0013]S3、使用成本最低的大语言模型，在对话框输出当前问题答案；
[0014]S4、判断当前问题答案是否合格，若合格则将当前问题答案作为当前问题的最终
答案，并返回步骤S2，若不合格则执行步骤S5；
[0015]S5、使用下一使用成本更高的大语言模型，在对话框输出当前问题答案，并返回步骤S4；
[0016]步骤S4中，在输出当前问题的最终答案后，若存在已输出过当前问题答案的大语言模型，则基于当前问题和当前问题的最终答案对已输出过当前问题答案的大语言模型进行训练，以供下一次输入问题时使用。
[0017]作为优选方案，步骤S2中还包括：在对话框中输入与问题相关的本地数据库；
[0018]步骤S2与步骤S3之间还包括步骤：
[0019]A、基于当前问题、本地数据库匹配得到初始问题答案；
[0020]B、判断初始问题答案是否合格，若合格则将初始问题答案作为当前问题的最终答案，并返回步骤S2，若不合格则执行步骤S3。
[0021]作为优选方案，所有大语言模型均基于对话框中所有内容输出当前问题答案。
[0022]作为优选方案，大语言模型基于对话框中所有内容输出当前问题答案之前，对对话框中的内容进行压缩处理，且在压缩处理过程中不对未输出最终答案的问题进行压缩，也不在执行本地数据库输入的对话轮次中对该本地数据库进行压缩处理。
[0023]作为优选方案，对对话框中的内容进行压缩处理包括步骤：
[0024]基于内容的对话轮次以及当前已完成的总对话轮次计算得到不同轮次的内容的压缩率；
[0025]基于计算得到的多个压缩率对不同轮次的内容进行压缩处理。
[0026]作为优选方案，不同轮次的内容的压缩率计算公式为：
[0027][0028]P
Kt
表示在已完成K次对话轮次后，第t次对话轮次的内容的压缩率，t表示内容的对话轮次，K表示已完成对话轮次，λ为一负数，λ表示预设的压缩率调整值。
[0029]作为优选方案，步骤S4中，当下一问题与上一问题存在关联性时，返回步骤S2，当下一问题与上一问题不存在关联性时，返回步骤S1。
[0030]作为优选方案，步骤S3之前还包括步骤：选取与当前问题领域对应的多个初筛大语言模型；
[0031]步骤S3、步骤S5中均从多个初筛大语言模型中选取相应大语言模型，在对话框输出当前问题答案。
[0032]作为优选方案，步骤S3与步骤S5中，在输出答案后可通过用户人为标记输出答案准确性或在后台通过后台专家人员标记输出答案准确性；
[0033]步骤S4中，根据历史的答案准确性标记数据，自动判断当前问题答案是否合格。
[0034]本专利技术实施例第二方面提供一种准确低成本的大语言模型使用系统，包括对话框创建模块、对话模块、大语言模型模块、训练模块、判断模块，对话模块、大语言模型模块分别与对话框创建模块连接，训练模块分别与大语言模型模块、对话框创建模块连接，判断模块分别与对话框创建模块、训练模块连接；
[0035]对话框创建模块，用于创建对话框；
[0036]对话模块，用于在对话框中输入问题；
[0037]大语言模型模块，用于依次采用使用成本递增的大语言模型，在对话框输出问题答案，直至输出的问题答案合格；
[0038]判断模块，用于判断在对话框输出的问题答案是否合格；
[0039]训练模块，用于根据问题和问题的最终答案对已输出过问题答案的大语言模型进行训练，以供下一次输入问题时使用。
[0040]本专利技术的有益效果是：
[0041]本专利技术中，先使用成本最低的大语言模型输出问题答案，若答案合格则不继续使用成本更高的大语言模型，若不合格则使用成本更高的大语言模型，尽可能降低大语言模型的使用成本。
[0042]本专利技术中，在输出当前问题的最终答案后，若存在已输出过当前问题答案的低成本大语言模型，则基于当前问题和当前问题的最终答案对已输出过当前问题答案的低成本大语言模型进行训练，因此在下一次输入类似问题时，经过训练的低成本大语言模型可以直接输出合格的问题答案，无需再使用高成本大语言模型。且这里需要说明的是，这里是针对所有已输出过当前问题答案的低成本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种准确低成本的大语言模型使用方法，其特征在于，包括步骤：S1、创建对话框；S2、在对话框中输入当前问题；S3、使用成本最低的大语言模型，在对话框输出当前问题答案；S4、判断当前问题答案是否合格，若合格则将当前问题答案作为当前问题的最终答案，并返回步骤S2，若不合格则执行步骤S5；S5、使用下一使用成本更高的大语言模型，在对话框输出当前问题答案，并返回步骤S4；步骤S4中，在输出当前问题的最终答案后，若存在已输出过当前问题答案的大语言模型，则基于当前问题和当前问题的最终答案对已输出过当前问题答案的大语言模型进行训练，以供下一次输入问题时使用。2.根据权利要求1所述的一种准确低成本的大语言模型使用方法，其特征在于，步骤S2中还包括：在对话框中输入与问题相关的本地数据库；步骤S2与步骤S3之间还包括步骤：A、基于当前问题、本地数据库匹配得到初始问题答案；B、判断初始问题答案是否合格，若合格则将初始问题答案作为当前问题的最终答案，并返回步骤S2，若不合格则执行步骤S3。3.根据权利要求2所述的一种准确低成本的大语言模型使用方法，其特征在于，所有大语言模型均基于对话框中所有内容输出当前问题答案。4.根据权利要求3所述的一种准确低成本的大语言模型使用方法，其特征在于，大语言模型基于对话框中所有内容输出当前问题答案之前，对对话框中的内容进行压缩处理，且在压缩处理过程中不对未输出最终答案的问题进行压缩，也不在执行本地数据库输入的对话轮次中对该本地数据库进行压缩处理。5.根据权利要求4所述的一种准确低成本的大语言模型使用方法，其特征在于，对对话框中的内容进行压缩处理包括步骤：基于内容的对话轮次以及当前已完成的总对话轮次计算得到不同轮次的内容的压缩率；基于计算得到的多个压缩率对不同轮次的内容进行压缩处理。6.根据权利要求5所述的一种准确低成本的大语言模型使用...

【专利技术属性】
技术研发人员：汤猛帆，周万江，张旭中，
申请(专利权)人：中科基石湖州信息科技有限责任公司，
类型：发明
国别省市：