本申请公开了数据问答系统及其调用方法，该数据问答系统的调用方法包括：获取调用指令，调用指令包括编排结果和编排顺序；基于调用指令的编排结果获取目标插件，其中目标插件包括通过插件市场下载的第一插件，和/或预存于数据库的第二插件，插件市场通过插件接口与数据库实现数据传输；基于调用指令的编排顺序，利用目标插件调用至少一个LLM模型。本申请获取的调用指令可选择已经缓存的第二插件实现对LLM模型的调用，或者选择通过插件接口从插件市场下载的第一插件实现对LLM模型的调用，能够实现单个LLM模型或多个LLM模型的调用，进而实现对不同LLM模型的适配调用。
【技术实现步骤摘要】
本申请涉及数据问答，特别是涉及数据问答系统及其调用方法。
技术介绍
1、llm（large language model，大型语言模型）是指那些经过大量文本数据训练的复杂机器学习模型，它们能够理解和生成自然语言。这些模型通常使用深度学习技术，特别是变换器（transformer）架构，来处理语言的复杂性。
2、现有的llm应用绝大多数是围绕指定的llm大模型进行功能设计的应用软件，指定的llm模型可能在某一领域做了增强，同时其它领域的能力就会相对减弱，从而导致当前应用能力受到局限。
3、另一方面，当前llm应用的响应信息只来源于指定的llm大模型所产出的内容，无法实现多个llm大模型的响应信息横向打通，综合不同的llm模型响应信息进行综合整理从而得出最优的响应信息，没有llm模型间横向打通的能力。
技术实现思路
1、本申请提供数据问答系统及其调用方法，能够解决现有的llm模型适用差的问题。
2、本申请第一方面提供了一种数据问答系统的调用方法，该方法包括：
3、获取调用指令，调用指令包括编排结果和编排顺序；
4、基于调用指令的编排结果获取目标插件，其中目标插件包括通过插件市场下载的第一插件，和/或预存于数据库的第二插件，插件市场通过插件接口与数据库实现数据传输；
5、基于调用指令的编排顺序，利用目标插件调用至少一个llm模型。
6、进一步地，基于调用指令的编排结果获取目标插件的步骤，包括：
>7、获取调用指令的编排结果，其中编排结果为需要多个llm模型进行编排，或者编排结果为不需要多个llm模型进行编排；8、响应于编排结果为需要多个llm模型进行编排，获取若干个第一插件，和/或若干个第二插件；
9、响应于编排结果为不需要多个llm模型进行编排，获取与调用指令对应的第二插件。
10、进一步地，基于调用指令的编排顺序，利用目标插件调用对应的llm模型的步骤，包括：
11、获取调用指令的编排顺序，其中编排顺序包括串联调用编排和/或并联调用编排；
12、基于编排顺序，利用第一插件或第二插件调用对应的llm模型进行编排得到llm大模型，以获取llm大模型基于调用指令生成的数据回复信息。
13、进一步地，基于编排顺序，利用第一插件或第二插件调用对应的llm模型进行编排得到llm大模型，以获取llm大模型基于调用指令生成的数据回复信息的步骤，包括：
14、获取位于编排顺序的第一顺位的目标插件，调用与位于编排顺序的第一顺位的目标插件对应的llm模型，以获取llm模型基于调用指令产生的数据信息，数据信息包括提示词和问答结果；
15、按照编排顺序，以数据信息作为数据输入，获取位于编排顺序的最后一顺位的目标插件调用的llm模型所产生的问答结果，问答结果为数据回复信息。
16、进一步地，方法还包括：
17、基于预设配置生成若干个llm模型对应的数据接口，不同llm模型通过数据接口进行数据传递；其中，数据接口包括api接口。
18、进一步地，基于调用指令的编排结果获取目标插件的步骤，包括：
19、基于调用指令获取请求码；
20、利用请求码获取问答参数，问答参数用于表征插件接口类；
21、响应于问答参数满足预设条件，调用与问答参数对应的插件接口类，通过插件接口类下载目标插件。
22、进一步地，基于调用指令的编排顺序，利用目标插件调用至少一个llm模型的步骤，包括：
23、获取目标插件的加载数据包；
24、解压加载数据包以获取配置参数；
25、通过配置参数获取目标路径下的类，以实例化对目标路径下的类。
26、进一步地，该方法包括：
27、基于接口功能定义若干个插件接口类，若干个插件接口类组成插件接口；
28、获取调用指令对应的插件接口类，对插件接口类进行动态加载。
29、进一步地，该方法还包括：
30、自定义设置插件管理参数；
31、响应于基于调用指令的编排结果获取目标插件，利用插件管理参数对目标插件进行管理操作，管理操作包括安装、运行、停止和卸载。
32、本申请第二方面提供了一种数据问答系统，该数据问答系统包括：
33、获取模块，获取模块用于获取调用指令，调用指令包括编排结果和编排顺序；
34、配置模块，配置模块用于基于调用指令的编排结果获取目标插件，其中目标插件包括通过插件市场下载的第一插件，和/或预存于数据库的第二插件；
35、插件接口，插件接口用于实现插件市场与数据库之间的数据传输；
36、配置模块还用于基于调用指令的编排顺序，利用目标插件调用至少一个llm模型。
37、区别于现有技术，本申请通过获取调用指令可得到对应的编排结果和编排顺序，通过编排结果可以确定是否需要多个llm模型进行编排，并且通过编排顺序可确定多个llm模型的编排顺序；并且，本申请基于调用指令选择已经缓存的第二插件实现对llm模型的调用，或者选择通过插件接口从插件市场下载的第一插件实现对llm模型的调用，能够实现单个llm模型或多个llm模型的调用，进而实现对不同llm模型的适配调用。同时，本申请通过设置插件接口下载第一插件，利用第一插件调用llm模型的方式，能够节省模型升级的投入成本。
38、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
本文档来自技高网...
【技术保护点】
1.一种数据问答系统的调用方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据问答系统的调用方法，其特征在于，所述基于所述调用指令的编排结果获取目标插件的步骤，包括：
3.根据权利要求2所述的数据问答系统的调用方法，其特征在于，所述基于所述调用指令的编排顺序，利用目标插件调用对应的LLM模型的步骤，包括：
4.根据权利要求3所述的数据问答系统的调用方法，其特征在于，所述基于所述编排顺序，利用所述第一插件或所述第二插件调用对应的LLM模型进行编排得到LLM大模型，以获取所述LLM大模型基于所述调用指令生成的数据回复信息的步骤，包括：
5.根据权利要求4所述的数据问答系统的调用方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的数据问答系统的调用方法，其特征在于，所述基于所述调用指令的编排结果获取目标插件的步骤，包括：
7.根据权利要求6所述的数据问答系统的调用方法，其特征在于，所述基于所述调用指令的编排顺序，利用目标插件调用至少一个LLM模型的步骤，包括：
8.根据权利要求1所述的数据问答系统的调用方法，其特征在于，所述方法还包括：
9.根据权利要求1所述的数据问答系统的调用方法，其特征在于，所述方法还包括：
10.一种数据问答系统，其特征在于，所述数据问答系统包括：
...
【技术特征摘要】
1.一种数据问答系统的调用方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据问答系统的调用方法，其特征在于，所述基于所述调用指令的编排结果获取目标插件的步骤，包括：
3.根据权利要求2所述的数据问答系统的调用方法，其特征在于，所述基于所述调用指令的编排顺序，利用目标插件调用对应的llm模型的步骤，包括：
4.根据权利要求3所述的数据问答系统的调用方法，其特征在于，所述基于所述编排顺序，利用所述第一插件或所述第二插件调用对应的llm模型进行编排得到llm大模型，以获取所述llm大模型基于所述调用指令生成的数据回复信息的步骤，包括：
5.根据...
【专利技术属性】
技术研发人员：刘云峰，王尧，李雨洋，饶建波，
申请(专利权)人：中科先进深圳集成技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。