【技术实现步骤摘要】
本申请属于人工智能，尤其涉及一种关于大模型调用插件的交易结算方法。
技术介绍
1、大模型的插件帮助大模型打造一个基于大模型的生态。这些插件是对大模型内容和功能的扩展。
2、目前对于插件的收费结算，一种方式是会员按月收费结算，但这种结算方式无法根据插件方具体提供的服务进行收费，因此一些需要插件服务次数较少的客户会认为收费较高，而对于需要插件服务次数较多的客户，提供的服务和收取的费用不相符的。另一种收费方式是，根据所提供的token的请求数以及回复数进行收费，但是目前token回复数难以确定，导致结算时，缺少可靠的凭证。
3、因此，需要提出一种可靠的交易结算方法，为大模型调用插件交易结算提供可靠凭证。
技术实现思路
1、本申请实施例提供了一种关于大模型调用插件的交易结算方法，可以解决现有的模型调用插件交易结算缺少可靠凭证的问题。
2、本申请实施例提供了一种关于大模型调用插件的交易结算方法，包括：
3、获取输入提示词；
4、根据输入提示词确定被调用插件的形符和被调用插件；
5、当被调用插件的形符被引用时，进行计数，得到被调用插件的调用计数值；
6、保存调用计数值作为结算凭证。
7、上述方法通过根据用户输入的提示词确定被调用插件的形符，在大模型对插件进行调用时，可以通过对被调用插件的形符进行计数，方便准确地确定大模型插件的调用次数，并将大模型调用插件的次数作为交易结算凭证，而非通过根据token
8、在一种可能的实现方式中，输入提示词包括文本提示词，根据输入提示词确定被调用插件的形符和被调用插件的步骤包括：
9、在根据文本提示词进行推理时，对文本提示词进行分词，得到文本提示词对应的形符；
10、根据预设形符与插件的对应关系分析记录，确定文本提示词对应的形符包括预设形符，则将预设形符确定为被调用插件的形符，将预设形符对应的插件确定为被调用插件。
11、上述方法在目标模型在根据文本提示词进行推理时，对文本提示词进行分词，得到文本提示词对应的形符，利用模型推理的过程对文本提示词进行处理，降低了文本提示词处理的难度，同时使本方法中对文本提示词分词的过程，和模型实际对于插件调用的过程保持一致；通过将分词得到的形符和预设形符和插件的对应关系分析记录进行对比，快速确定被调用插件的形符和被调用插件。
12、在一种可能的实现方式中，预设形符与插件的对应关系分析记录包括插件与模型的兼容状态标记，兼容状态标记是目标模型根据预设形符对应的插件调用情况学习得到的，插件调用情况包括预设形符对应的插件被调用过程的分析数据。
13、上述方法中，由于预设形符和插件的对应关系分析记录包括插件和模型的兼容状态标记，而兼容状态标记是目标模型根据预设形符对应的插件调用情况学习得到的，因此，在目标模型对插件调用时，可以根据插件和模型的兼容状态确定插件的生成效果；对不兼容模型的插件的兼容状态标注为“否”，防止后续推理过程中被调用；对兼容模型的插件的兼容状态标注为“是”，并记录到预设形符与插件的对应关系分析记录中，以便后续推理过程中继续被调用。通过这种方法能够避免模型插件的滥用，保障推理应用的服务质量，减少服务及交易过程中的纠纷。
14、在一种可能的实现方式中，分析数据包括预设形符对应的插件的设计结构和功能数据，和预设形符对应的插件在目标模型推理过程中的生成效果，目标模型的学习过程包括：
15、根据设计结构和功能数据和生成效果，评估模型插件对目标模型的兼容状态，得到兼容状态标记；
16、获取兼容状态标记为“是”的插件被调用过程中参与计算的张量数据；
17、在兼容状态标记为“是”的插件调用结束后，将参与计算的张量数据更新至目标模型中。
18、上述方法通过对预设形符对应的插件的设计结构和功能数据以及插件在目标模型中的生成效果，对插件对目标模型的兼容状态进行评估，具体分析插件和模型的特点。通过不同模型插件的设计结构和功能以及不同模型在目标模型中的生成效果，确定不同的插件在被目标模型调用时是否能够对模型数据进行调参或者增加词向量，以得到所预期的生成效果。避免一些针对特定模型设计的插件，无法在目标模型上使用，导致目标模型调用该插件时生成效果差。
19、另外，上述方法通过对插件对目标模型的兼容状态进行评估、标记，使目标模型在调用插件时可以避开兼容性较差的插件，提高目标模型调用插件时的生成效果。对于经过评估被确认对模型兼容的插件，在实际应用中，模型厂商与插件厂商还能进行合作或交易，将模型插件整合到模型中，以便为用户提供更好的服务质量。通过获取兼容状态标记为“是”的插件被调用过程中参与计算的张量数据，并将该张量数据更新至目标模型中，让目标模型进行学习，在算力有限、目标模型重新训练以及监督微调受到限制的情况下，让大模型通过对兼容性较强的插件调用过程中的参与计算的张量数据进行学习，学习到新的数据并及时更新，解决了模型数据具有一定滞后性以及应用能力不足的问题。
20、在一种可能的实现方式中，将参与计算的张量数据更新至目标模型中的步骤包括：
21、将参与计算的张量数据进行存储，在预设的时间后通过存储的张量数据更新目标模型。
22、上述方法通过将获取的输入提示词和参与计算的张量数据进行存储，并在预设时间内进行更新，增加了单次更新时用于模型学习的数据量，减少模型学习时过拟合的可能。
23、在一种可能的实现方式中，将参与计算的张量数据更新至目标模型中的步骤包括：
24、根据参与计算的张量数据实时更新目标模型。
25、在一种可能的实现方式中，保存调用计数值作为结算凭证的步骤包括：
26、将调用计数值上传至联盟链中作为结算凭证。
27、上述方法通过将结算凭证存储于联盟链中，利用联盟链的安全性和不可篡改性，增加凭证的可靠性，避免交易过程产生冲突。
本文档来自技高网...【技术保护点】
1.一种关于大模型调用插件的交易结算方法，其特征在于，包括：
2.如权利要求1所述的关于大模型调用插件的交易结算方法，其特征在于，所述输入提示词包括文本提示词，所述根据所述输入提示词确定被调用插件的形符和被调用插件的步骤包括：
3.如权利要求2所述的关于大模型调用插件的交易结算方法，其特征在于，所述预设形符与插件的对应关系分析记录包括插件与模型的兼容状态标记，所述兼容状态标记是目标模型根据所述预设形符对应的插件调用情况学习得到的，所述插件调用情况包括所述预设形符对应的插件被调用过程的分析数据。
4.如权利要求3所述的关于大模型调用插件的交易结算方法，其特征在于，所述分析数据包括所述预设形符对应的插件的设计结构和功能数据，和所述预设形符对应的插件在所述目标模型推理过程中的生成效果，所述目标模型的学习过程包括：
5.如权利要求4所述的关于大模型调用插件的交易结算方法，其特征在于，将所述参与计算的张量数据更新至所述目标模型中的步骤包括：
6.如权利要求4所述的关于大模型调用插件的交易结算方法，其特征在于，将所述参与计算的张量数
7.如权利要求1-6任一所述的关于大模型调用插件的交易结算方法，其特征在于，所述保存所述调用计数值作为结算凭证的步骤包括：
...【技术特征摘要】
1.一种关于大模型调用插件的交易结算方法，其特征在于，包括：
2.如权利要求1所述的关于大模型调用插件的交易结算方法，其特征在于，所述输入提示词包括文本提示词，所述根据所述输入提示词确定被调用插件的形符和被调用插件的步骤包括：
3.如权利要求2所述的关于大模型调用插件的交易结算方法，其特征在于，所述预设形符与插件的对应关系分析记录包括插件与模型的兼容状态标记，所述兼容状态标记是目标模型根据所述预设形符对应的插件调用情况学习得到的，所述插件调用情况包括所述预设形符对应的插件被调用过程的分析数据。
4.如权利要求3所述的关于大模型调用插件的交易...
【专利技术属性】
技术研发人员：袁博浒，袁穗聪，江朝晖，
申请(专利权)人：广东跃昉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。