【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种提示语优化方法及相关设备。
技术介绍
1、随着对内容理解需求的不断提升，基于通用知识的识别需求日益普遍，而大模型正好在这方面表现出色。因此，如何基于大模型快速生成内容理解模型成为一个重要的研究课题。提示语(prompt)是人类与大模型之间的沟通桥梁，不同的prompt对最终结果影响巨大。因此，如何对提示语进行优化已经成为大模型应用中的一个热点问题。
技术实现思路
1、有鉴于此，本公开的实施例提供一种提示语优化方法以及相关设备，可以对提示语中的策略进行优化，从而达到优化提示语的目的，进而大幅提升大模型在各种内容理解应用中的性能。
2、本公开实施例所述的提示语优化方法可以包括：利用第一大模型基于策略库中的策略对标记数据集中的样本数据分别进行预测；从所述标记数据集中提取预测结果与相应的标记结果不一致的错误样本数据；对所述错误样本数据进行分组，得到多个错误样本数据分组；针对每个错误样本数据分组，基于所述错误样本数据分组中的错误样本数据生成所述错误样本数据分组对应的候选策略；对各个错误样本数据分组对应的候选策略进行评估，从所述候选策略中确定至少一个目标策略；基于所述至少一个目标策略对所述策略库进行优化；以及基于优化后的策略库生成所述提示语。
3、在本公开的实施例中，对所述错误样本数据进行分组，得到多个错误样本数据分组包括：对所述错误样本数据进行聚类，得到所述多个错误样本数据分组。
4、在本公开的实施例中，对所述错误样本数据进行
5、在本公开的实施例中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：将所述错误样本数据分组中的错误样本数据输入第二大模型，由所述第二大模型生成所述候选策略。
6、在本公开的实施例中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：将所述错误样本数据分组中的错误样本数据输入第三大模型，由所述第三大模型输出与所述错误样本数据分组对应的至少一条预测错误原因；以及将所述错误样本数据分组中的错误样本数据以及与所述错误样本数据分组对应的至少一条预测错误原因输入第四大模型，由所述第四大模型生成所述候选策略。
7、在本公开的实施例中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：将所述错误样本数据分组中的错误样本数据输入第二大模型，由所述第二大模型生成第一部分候选策略；将所述错误样本数据分组中的错误样本数据输入第三大模型，由所述第三大模型输出与所述错误样本数据分组对应的至少一条预测错误原因；以及将所述错误样本数据分组中的错误样本数据以及与所述错误样本数据分组对应的至少一条预测错误原因输入第四大模型，由所述第四大模型生成第二部分候选策略。
8、在本公开的实施例中，上述提示语优化方法可以进一步包括：基于预先设置的进化算法对所述各个错误样本数据分组对应的候选策略进行进化，得到进化后的所述各个错误样本数据分组对应的候选策略。
9、在本公开的实施例中，对所述候选策略进行评估包括：基于所述标记数据集中样本数据的累计错误率生成测试数据集；基于所述测试数据集分别对所述候选策略以及所述策略库中的策略进行测试，得到各个策略对应的测试准确率；以及基于所述各个策略对应的测试准确率从所述候选策略中确定所述目标策略。
10、在本公开的实施例中，在基于优化后的策略库生成提示语之前，所述方法进一步包括：响应于确定优化后的策略库不满足预先设置的优化结束条件，返回所述利用大模型基于策略库中的策略对标记数据集进行预测的步骤；以及响应于确定优化后的策略库满足预先设置的优化结束条件，执行所述基于优化后的策略库生成提示语的步骤。
11、在本公开的实施例中，上述提示语优化方法可以进一步包括：从所述策略库中选择与输入样本相似度最高的至少一个相关策略；以及基于所述至少一个相关策略生成所述提示语中的提示模块。
12、在本公开的实施例中，基于优化后的策略库生成所述提示语包括：基于所述优化后的策略库、所述提示模块以及所述输入样本生成所述提示语。
13、基于上述提示语优化方法，本公开的实施例还提供了一种提示语优化装置，包括：
14、预测模块，用于利用第一大模型基于策略库中的策略对标记数据集中的样本数据分别进行预测，从所述标记数据集中提取预测结果与标记结果不一致的错误样本数据；
15、选择模块，用于对所述错误样本数据进行分组，得到多个错误样本数据分组；
16、候选策略生成模块，用于针对每个错误样本数据分组，基于所述错误样本数据分组中的错误样本数据生成所述错误样本数据分组对应的候选策略；
17、评估模块，用于对各个错误样本数据分组对应的候选策略进行评估，从所述候选策略中确定至少一个目标策略；
18、优化模块，用于基于所述至少一个目标策略对所述策略库进行优化；
19、提示语生成模块，用于基于优化后的策略库生成所述提示语。
20、在本公开的实施例中，上述候选策略生成模块包括：第一候选策略生成单元，用于将所述错误样本数据分组中的错误样本数据输入第二大模型，由所述大模型生成所述候选策略。
21、在本公开的实施例中，上述候选策略生成模块包括：
22、错误原因分析单元，用于将所述错误样本数据分组中的错误样本数据输入第三大模型，由所述第三大模型输出与所述错误样本数据分组对应的至少一条预测错误原因；
23、第二候选策略生成单元，用于将所述错误样本数据分组中的错误样本数据以及与所述错误样本数据分组对应的至少一条预测错误原因输入第四大模型，由所述第四大模型生成所述候选策略。
24、此外，本公开的实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述提示语优化方法。
25、本公开的实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述提示语优化方法。
26、本公开的实施例还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述提示语优化方法。
27、在上述提示语优化方法及相关设备中，在利用大模型基于策略库中的策略对标记数据集进行预测并提取到错误样本数据后，首先对错误样本数据进行分组，得到多个错误样本数据分组。然后，针对每个错误样本数据分组分别生成候选策略。最后，在对候选策略进行评估后对策略库进行优化，从而达到对提示语进行优化的目的。可见，通过基于预设的分组策略对错误样本数据进行分组，将具有基本相同特性的错误样本分成一组，并针对每个错误样本数据分组分别生成候选策略，可以生成更为准确的候选策略，从而可以本文档来自技高网...
【技术保护点】
1.一种提示语优化方法，包括：
2.根据权利要求1所述的提示语优化方法，其中，对所述错误样本数据进行分组，得到多个错误样本数据分组包括：对所述错误样本数据进行聚类，得到所述多个错误样本数据分组。
3.根据权利要求1所述的提示语优化方法，其中，对所述错误样本数据进行分组，得到多个错误样本数据分组包括：基于所述错误样本数据的累计错误率，对所述错误样本数据进行分组，得到所述多个错误样本数据分组。
4.根据权利要求1所述的提示语优化方法，其中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：将所述错误样本数据分组中的错误样本数据输入第二大模型，由所述第二大模型生成所述候选策略。
5.根据权利要求1所述的提示语优化方法，其中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：
6.根据权利要求1所述的提示语优化方法，其中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：
7.根据权利要求4-6中任意一项权利要求所述的提示语优化方法，进一步包括：基于预先设置的进化算法对所述各个错误
8.根据权利要求1所述的提示语优化方法，其中，对各个错误样本数据分组对应的候选策略进行评估包括：
9.根据权利要求1所述的提示语优化方法，其中，在基于优化后的策略库生成提示语之前，所述方法进一步包括：
10.根据权利要求1所述的提示语优化方法，进一步包括：
11.根据权利要求10所述的提示语优化方法，其中，基于优化后的策略库生成所述提示语包括：基于所述优化后的策略库、所述提示模块以及所述输入样本生成所述提示语。
12.一种提示语优化装置，包括：
13.根据权利要求12所述的提示语优化装置，其中，所述候选策略生成模块包括：第一候选策略生成单元，用于将所述错误样本数据分组中的错误样本数据输入第二大模型，由所述第二大模型生成所述候选策略；和/或，
14.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-11中任意一项所述的提示语优化方法。
15.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1-11任意一项所述的提示语优化方法。
16.一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求1-11中任意一项所述的提示语优化方法。
...【技术特征摘要】
1.一种提示语优化方法，包括：
2.根据权利要求1所述的提示语优化方法，其中，对所述错误样本数据进行分组，得到多个错误样本数据分组包括：对所述错误样本数据进行聚类，得到所述多个错误样本数据分组。
3.根据权利要求1所述的提示语优化方法，其中，对所述错误样本数据进行分组，得到多个错误样本数据分组包括：基于所述错误样本数据的累计错误率，对所述错误样本数据进行分组，得到所述多个错误样本数据分组。
4.根据权利要求1所述的提示语优化方法，其中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：将所述错误样本数据分组中的错误样本数据输入第二大模型，由所述第二大模型生成所述候选策略。
5.根据权利要求1所述的提示语优化方法，其中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：
6.根据权利要求1所述的提示语优化方法，其中，基于所述错误样本数据分组中的错误样本数据生成新的候选策略包括：
7.根据权利要求4-6中任意一项权利要求所述的提示语优化方法，进一步包括：基于预先设置的进化算法对所述各个错误样本数据分组对应的候选策略进行进化，得到进化后的所述各个错误样本数据分组对应的候选策略。
8.根据权利要求1所述的提示语优化方法，其中，对各个错误样本数...
【专利技术属性】
技术研发人员：张林，颜慈霖，赵瑞辉，熊凯，吴潇朴，刘青松，冉蛟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。