【技术实现步骤摘要】
本专利技术涉及大模型，尤其涉及一种大模型提示词优化方法、装置、设备及存储介质。
技术介绍
1、随着大模型时代的到来，chat-gpt火爆全球，各行各业都在做大模型，但是当前很多用户使用大模型的体验并不好，用户输入的一些问题，大模型并没有理解，经常出现答非所问的情况。如何让大模型正确且高效地理解用户意图是一大难点。为更好解决这一问题，因此引入了提示词。大模型的提示词是指在使用预训练的语言模型时，为了引导模型生成特定的文本内容而输入的起始词语或短语。通过提供提示词，用户可以向模型传达一些上下文信息、主题或意图，以便模型能够根据这些提示词生成相关的回复或文本。
2、现有针对大模型提示词优化的技术方案较少，主要有两种方法：第一种是基于人工的方法来进行提示词编写，单纯靠人工进行提示词编写、提示词修改，效率十分低下。第二种是基于算法的方法自动生成提示词，但该方式一般都只在一个层面对提示词进行优化，因而对提示词的优化效果亦不佳。
技术实现思路
1、本专利技术的主要目的在于提供一种大模型提示词优化方法、装置、设备及存储介质，旨在解决现有大模型提示词优化方式存在效率低、优化效果差的技术问题。
2、本专利技术第一方面提供了一种大模型提示词优化方法，所述大模型提示词优化方法包括：
3、获取第一元提示词并输入大模型，生成多个第一提示词，并对所述第一提示词进行测试，根据测试结果确定初始提示词以及是否进行语义优化；
4、若确定进行语义优化，则基于所述初始提示词，
5、若确定进行语句优化，则对所述语义优化提示词进行语句编辑，生成多个第三提示词，并对所述第三提示词进行迭代优化与测试，根据测试结果确定语句优化提示词并作为最优提示词输出。
6、可选的，在本专利技术第一方面的第一种实现方式中，所述获取第一元提示词并输入大模型，生成多个第一提示词，并对所述第一提示词进行测试，根据测试结果确定初始提示词以及是否进行语义优化包括：
7、基于预置第一任务描述与任务案例，构建第一元提示词；
8、将所述第一元提示词输入大模型进行处理，生成多个第一提示词；
9、采用预置测试用例并调用大模型分别对各第一提示词进行测试，计算各第一提示词对应的测试结果的准确率；
10、判断所有第一提示词对应的测试结果中的最高准确率是否达到预置第一准确率阈值；
11、若达到所述第一准确率阈值，则确定不进行语义优化并将对应第一提示词作为最优提示词输出；
12、若未达到所述第一准确率阈值，则确定进行语义优化，输出所有测试结果中准确率最高的第一提示词并作为初始提示词。
13、可选的，在本专利技术第一方面的第二种实现方式中，所述基于所述初始提示词，构建基于语义反思的第二元提示词并输入大模型，生成多个第二提示词，并对所述第二提示词进行迭代优化与测试，根据测试结果确定语义优化提示词以及是否进行语句优化包括：
14、s201：基于上一轮提示词优化的优化结果，构建本轮基于语义反思的第二元提示词并输入大模型，生成本轮提示词优化的多个第二提示词，其中，上一轮提示词优化的优化结果包括所述初始提示词；
15、s202：采用所述测试用例并调用大模型分别对本轮生成的各第二提示词进行测试，计算各第二提示词对应的测试结果的准确率，输出本轮所有测试结果中准确率最高的第二提示词并作为本轮提示词优化的优化结果；
16、s203：迭代执行s201-s202，直至满足预置第一迭代退出条件时停止迭代并将所有测试结果中准确率最高的第二提示词作为第一候选提示词；
17、s204：判断所述第一候选提示词对应的测试结果的准确率是否达到预置第二准确率阈值；
18、s205：若达到所述第二准确率阈值，则确定不进行语句优化并将所述第一候选提示词作为最优提示词输出；
19、s206：若未达到所述第二准确率阈值，则确定进行语句优化，并将所述初始提示词作为第二候选提示词，比较所述第一候选提示词与所述第二候选提示词各自对应的测试结果的准确率大小，并选取准确率最大的提示词作为语义优化提示词输出。
20、可选的，在本专利技术第一方面的第三种实现方式中，所述基于上一轮提示词优化的优化结果，构建本轮基于语义反思的第二元提示词并输入大模型，生成本轮提示词优化的多个第二提示词包括：
21、采用所述测试用例并调用大模型对上一轮提示词优化的优化结果进行测试，并从测试结果中提取回答错误的测试用例作为本轮测试的错题集；
22、基于预置第二任务描述与本轮测试的错题集，构建本轮基于语义反思的第二元提示词并输入大模型，生成本轮提示词优化的多个第二提示词。
23、可选的，在本专利技术第一方面的第四种实现方式中，所述对所述语义优化提示词进行语句编辑，生成多个第三提示词，并对所述第三提示词进行迭代优化与测试，根据测试结果确定语句优化提示词并作为最优提示词输出包括：
24、s301：提取所述语义优化提示词中的第三任务描述作为第一关键内容，并根据所述第一关键内容设置停用词与自定义词典；
25、s302：基于所述停用词与自定义词典，对所述第一关键内容进行分词处理，得到由多个分词构成的第二关键内容；
26、s303：对所述第二关键内容进行语句编辑操作，生成多个第三关键内容，并分别将各所述第三关键内容替换所述语义优化提示词中的第三任务描述，对应得到本轮提示词优化的多个第三提示词，其中，所述语句编辑操作包括增加操作、删除操作、修改操作和交换操作中的一种或多种；
27、s304：采用所述测试用例并调用大模型分别对本轮生成的各第三提示词进行测试，计算本轮所有第三提示词对应的测试结果的准确率；
28、s305：迭代执行s303-s304，直至满足预置第二迭代退出条件时停止迭代并将所有测试结果中准确率最高的第三提示词作为第三候选提示词；
29、s306：将所述语义优化提示词作为第四候选提示词，并比较所述第三候选提示词与所述第四候选提示词各自对应的测试结果的准确率大小，选取准确率最大的提示词作为语句优化提示词并将所述语句优化提示词作为最优提示词输出。
30、可选的，在本专利技术第一方面的第五种实现方式中，所述大模型提示词优化方法还包括：
31、获取大模型输出的最优提示词；
32、采用新测试用例并调用大模型对所述最优提示词进行测试，输出测试结果并进行测试效果展示。
33、可选的，在本专利技术第一方面的第六种实现方式中，所述采用新测试用例并调用大模型对所述最优提示词进行测试，输出测试结果并进行测试效果展示包括：
34、将所述最优提示词与所述新测试用例输入大模型进行测试，输出所有所述新测试用本文档来自技高网...
【技术保护点】
1.一种大模型提示词优化方法，其特征在于，所述大模型提示词优化方法包括：
2.根据权利要求1所述的大模型提示词优化方法，其特征在于，所述获取第一元提示词并输入大模型，生成多个第一提示词，并对所述第一提示词进行测试，根据测试结果确定初始提示词以及是否进行语义优化包括：
3.根据权利要求2所述的大模型提示词优化方法，其特征在于，所述基于所述初始提示词，构建基于语义反思的第二元提示词并输入大模型，生成多个第二提示词，并对所述第二提示词进行迭代优化与测试，根据测试结果确定语义优化提示词以及是否进行语句优化包括：
4.根据权利要求3所述的大模型提示词优化方法，其特征在于，所述基于上一轮提示词优化的优化结果，构建本轮基于语义反思的第二元提示词并输入大模型，生成本轮提示词优化的多个第二提示词包括：
5.根据权利要求3所述的大模型提示词优化方法，其特征在于，所述对所述语义优化提示词进行语句编辑，生成多个第三提示词，并对所述第三提示词进行迭代优化与测试，根据测试结果确定语句优化提示词并作为最优提示词输出包括：
6.根据权利要求1-5中任一
7.根据权利要求6所述的大模型提示词优化方法，其特征在于，所述采用新测试用例并调用大模型对所述最优提示词进行测试，输出测试结果并进行测试效果展示包括：
8.一种大模型提示词优化装置，其特征在于，所述大模型提示词优化装置包括：
9.一种计算机设备，其特征在于，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的大模型提示词优化方法。
...【技术特征摘要】
1.一种大模型提示词优化方法，其特征在于，所述大模型提示词优化方法包括：
2.根据权利要求1所述的大模型提示词优化方法，其特征在于，所述获取第一元提示词并输入大模型，生成多个第一提示词，并对所述第一提示词进行测试，根据测试结果确定初始提示词以及是否进行语义优化包括：
3.根据权利要求2所述的大模型提示词优化方法，其特征在于，所述基于所述初始提示词，构建基于语义反思的第二元提示词并输入大模型，生成多个第二提示词，并对所述第二提示词进行迭代优化与测试，根据测试结果确定语义优化提示词以及是否进行语句优化包括：
4.根据权利要求3所述的大模型提示词优化方法，其特征在于，所述基于上一轮提示词优化的优化结果，构建本轮基于语义反思的第二元提示词并输入大模型，生成本轮提示词优化的多个第二提示词包括：
5.根据权利要求3所述的大模型提示词优化方法，其特征在于，所...
【专利技术属性】
技术研发人员：蔡永为，陈峥，
申请(专利权)人：佳都科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。