【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种基于大语言模型的自我反思式提示词优化方法及系统。
技术介绍
1、现如今，越来越多的任务可以通过大语言模型（llms）解决,这些模型在自然语言处理、文本生成、机器翻译等多个领域展现了卓越的性能。提示词（prompts）的编写是实现大模型特定功能的核心，通过精确和有效的提示词，可以引导大语言模型生成期望的结果。然而，在实际应用中，调用大语言模型的代价是非常高的，主要体现在计算资源的消耗和调用时间上。此外，在应用的不断发展过程中，提示词需要随着需求和环境的变化进行更新，以保持模型输出的准确性和相关性。
2、关于提示词优化问题主要是指提示词在任务的进行中需要进行反复小修，但是无法保证修改后的效果比修改前好，且能够在线自动修改；目前的提示词优化方法大多依赖于人工干预，这不仅费时费力，而且难以确保提示词更新的及时性。
技术实现思路
1、本专利技术目的在于提供一种基于大语言模型的自我反思式提示词优化方法及系统，利用大模型自身的反馈机制对提示词进行自动更新，从而实现提示词的异步、及时更新。
2、为达成上述目的，本专利技术提出如下技术方案：
3、第一方面，提出一种基于大语言模型的自我反思式提示词优化方法，包括：
4、基于大语言模型的应用任务，获取初始化的提示词模板，以便所述应用任务根据预设数据集执行设定周期后获得若干提示词用例；
5、采用大语言模型根据评价指标对所述提示词用例进行审核，根据模型评价结果依次
6、构造修订提示词模板，所述修订提示词模板用于根据所述优化样本集对所述提示词用例进行修改，生成若干新提示词；
7、对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词；
8、采用大语言模型根据评价指标对所述新提示词进行验证，当验证的所述新提示词对应的模型评价结果超出修订前的所述提示词用例的模型评价结果，则更新提示词模板；否则重复上述的提示词优化过程，直至获得的所述新提示词满足优化目标。
9、进一步的，所述对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的过程，包括：
10、对若干所述新提示词进行分组，任一组所述新提示词至少包括5个；
11、对各组所述新提示词，引入提示词修订总结器对所述新提示词进行第一次总结，确定各组一次筛选后质量评价最高的所述新提示词；
12、采用所述提示词修订总结器对一次筛选出的若干所述新提示词进行第二次总结，确定二次筛选后质量评价最高的所述新提示词；
13、重复执行新提示词总结过程，直至筛选至只保留一个所述新提示词。
14、进一步的，所述构造修订提示词模板根据所述优化样本集对所述提示词用例进行修改，生成若干新提示词的过程为：
15、构造一修订提示词模板，记为；其中，表示提示词模板修订函数，分别表示基于提示词模板生成并审核得到的正确样本和错误样本；
16、对任一提示词模板，获取提示词模板的优化样本集，所述优化样本集包括组正确样本和错误样本；
17、根据所述优化样本集中组样本，采用所述修订提示词模板生成个新提示词；其中，。
18、进一步的，所述对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的过程，包括：
19、构建一提示词质量评估器，采用所述提示词质量评估器对所述新提示词进行评价，获得各所述新提示词的质量得分；
20、比较各所述新提示词的质量得分，选择得分最高的所述新提示词为满足提示词稳定性和一致性要求的新提示词；
21、所述提示词质量评估器为一神经网络，对应的表达式为：；
22、其中，表示质量得分，为修订提示词模板根据优化样本集修改获得的新提示词的数量，llm()为第 i个新提示词对应的大语言模型的实际输出，为第 i个提示词用例对应的大语言模型的预期输出， l(llm(), y i)用于衡量大语言模型的实际输出和预期输出是否相匹配，若匹配则 l(llm(), y i)的取值为1，若不匹配则 l(llm(), y i)的取值为0。
23、进一步的，所述提示词用例记为，；其中，为初始化的提示词模板，为预设数据集一预设数据；为预设数据基于初始化的提示词模板生成的提示词；
24、采用大语言模型根据评价指标对所述提示词用例进行审核以对所述提示词用例进行分类的过程为：
25、根据评价指标，输入所述提示词用例中的提示词至大语言模型，输出模型评价结果；
26、判断所述模型评价结果是否符合预设任务预期，当所述模型评价结果超出预设任务预期，则记所述提示词用例为正确样本并归类至所述正确样本集；否则，记所述提示词用例为错误样本并归类至所述错误样本集。
27、第二方面，提出一种基于大语言模型的自我反思式提示词优化系统，包括：
28、获取模块，用于基于大语言模型的应用任务，获取初始化的提示词模板，以便所述应用任务根据预设数据集执行设定周期后获得若干提示词用例；
29、审核建立模块，用于采用大语言模型根据评价指标对所述提示词用例进行审核，根据模型评价结果依次归类各所述提示词用例至正确样本集和错误样本集，进而从正确样本集和错误样本集中均匀采样后建立优化样本集；
30、构造生成模块，用于构造修订提示词模板，所述修订提示词模板用于根据所述优化样本集对所述提示词用例进行修改，生成若干新提示词；
31、评价筛选模块，用于对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词；
32、验证更新模块，用于采用大语言模型根据评价指标对所述新提示词进行验证，当验证的所述新提示词对应的模型评价结果超出修订前的所述提示词用例的模型评价结果，则更新提示词模板；否则重复上述的提示词优化过程，直至获得的所述新提示词满足优化目标。
33、进一步的，所述评价筛选模块对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的执行单元，包括：
34、分组单元，用于对若干所述新提示词进行分组，任一组所述新提示词至少包括5个；
35、第一总结单元，用于对各组所述新提示词，引入提示词修订总结器对所述新提示词进行第一次总结，确定各组一次筛选后质量评价最高的所述新提示词；
36、第二总结单元，用于采用所述提示词修订总本文档来自技高网...
【技术保护点】
1.一种基于大语言模型的自我反思式提示词优化方法，其特征在于，包括：
2.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的过程，包括：
3.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述构造修订提示词模板根据所述优化样本集对所述提示词用例进行修改，生成若干新提示词的过程为：
4.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的过程，包括：
5.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述提示词用例记为，；其中，为初始化的提示词模板，为预设数据集一预设数据；为预设数据基于初始化的提示词模板生成的提示词；
6.一种基于大语言模型的自我反思式提示词优化系统，其特征在于，包括：
7.根据权利要求6所述的基于大语言模型的自我反思式提示词优化系统，其特征在
8.根据权利要求6所述的基于大语言模型的自我反思式提示词优化系统，其特征在于，所述构造生成模块构造修订提示词模板根据所述优化样本集对所述提示词用例进行修改，生成若干新提示词的执行单元，包括：
9.根据权利要求6所述的基于大语言模型的自我反思式提示词优化系统，其特征在于，所述评价筛选模块对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的执行单元，包括：
10.一种电子设备，其特征在于，包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行权利要求1-5中任一项所述的基于大语言模型的自我反思式提示词优化方法的步骤。
...【技术特征摘要】
1.一种基于大语言模型的自我反思式提示词优化方法，其特征在于，包括：
2.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的过程，包括：
3.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述构造修订提示词模板根据所述优化样本集对所述提示词用例进行修改，生成若干新提示词的过程为：
4.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述对若干所述新提示词进行评价，筛选满足提示词稳定性和一致性要求的新提示词的过程，包括：
5.根据权利要求1所述的基于大语言模型的自我反思式提示词优化方法，其特征在于，所述提示词用例记为，；其中，为初始化的提示词模板，为预设数据集一预设数据；为预设数据基于初始化的提示词模板生成的提示词；
6.一种基于大语言模型的自我反思式提示词优化系统，其特征在于...
【专利技术属性】
技术研发人员：刘鹏，张真，王美民，于可汗，徐贺龙，秦恩泉，
申请(专利权)人：南京云创大数据科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。