【技术实现步骤摘要】
本申请涉及自然语言处理，尤其涉及一种语言模型评测方法、文本处理方法及相关产品。
技术介绍
1、随着自然语言技术的发展，语言模型的应用越来越广。由于不同的语言模型适用于不同的自然语言处理任务，因此需要根据自然语言处理任务评估模型的性能，即评估语言模型对测试文本执行自然语言处理任务的效果。传统方式是在根据语言模型所需执行的自然语言处理任务对测试文本进行标注得到测试文本的标签后，利用测试文本的标签评估语言模型对测试文本执行自然语言处理任务的效果。然而，标注需要耗费较高的人力成本和时间成本，因此，如何在没有测试文本的标签的情况下，评估语言模型的性能具有非常重要的意义。
技术实现思路
1、本申请提供一种语言模型评测方法、文本处理方法及相关产品，其中，相关产品包括语言模型评测装置、文本处理装置、电子设备、计算机可读存储介质及计算机程序产品。
2、第一方面，提供了一种语言模型评测方法，所述方法包括：
3、获取测试文本和m个待评测语言模型，所述m大于或等于2；
4、利用所述m个待评测语言模型对所述测试文本执行目标任务，得到m个第一处理结果，所述目标任务为自然语言处理任务，所述第一处理结果与所述待评测语言模型一一对应，所述m个第一处理结果包括第二处理结果，所述第二处理结果是由所述m个待评测语言模型中的第一语言模型得到的；
5、确定所述第二处理结果与所述m个第一处理结果的一致性，得到m个第一一致性，所述第一一致性与所述第一处理结果一一对应；
7、结合本申请任一实施方式，所述基于所述m个第一一致性，确定所述第一语言模型的第一性能，包括：
8、从所述m个第一一致性中确定参考一致性，所述参考一致性为所述第二处理结果与所述m个第一处理结果中的第三处理结果的一致性，所述第三处理结果是由所述m个待评测语言模型中的第二语言模型得到的，所述第二语言模型与所述第一语言模型不同；
9、基于与所述第二语言模型的参考性能，确定所述参考一致性的权重，所述参考性能表征所述第二语言模型对文本执行所述目标任务的效果，所述参考性能与所述权重呈正相关；
10、利用所述权重修正所述参考一致性，得到修正后的一致性；
11、基于所述修正后的一致性和所述m个第一一致性中除所述参考一致性之外的一致性，确定所述第一性能。
12、结合本申请任一实施方式，所述基于所述修正后的一致性和所述m个第一一致性中除所述参考一致性之外的一致性，确定所述第一性能，包括：
13、基于所述修正后的一致性和所述m个第一一致性中除所述参考一致性之外的一致性的平均值，确定所述第一性能，所述第一性能与所述平均值呈正相关。
14、结合本申请任一实施方式，在所述基于所述m个第一一致性，确定所述第一语言模型的第一性能之前，所述方法还包括：
15、获取(m-1)个第二性能，所述第二性能表征所述m个待评测语言模型中除所述第一语言模型之外的模型对文本执行所述目标任务的效果，所述第二性能与所述m个待评测语言模型中除所述第一语言模型之外的模型一一对应；
16、剔除所述第一性能和所述(m-1)个第二性能中性能最弱的x个，得到y个第三性能，所述x为小于所述m的整数；
17、所述基于所述m个第一一致性，确定所述第一语言模型的第一性能，包括：
18、在所述y个第三性能的平均值小于所述第一性能和所述(m-1)个第二性能的平均值的情况下，基于所述m个第一一致性，确定所述第一语言模型的第一性能。
19、结合本申请任一实施方式，在确定所述第一语言模型的第一性能之后，所述方法还包括：
20、基于所述第一性能和所述(m-1)个第二性能，从所述m个待评测语言模型中确定用于对文本执行所述目标任务的目标语言模型。
21、结合本申请任一实施方式，所述基于所述第一性能和所述(m-1)个第二性能，从所述m个待评测语言模型中确定用于对文本执行所述目标任务的目标语言模型，包括：
22、基于所述第一性能和所述(m-1)个第二性能，从所述m个待评测语言模型中确定对文本执行所述目标任务的效果最佳的模型，作为所述目标语言模型。
23、结合本申请任一实施方式，所述测试文本为笔记，所述目标任务包括预测所述笔记的内容的质量。
24、结合本申请任一实施方式，所述利用所述m个待评测语言模型对所述测试文本执行目标任务，得到m个第一处理结果，包括：
25、基于所述测试文本和所述目标任务，生成提示词，所述提示词用于引导语言模型对所述测试文本执行所述目标任务；
26、在所述提示词的引导下，利用所述m个待评测语言模型对所述测试文本执行所述目标任务，得到所述m个第一处理结果。
27、第二方面，提供了一种文本处理方法，所述方法包括：
28、获取待处理文本和目标语言模型，所述目标语言模型是根据第一方面中的实施方式得到的；
29、利用所述目标语言模型对所述待处理文本执行目标任务，得到目标处理结果。
30、第三方面，提供了一种语言模型评测装置，所述语言模型评测装置包括：
31、获取单元，用于获取测试文本和m个待评测语言模型，所述m大于或等于2；
32、处理单元，用于利用所述m个待评测语言模型对所述测试文本执行目标任务，得到m个第一处理结果，所述目标任务为自然语言处理任务，所述第一处理结果与所述待评测语言模型一一对应，所述m个第一处理结果包括第二处理结果，所述第二处理结果是由所述m个待评测语言模型中的第一语言模型得到的；
33、确定单元，用于确定所述第二处理结果与所述m个第一处理结果的一致性，得到m个第一一致性，所述第一一致性与所述第一处理结果一一对应；
34、所述确定单元，用于基于所述m个第一一致性，确定所述第一语言模型的第一性能，所述第一性能表征所述第一语言模型对文本执行所述目标任务的效果。
35、结合本申请任一实施方式，所述确定单元，具体用于：
36、从所述m个第一一致性中确定参考一致性，所述参考一致性为所述第二处理结果与所述m个第一处理结果中的第三处理结果的一致性，所述第三处理结果是由所述m个待评测语言模型中的第二语言模型得到的，所述第二语言模型与所述第一语言模型不同；
37、基于与所述第二语言模型的参考性能，确定所述参考一致性的权重，所述参考性能表征所述第二语言模型对文本执行所述目标任务的效果，所述参考性能与所述权重呈正相关；
38、利用所述权重修正所述参考一致性，得到修正后的一致性；
39、基于所述修正后的一致性和所述m个第一一致性中除所述参考一致性之外的一致性，确定所述第一性能。
40、结合本申请任一本文档来自技高网...
【技术保护点】
1.一种语言模型评测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述m个第一一致性，确定所述第一语言模型的第一性能，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述修正后的一致性和所述m个第一一致性中除所述参考一致性之外的一致性，确定所述第一性能，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，在所述基于所述m个第一一致性，确定所述第一语言模型的第一性能之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在确定所述第一语言模型的第一性能之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一性能和所述(m-1)个第二性能，从所述m个待评测语言模型中确定用于对文本执行所述目标任务的目标语言模型，包括：
7.根据权利要求1至3中任意一项所述的方法，其特征在于，所述测试文本为笔记，所述目标任务包括预测所述笔记的内容的质量。
8.根据权利要求1至3中任意一项所述的方法，其特征在于，所述利用所述m个
9.一种文本处理方法，其特征在于，所述方法包括：
10.一种语言模型评测装置，其特征在于，所述语言模型评测装置包括：
11.一种文本处理装置，其特征在于，所述文本处理装置包括：
12.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至8中任意一项所述的方法，所述电子设备或者执行如权利要求9所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至8中任意一项所述的方法，或者使所述处理器执行权利要求9所述的方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或指令；在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行权利要求1至8中任意一项所述的方法，或者使所述处理器执行权利要求9所述的方法。
...【技术特征摘要】
1.一种语言模型评测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述m个第一一致性，确定所述第一语言模型的第一性能，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述修正后的一致性和所述m个第一一致性中除所述参考一致性之外的一致性，确定所述第一性能，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，在所述基于所述m个第一一致性，确定所述第一语言模型的第一性能之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在确定所述第一语言模型的第一性能之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一性能和所述(m-1)个第二性能，从所述m个待评测语言模型中确定用于对文本执行所述目标任务的目标语言模型，包括：
7.根据权利要求1至3中任意一项所述的方法，其特征在于，所述测试文本为笔记，所述目标任务包括预测所述笔记的内容的质量。
8.根据权利要求1至3中任意一项所述的方法，其特征在于，所述利用所述m个待评测语言模型对所述测试文本...
【专利技术属性】
技术研发人员：袁沛文，冯少雄，李易为，王星霖，潘博远，王鹤达，胡尧，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。