【技术实现步骤摘要】
本专利技术涉及智能对话机器人，更具体地，涉及一种用于智能对话机器人的意图理解准确率测试的方法、装置和系统。
技术介绍
1、随着人工智能技术的飞速发展，各种智能对话机器人应运而生，像智能外呼机器人、智能呼入机器人、智能文字客服等设备或系统越来越广泛地应用于人们的日常生活，便利着人们的使用。
2、在智能对话机器人的创新过程中，当创建一个智能对话机器人后，为了能够使其更准确且方便地为人们所用，通常需要对智能对话机器人的意图理解准确率进行测试。现有技术的测试方法通常是由业务人员统计出历史通话流水中的所有用户说法，整理后提交到智能对话机器人，作为智能对话机器人意图理解结果的测试依据。该方式需要依靠历史通话流水，当业务刚开展历史通话不多时，往往会造成意图理解判断准确率和召回率差的情况。
3、因此，亟需提供一种用于智能对话机器人的意图理解准确率测试的方式。
技术实现思路
1、针对智能对话机器人意图理解测试不充分以及通过收集历史通话流水来测试准确率导致的耗时耗力且覆盖不全的问题，本专利技术提供了一种用于智能对话机器人的意图理解准确率测试的方法、装置和系统，采用大模型技术，将大模型输出的意图相关说法输入到智能对话机器人，由智能对话机器人输出对应的理解结果后，统计意图理解准确率。通过本专利技术的方案，能够释放收集历史通话用户说法的人力和时间，提高意图理解判断测试的覆盖面和正确率以及召回率，进而提高智能对话机器人的意图判断能力，提高服务舒适度。
2、根据本专利技术的其
3、步骤s101：大模型引擎接收用于所述智能对话机器人的意图理解准确率测试的意图相关指令；
4、步骤s102：所述大模型引擎基于每个所述意图相关指令执行运算并获得所述意图相关指令对应的输出结果；
5、步骤s103：所述大模型引擎将所述意图相关指令对应的输出结果传输给所述智能对话机器人；
6、步骤s104：所述智能对话机器人调用其自身的理解能力进行所述输出结果的意图理解并获得意图理解结果；
7、步骤s105：所述智能对话机器人提取并存储所述意图理解结果中的信息；
8、步骤s106：统计所述意图理解的准确率。
9、进一步地，所述意图相关指令是大模型prompt指令。
10、进一步地，所述步骤s104具体为：所述智能对话机器人在接收到所述意图相关指令对应的输出结果后，基于自身的处理逻辑对所述意图相关指令对应的输出结果执行意图理解并获得意图理解结果。
11、进一步地，所述步骤s105中具体为：所述智能对话机器人提取意图理解中的关键信息，并将所述关键信息存储于存储器中，所述存储器可以是存在于所述智能对话机器人中的存储器，也可以是独立于所述智能对话机器人之外的存储器。
12、进一步地，所述步骤s106中，通过统计设备获得所述信息并自动统计所述意图理解准确率测试的条数和意图理解结果，并基于所述意图理解准确率测试的条数和意图理解结果计算所述意图理解的准确率。
13、进一步地，所述步骤s106中，可以用人工抽检的方式来完成所述意图理解的准确率的统计。
14、根据本专利技术的另一个方面，本专利技术提供了一种用于智能对话机器人的意图理解准确率测试的装置，所述装置包括：接收单元、执行单元、输出单元、理解单元、存储单元和统计单元；
15、所述接收单元，用于大模型引擎接收用于所述智能对话机器人的意图理解准确率测试的意图相关指令；
16、所述执行单元，用于所述大模型引擎基于每个所述意图相关指令执行运算并获得所述意图相关指令对应的输出结果；
17、所述输出单元，用于所述大模型引擎将所述意图相关指令对应的输出结果传输给所述智能对话机器人；
18、所述理解单元，用于所述智能对话机器人调用其自身的理解能力进行所述输出结果的意图理解并获得意图理解结果；
19、所述存储单元，用于所述智能对话机器人提取并存储所述意图理解结果中的信息；
20、所述统计单元，用于统计所述意图理解的准确率。
21、根据本专利技术的另一个方面，本专利技术提供了一种用于智能对话机器人的意图理解准确率测试的系统，所述系统包括：大模型引擎、智能对话机器人和统计设备，其中：
22、所述大模型引擎，用于接收用于所述智能对话机器人的意图理解准确率测试的意图相关指令，基于每个所述意图相关指令执行运算并获得所述意图相关指令对应的输出结果，将所述意图相关指令对应的输出结果传输给所述智能对话机器人；
23、所述智能对话机器人，用于调用其自身的理解能力进行所述输出结果的意图理解并获得意图理解结果，提取并存储所述意图理解结果中的信息；
24、所述统计设备，用于统计所述意图理解的准确率。
25、根据本专利技术的另一个方面，一种电子设备，所述设备包括：
26、存储装置；
27、一个或多个处理器；
28、其中，存储装置用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述一种用于智能对话机器人的意图理解准确率测试的方法。
29、根据本专利技术的另一个方面，一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现上述一种用于智能对话机器人的意图理解准确率测试的方法。
30、根据本专利技术的另一个方面，一种计算机程序产品，包括计算机程序指令，当所述指令由处理器执行时，用于实现上述一种用于智能对话机器人的意图理解准确率测试的方法。
31、与现有技术相比，本专利技术所提供的一种用于智能对话机器人的意图理解准确率测试的方法、装置和系统，所述大模型引擎接收用于所述智能对话机器人的意图理解准确率测试的意图相关指令；基于每个所述意图相关指令执行运算并获得所述意图相关指令对应的输出结果；将所述意图相关指令对应的输出结果传输给所述智能对话机器人；所述智能对话机器人调用其自身的理解能力进行所述输出结果的意图理解并获得意图理解结果；所述智能对话机器人提取并存储所述意图理解结果中的信息；统计所述意图理解的准确率。基于本专利技术所提供的技术方案，能够释放收集历史通话用户说法的人力和时间，提高意图理解判断测试的覆盖面和正确率以及召回率，进而提高智能对话机器人的意图判断能力，提高服务舒适度。
本文档来自技高网...【技术保护点】
1.一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述意图相关指令是大模型Prompt指令。
3.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述步骤S104具体为：
4.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述步骤S105中具体为：
5.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述步骤S106中，通过统计设备获得所述信息并自动统计所述意图理解准确率测试的条数和意图理解结果，并基于所述意图理解准确率测试的条数和意图理解结果计算所述意图理解的准确率。
6.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述步骤S106中，可以用人工抽检的方式来完成所述意图理解的准确率的统计。
7.一种用于智能对话机器人的意图理解准确率测试的装置，
8.一种用于智能对话机器人的意图理解准确率测试的系统，所述系统包括：大模型引擎、智能对话机器人和统计设备，其特征在于，
9.一种电子设备，其特征在于，所述设备包括：
10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现如权利要求1-6中任一项所述的一种用于智能对话机器人的意图理解准确率测试的方法。
...【技术特征摘要】
1.一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述意图相关指令是大模型prompt指令。
3.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述步骤s104具体为：
4.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述步骤s105中具体为：
5.根据权利要求1所述的一种用于智能对话机器人的意图理解准确率测试的方法，其特征在于，所述步骤s106中，通过统计设备获得所述信息并自动统计所述意图理解准确率测试的条数和意图理解结果，并基于所述意图理解准确率测试的条数和意图理解结...
【专利技术属性】
技术研发人员：于明启，李全忠，蒲瑶，何国涛，
申请(专利权)人：普强时代珠海横琴信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。