本发明专利技术公开了一种话术质量测试方法、装置、电子设备及存储介质。首先，获取聊天机器人和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据，实现利用聊天机器人对客服人员的自动测试；然后，根据虚拟对象的预设测试流程对测试对话文本数据进行划分，得到与预设测试流程包括的目标环节对应的句子对文本数据；接着，根据句子对文本数据和目标产品对象的产品参数数据确定目标环节的目标阶段评估数据；最后，基于目标阶段评估数据确定目标客服对象的话术质量评估数据。通过虚拟对象的预设测试流程可以对客服人员的话术质量进行整体评估，更准确地评估客服人员的话术质量。员的话术质量。员的话术质量。
【技术实现步骤摘要】
话术质量测试方法、装置、电子设备及存储介质
[0001]本专利技术涉及人工智能
，尤其涉及一种话术质量测试方法、装置、电子设备及存储介质。
技术介绍
[0002]在客户服务工作过程中，客服主要接受顾客咨询并帮助顾客解答疑惑。客服的质量高低直接影响企业在顾客方的形象及认可程度，故客服话术质量的评估对于企业至关重要。
[0003]相关技术中，通过预训练Bert（Bidirectional Encoder Representation from Transformers）模型对训练序列编码，取话术要点前的标识符向量输入全连接层计算当前话术要点得分。通过预训练Bert模型的方式可以进行客服话术的简单评估，然而，还需要提出一种新的方式针对客服话术进行整体质量评估。
技术实现思路
[0004]本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种话术质量测试方法、装置、电子设备及存储介质。
[0005]本说明书实施方式提供一种话术质量测试方法，所述方法包括：获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；根据所述虚拟对象的预设测试流程对所述测试对话文本数据进行划分，得到与所述预设测试流程包括的目标环节对应的句子对文本数据；根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个；基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据。
[0006]在其中一个实施方式，所述目标环节包括构建会话环节、询问会话环节、结束会话环节；所述基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据，包括：根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据。
[0007]在其中一个实施方式，不同的目标环节对应有不同的权重分配数据；所述根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据，包括：根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到所述话术质量评估数据。
[0008]在其中一个实施方式，所述测试对话文本数据的生成方式，包括：响应于针对客服对象的指定操作，确定所述目标客服对象；向所述虚拟对象与所述目标客服对象的会话界面上发送所述虚拟对象触发的问题文本数据；接收所述目标客服对象针对所述问题文本数据发送的回答文本数据；基于所述预设测试流程中的所述问题文本数据和所述回答文本数据生成所述测试对话文本数据。
[0009]在其中一个实施方式，所述产品参数数据包括产品参数矩阵；所述根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据，包括：基于所述句子对文本数据确定对应的句子对特征向量；对所述句子对特征向量和所述产品参数矩阵进行拼接处理，得到话术评估拼接向量；根据所述话术评估拼接向量进行二分类处理，确定所述目标阶段评估数据。
[0010]在其中一个实施方式，所述目标产品对象的产品参数矩阵的确定方式，包括：根据所述目标产品对象的标识信息在产品对象与参数矩阵的对应关系中进行查找，得到所述目标产品对象的产品参数矩阵；其中，所述产品对象与参数矩阵的对应关系是基于预先整理的产品对象知识库确定的，所述产品对象知识库包括产品对象与产品参数的对应关系。
[0011]在其中一个实施方式，所述目标阶段评估数据是通过句子对分类模型得到的；所述句子对分类模型的训练过程，包括：基于收集的客服对象的实例对话文本数据，构建第一正语料样本；基于预先整理的产品对象知识库，构建第二正语料样本；其中，所述产品对象知识库包括产品对象与产品参数的对应关系；对所述第一正语料样本的部分和/或所述第二正语料样本的部分进行问题回答对应关系的打乱操作，得到负语料样本；利用所述第一正语料样本、所述第二正语料样本以及所述负语料样本对初始分类模型进行训练，得到所述句子对分类模型。
[0012]在其中一个实施方式，所述方法还包括：若所述目标客服对象的话术质量评估数据未满足预设的测试合格条件，向所述目标客服对象再次发起所述咨询测试操作；或者若所述目标客服对象的话术质量评估数据满足预设的测试合格条件，停止针对所述目标客服对象的所述咨询测试操作，并控制所述虚拟对象向其它客服对象发起咨询测试操作。
[0013]本说明书实施方式提供一种话术质量测试装置，所述装置包括：测试数据获取模块，用于获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；句子对获取模块，用于根据所述虚拟对象的预设测试流程对所述测试对话文本数
据进行划分，得到与所述预设测试流程包括的目标环节对应的句子对文本数据；评估数据确定模块，用于根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个；话术质量确定模块，用于基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据。
[0014]本说明书实施方式提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。
[0015]本说明书实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。
[0016]本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。
[0017]上述实施方式中，出于测试目标客服对象的话术质量的目的，首先，获取聊天机器人和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据，实现利用聊天机器人对客服人员的自动测试；然后，根据虚拟对象的预设测试流程对测试对话文本数据进行划分，得到与预设测试流程包括的目标环节对应的句子对文本数据；接着，根据句子对文本数据和目标产品对象的产品参数数据确定目标环节的目标阶段评估数据；最后，基于目标阶段评估数据确定目标客服对象的话术质量评估数据。通过虚拟对象的预设测试流程可以对客服人员的话术质量进行整体评估，更准确地评估客服人员本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种话术质量测试方法，其特征在于，所述方法包括：获取虚拟对象和目标客服对象之间基于目标产品对象的咨询测试操作产生的测试对话文本数据；其中，所述虚拟对象为向所述目标客服对象发起所述咨询测试操作的聊天机器人；根据所述虚拟对象的预设测试流程对所述测试对话文本数据进行划分，得到与所述预设测试流程包括的目标环节对应的句子对文本数据；根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据；其中，所述产品参数数据用于描述与所述目标产品对象相关的购买相关情况、服务相关情况、产品功能情况中至少一个；基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据。2.根据权利要求1所述的方法，其特征在于，所述目标环节包括构建会话环节、询问会话环节、结束会话环节；所述基于所述目标阶段评估数据确定所述目标客服对象的话术质量评估数据，包括：根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据。3.根据权利要求2所述的方法，其特征在于，不同的目标环节对应有不同的权重分配数据；所述根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据进行汇总，得到所述话术质量评估数据，包括：根据所述构建会话环节的构建话术评估数据、所述询问会话环节的询问话术评估数据、所述结束会话环节的结尾话术评估数据以及各自对应的权重分配数据进行加权计算，得到所述话术质量评估数据。4.根据权利要求1所述的方法，其特征在于，所述测试对话文本数据的生成方式，包括：响应于针对客服对象的指定操作，确定所述目标客服对象；向所述虚拟对象与所述目标客服对象的会话界面上发送所述虚拟对象触发的问题文本数据；接收所述目标客服对象针对所述问题文本数据发送的回答文本数据；基于所述预设测试流程中的所述问题文本数据和所述回答文本数据生成所述测试对话文本数据。5.根据权利要求1所述的方法，其特征在于，所述产品参数数据包括产品参数矩阵；所述根据所述句子对文本数据和所述目标产品对象的产品参数数据确定所述目标环节的目标阶段评估数据，包括：基于所述句子对文本数据确定对应的句子对特征向量；对所述句子对特征向量和所述产品参数矩阵进行拼接处理，得到话术评估拼接向量；根据所述话术评估拼接向量进行二分类处理，确定所述目标阶段评估数据。6.根据权利要求5所述的方法，其特征在于，所述目...
【专利技术属性】
技术研发人员：高敬武，马金垲，
申请(专利权)人：美云智数科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。