System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及人工智能(artificial intelligence,ai),尤其涉及一种对话数据的处理方法和电子设备。
技术介绍
1、近年来,多轮对话技术作为人机对话的重要问题之一受到了越来越多的关注。研究多轮对话技术时,必然需要数据集的支撑。基于数据集不仅可以构建鲁棒性更好的多轮对话系统,还可以用来验证多轮对话系统的指标。
2、目前,应用于多轮对话技术的数据集大多是通过人工标注得到的。这种方式不仅效率低下,而且不同标注人员的标注能力参差不齐,有可能出现标注错误的情况,因此,如何快速标注数据集是亟需解决的问题。
技术实现思路
1、为了解决上述技术问题,本申请提供了一种对话数据的处理方法和电子设备,能够提高数据集的标注效率。
2、本申请的技术方案如下:
3、第一方面,本申请提供一种对话数据的处理方法,包括:获取用户的对话数据,对话数据包括多轮对话以及多轮对话的属性信息;多轮对话的属性信息包括多轮对话的知识数据、多轮对话的槽位数据、多轮对话的意图数据、多轮对话中的系统对话行为数据以及多轮对话中的用户对话行为数据;将对话数据输入对话语料挖掘模型,得到对话数据的对话信息,对话数据的对话信息包括对话数据是否为多轮对话、对话数据的场景数据、对话数据的意图预测数据和对话数据的用户行为预测数据。
4、结合第一方面和上述可能的实现方式,在另一种可能的实现方式中,对话语料挖掘模型包括transformer模型、第一全连接层、第二全连接层、第三全连接层和第
5、结合第一方面和上述可能的实现方式,在另一种可能的实现方式中,将对话数据输入对话语料挖掘模型中的transformer模块,包括:将多轮对话、多轮对话的知识数据、多轮对话的槽位数据、多轮对话的意图数据、多轮对话中的系统对话行为数据以及多轮对话中的用户对话行为数据进行合并处理,得到处理后的多轮数据,并将处理后的多轮数据输入transformer模块。
6、结合第一方面和上述可能的实现方式,在另一种可能的实现方式中,将对话数据输入对话语料挖掘模型之前,方法还包括:构建样本数据集,样本数据集包括多组样本数据对,每组样本数据对包括对话样本数据和对话样本数据的对话信息,对话数据的对话信息包括对话样本数据是否为多轮对话、对话样本数据的场景数据、对话样本数据的意图预测数据和对话样本数据的用户行为预测数据;采用样本数据集,对初始对话语料挖掘模型进行模型训练,得到对话语料挖掘模型,对话语料挖掘模型具备对获取的对话数据进行标记得到对话数据的对话信息的功能。
7、结合第一方面和上述可能的实现方式,在另一种可能的实现方式中,对初始对话语料挖掘模型进行模型训练之前,方法还包括:初始化初始对话语料挖掘模型的权重参数。
8、结合第一方面和上述可能的实现方式,在另一种可能的实现方式中,系统对话行为数据包括成功、失败、请求必选槽位数据以及询问确认,用户对话行为数据包括确认、选择、新发起的意图以及拒绝。
9、第二方面,本申请提供一种显示装置,包括:获取单元和处理单元;获取单元,用于获取用户的对话数据,对话数据包括多轮对话以及多轮对话的属性信息;多轮对话的属性信息包括多轮对话的知识数据、多轮对话的槽位数据、多轮对话的意图数据、多轮对话中的系统对话行为数据以及多轮对话中的用户对话行为数据;处理单元,用于将对话数据输入对话语料挖掘模型,得到对话数据的对话信息,对话数据的对话信息包括对话数据是否为多轮对话、对话数据的场景数据、对话数据的意图预测数据和对话数据的用户行为预测数据。
10、结合第二方面和上述可能的实现方式,在另一种可能的实现方式中,对话语料挖掘模型包括transformer模型、第一全连接层、第二全连接层、第三全连接层和第四全连接层,处理单元,还用于将对话数据输入对话语料挖掘模型中的transformer模块,transformer模块输出对话数据的对话信息特征,对话信息特征包括对话数据的轮数特征、对话数据的场景特征、对话数据的意图特征和对话数据的用户行为特征;以及将对话信息特征分别输入第一全连接层、第二全连接层、第三全连接层和第四全连接层,第一全连接层输出对话数据是否为多轮对话、第二全连接层输出对话数据的场景数据、第三全连接层输出对话数据的意图预测数据、第四全连接层输出对话数据的用户行为预测数据。
11、结合第二方面和上述可能的实现方式,在另一种可能的实现方式中,处理模块,还用于将多轮对话、多轮对话的知识数据、多轮对话的槽位数据、多轮对话的意图数据、多轮对话中的系统对话行为数据以及多轮对话中的用户对话行为数据进行合并处理,得到处理后的多轮数据,并将处理后的多轮数据输入transformer模块。
12、结合第二方面和上述可能的实现方式,在另一种可能的实现方式中,处理模块,还用于构建样本数据集,样本数据集包括多组样本数据对,每组样本数据对包括对话样本数据和对话样本数据的对话信息,对话数据的对话信息包括对话样本数据是否为多轮对话、对话样本数据的场景数据、对话样本数据的意图预测数据和对话样本数据的用户行为预测数据,以及采用样本数据集,对初始对话语料挖掘模型进行模型训练,得到对话语料挖掘模型,对话语料挖掘模型具备对获取的对话数据进行标记得到对话数据的对话信息功能。
13、结合第二方面和上述可能的实现方式,在另一种可能的实现方式中,处理模块,还用于初始化初始对话语料挖掘模型的权重参数。
14、第三方面,本申请提供一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在执行计算机程序时,使得电子设备实现如第一方面提供的任一项的对话数据的处理方法。
15、第四方面,本申请提供一种计算机可读存储介质,包括:计算机可读存储介质上存储计算机程序,计算机程序被处理器执行如第一方面提供的任一项的顺序方法。
16、第五方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面提供的任一项的对话数据的处理方法。
17、需要说明的是,上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中,第一计算机可读存储介质可以与数据处理装置的处理器封装在一起的,也可以与数据处理装置的处理器单独封装,本申请对此不作限定。
18、本申请中第二方面到第五方面本文档来自技高网...
【技术保护点】
1.一种对话数据的处理方法,其特征在于,包括:
2.根据权利要求1所述的对话数据的处理方法,其特征在于,所述对话语料挖掘模型包括Transformer模型、第一全连接层、第二全连接层、第三全连接层和第四全连接层,所述将所述对话数据输入对话语料挖掘模型,得到所述对话数据的对话信息,包括:
3.根据权利要求2所述的对话数据的处理方法,其特征在于,所述将所述对话数据输入对话语料挖掘模型中的Transformer模块,包括:
4.根据权利要求1所述的对话数据的处理方法,其特征在于,所述将所述对话数据输入对话语料挖掘模型之前,所述方法还包括:
5.根据权利要求4所述的对话数据的处理方法,其特征在于,所述对初始对话语料挖掘模型进行模型训练之前,所述方法还包括:
6.根据权利要求1-5中任一项所述的对话数据的处理方法,其特征在于,所述系统对话行为数据包括成功、失败、请求必选槽位数据以及询问确认,所述用户对话行为数据包括确认、选择、新发起的意图以及拒绝。
7.一种显示设备,其特征在于,包括获取单元和处理单元;
8
9.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器用于存储计算机程序;所述处理器用于在执行计算机程序时,使得所述电子设备实现权利要求1-6任一项所述的对话数据的处理方法。
...【技术特征摘要】
1.一种对话数据的处理方法,其特征在于,包括:
2.根据权利要求1所述的对话数据的处理方法,其特征在于,所述对话语料挖掘模型包括transformer模型、第一全连接层、第二全连接层、第三全连接层和第四全连接层,所述将所述对话数据输入对话语料挖掘模型,得到所述对话数据的对话信息,包括:
3.根据权利要求2所述的对话数据的处理方法,其特征在于,所述将所述对话数据输入对话语料挖掘模型中的transformer模块,包括:
4.根据权利要求1所述的对话数据的处理方法,其特征在于,所述将所述对话数据输入对话语料挖掘模型之前,所述方法还包括:
5.根据权利要求4所述的对话数据的处理方法,其特征在于,所述对初始对话语料挖掘模型进...
【专利技术属性】
技术研发人员:胡仁林,朱守勤,
申请(专利权)人:VIDAA国际控股荷兰公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。