System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 样本生成方法、装置、电子设备及存储介质制造方法及图纸_技高网

样本生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40870495 阅读:5 留言:0更新日期:2024-04-08 16:37
本说明书实施例提供了样本生成方法、装置、电子设备及存储介质,样本生成方法包括:获取待处理的日志数据;日志数据包括文本和文本的意图识别结果;根据文本的意图识别结果,对日志数据进行数据筛选处理,得到低频意图数据;将低频意图数据、预设意图类别的标准文本输入文本对比模型进行相似度预测处理,得到低频意图数据对应的文本对比结果;文本对比模型为基于训练样本集对初始文本对比模型进行训练所得到的模型;训练样本集基于所述低频意图数据构建;根据文本对比结果与预设相似度阈值,生成低频意图样本。以此,扩增了低频意图样本的数量。

【技术实现步骤摘要】

本申请涉及人工智能领域,尤其涉及一种样本生成方法、装置、电子设备及存储介质


技术介绍

1、随着电子技术的发展,机器人的应用越来越广泛。机器人坐席可以自动应答客户提出的问题,节省了大量人力资源,提高沟通效率。客户提出的问题五花八门,多种多样。一部分问题中包含的用户意图出现频率较高,可以将其称为高频意图;另一部分问题包含的用户意图出现频率较低,可以将其称为低频意图。对于各个高频意图,由于与高频意图相关的问题出现频率较高,用于模型训练的高频意图训练数据易获得,则通过模型训练得到的机器人坐席的意图识别结果准确性较高。然而,对于各个低频意图,由于与低频意图相关的问题出现频率较低,在对机器人坐席进行模型训练时往往缺乏足够多的训练数据,导致机器人坐席的意图识别结果的准确性较低,机器人坐席的答复牛头不对马嘴,给用户带来了不好的体验,且间接提高了人工坐席的工作量。


技术实现思路

1、本申请实施例提供了一种样本生成方法、装置、电子设备及存储介质,以扩增低频意图样本的数量,满足模型训练需求,从而提高低频意图的识别准确性。

2、第一方面,本申请实施例提供了一种样本生成方法,包括:

3、获取待处理的日志数据;所述日志数据包括文本和所述文本的意图识别结果;

4、根据所述文本的意图识别结果,对所述日志数据进行数据筛选处理,得到低频意图数据;

5、将所述低频意图数据、预设意图类别的标准文本输入文本对比模型进行相似度预测处理,得到所述低频意图数据对应的文本对比结果;所述文本对比模型为基于训练样本集对初始文本对比模型进行训练所得到的模型;所述训练样本集基于所述低频意图数据构建;

6、根据所述文本对比结果与预设相似度阈值,生成低频意图样本。

7、第二方面,本申请实施例提供了一种意图识别模型的训练方法,包括:

8、通过如第一方面所述的样本生成方法生成低频意图样本;

9、将所述低频意图样本输入初始意图识别模型进行迭代训练,得到意图识别模型。

10、第三方面,本申请实施例提供了一种应用于数字人的意图识别方法,包括:

11、获取用户输入的待识别文本;

12、将所述待识别文本输入意图识别模型进行意图识别,得到用户意图;所述意图识别模型是通过将低频意图样本输入初始意图识别模型进行迭代训练所得到的;所述低频意图样本是通过如第一方面所述的样本生成方法所生成的;

13、根据所述用户意图在所述数字人的系统中获取对应所述用户意图的目标文本,并对所述目标文本进行展示。

14、第四方面,本申请实施例提供了一种样本生成装置,包括:

15、第一获取单元,用于获取待处理的日志数据;所述日志数据包括文本和所述文本的意图识别结果;

16、筛选单元,用于根据所述文本的意图识别结果,对所述日志数据进行数据筛选处理,得到低频意图数据;

17、预测单元,用于将所述低频意图数据、预设意图类别的标准文本输入文本对比模型进行相似度预测处理,得到所述低频意图数据对应的文本对比结果;所述文本对比模型为基于训练样本集对初始文本对比模型进行训练所得到的模型;所述训练样本集基于所述低频意图数据构建;

18、第一生成单元,用于根据所述文本对比结果与预设相似度阈值,生成低频意图样本。

19、第五方面,本申请实施例提供了一种意图识别模型的训练装置,包括:

20、第二生成单元,用于通过如第一方面所述的样本生成方法生成低频意图样本;

21、训练单元,用于将所述低频意图样本输入初始意图识别模型进行迭代训练,得到意图识别模型。

22、第六方面,本申请实施例提供了一种应用于数字人的意图识别装置,包括:

23、第二获取单元,用于获取用户输入的待识别文本;

24、识别单元,用于将所述待识别文本输入意图识别模型进行意图识别,得到用户意图;所述意图识别模型是通过将低频意图样本输入初始意图识别模型进行迭代训练所得到的;所述低频意图样本是通过如权利要求1-8任一项所述的样本生成方法所生成的;

25、展示单元,用于根据所述用户意图在所述数字人的系统中获取对应所述用户意图的目标文本,并对所述目标文本进行展示。

26、第七方面,本申请实施例提供了一种电子设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如第一方面所述的样本生成方法,或者,如第二方面所述的意图识别模型的训练方法,或者,如第三方面所述的应用于数字人的意图识别方法。

27、第八方面,本申请实施例提供了一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如第一方面所述的样本生成方法,或者,如第二方面所述的意图识别模型的训练方法,或者,如第三方面所述的应用于数字人的意图识别方法。

28、可以看出,在本申请实施例中,首先,获取待处理的日志数据;日志数据包括文本和文本的意图识别结果;其次,根据文本的意图识别结果,对日志数据进行数据筛选处理,得到低频意图数据;然后,将低频意图数据、预设意图类别的标准文本输入文本对比模型进行相似度预测处理,得到低频意图数据对应的文本对比结果;文本对比模型为基于训练样本集对初始文本对比模型进行训练所得到的模型;训练样本集基于低频意图数据构建;最后,根据文本对比结果与预设相似度阈值,生成低频意图样本。日志数据是一种随着时间变化不断增长的历史数据。即便低频意图数据在日志数据中的出现频率较低,在日志数据所对应的时间跨度足够长的情况下,可以从日志数据中筛选得到累计的大量低频意图数据,基于该大量低频意图数据可以生成数量足够用于训练初始文本对比模型的训练数据,且训练数据的数量可以随着日志数据的时间跨度增长而不断扩增。因此,在训练数据的数量足够多的情况下,通过训练后得到的文本对比模型进行相似度预测时的预测结果较为准确,进而,通过文本对比模型对低频意图数据和预设意图类别的标准文本进行相似度预测处理,可以确定低频意图数据中与预设意图类别的标准文本相似度较高的低频意图样本,在获取的日志数据随着时间变化不断增加的情况下,可以利用不断增长的日志数据和文本对比模型累计得到大量预设意图类别的低频意图样本,进而满足低频意图样本对应的意图识别模型的训练需求,提高低频意图的识别准确性。

本文档来自技高网...

【技术保护点】

1.一种样本生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述文本的意图识别结果,对所述日志数据进行数据筛选处理,得到低频意图数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一日志数据和所述第一日志数据的意图分类结果的置信度,对所述日志数据进行数据筛选处理,得到低频意图数据,包括:

4.根据权利要求1所述的方法,其特征在于,

5.根据权利要求4所述的方法,其特征在于,所述低频意图数据包括目标文本和非目标文本;

6.根据权利要求4所述的方法,其特征在于,所述编码器包括依次连接的注意力层和全连接层;所述注意力层的输出为所述全连接层的输入;

7.根据权利要求1所述的方法,其特征在于,所述低频意图数据包括多个低频意图文本;所述文本对比模型,具体用于:

8.根据权利要求1-7任一项所述的方法,其特征在于,所述根据所述文本对比结果与预设相似度阈值,生成低频意图样本,包括:

9.一种意图识别模型的训练方法,其特征在于,包括:

10.一种应用于数字人的意图识别方法,其特征在于,包括:

11.一种样本生成装置,其特征在于,包括:

12.一种电子设备,其特征在于,包括:

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如权利要求1-8任一项所述的样本生成方法,或者,如权利要求9所述的意图识别模型的训练方法,或者,如权利要求10所述的应用于数字人的意图识别方法。

...

【技术特征摘要】

1.一种样本生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述文本的意图识别结果,对所述日志数据进行数据筛选处理,得到低频意图数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一日志数据和所述第一日志数据的意图分类结果的置信度,对所述日志数据进行数据筛选处理,得到低频意图数据,包括:

4.根据权利要求1所述的方法,其特征在于,

5.根据权利要求4所述的方法,其特征在于,所述低频意图数据包括目标文本和非目标文本;

6.根据权利要求4所述的方法,其特征在于,所述编码器包括依次连接的注意力层和全连接层;所述注意力层的输出为所述全连接层的输入;

7.根据权利要求1所述的方法,其特征在于,所述低频...

【专利技术属性】
技术研发人员:丁隆耀蒋宁吴海英李宽吕乐宾
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1