System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、电子设备、存储介质及程序产品制造方法及图纸_技高网

数据处理方法、装置、电子设备、存储介质及程序产品制造方法及图纸

技术编号:43724362 阅读:5 留言:0更新日期:2024-12-20 12:52
本申请提供了一种数据处理方法、装置、电子设备、存储介质及程序产品;方法包括:获取样本文本数据,每个所述样本文本数据标注了不同意图等级的意图标签;基于每个所述样本文本数据,对模型分别进行训练,得到每个意图等级的意图识别模型;通过每个所述意图识别模型对第一测试样本进行意图分类处理,得到每个所述意图识别模型对应的预测意图序列;基于所述第一测试样本的意图知识图谱与每个所述意图识别模型对应的预测意图序列,确定每个所述意图等级组成的意图优先级排序;基于所述意图优先级排序修改所述样本文本数据的意图标签,得到标签迁移的样本文本数据。通过本申请,能够提高意图识别的准确率。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种数据处理方法、装置、电子设备、存储介质及程序产品


技术介绍

1、在人机交互的场景中,对会话意图进行识别是文本理解的关键,通常一个句子或文档中存在同时包含多个意图的情况,相较于单一意图的识别,多意图识别的难度更高,需要分辨多个意图之间的关系。相关技术对会话中的有效意图数量进行识别,在不同领域的词库中检索拼接,确定完整话术文本,无法高效确定多意图场景下的会话逻辑,意图识别的准确率不高。


技术实现思路

1、本申请实施例提供一种数据处理方法、装置、电子设备、存储介质及程序产品,能够提高意图识别的准确率。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供一种数据处理方法,所述方法包括:

4、获取样本文本数据,每个所述样本文本数据标注了不同意图等级的意图标签;

5、基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型;

6、通过每个所述意图识别模型对第一测试样本进行意图分类处理,得到每个所述意图识别模型对应的预测意图序列,所述预测意图序列用于表征第一预测意图标签对应的意图在所述第一测试样本中的出现顺序,第一预测意图标签是所述意图识别模型针对所述第一测试样本预测得到的意图标签;

7、基于所述第一测试样本的意图知识图谱与每个所述意图识别模型对应的预测意图序列,确定每个所述意图等级组成的意图优先级排序;

8、基于所述意图优先级排序修改所述样本文本数据的意图标签,得到标签迁移的样本文本数据。

9、本申请实施例提供一种数据处理装置,包括:

10、模型训练模块,用于获取样本文本数据,每个所述样本文本数据标注了不同意图等级的意图标签;基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型;

11、优先级排序模块,用于通过每个所述意图识别模型对第一测试样本进行意图分类处理,得到每个所述意图识别模型对应的预测意图序列,所述预测意图序列用于表征第一预测意图标签对应的意图在所述第一测试样本中的出现顺序,第一预测意图标签是所述意图识别模型针对所述第一测试样本预测得到的意图标签;基于所述第一测试样本的意图知识图谱与每个所述意图识别模型对应的预测意图序列,确定每个所述意图等级组成的意图优先级排序;

12、标签迁移模块,用于基于所述意图优先级排序修改所述样本文本数据的意图标签,得到标签迁移的样本文本数据。

13、本申请实施例提供一种电子设备,所述电子设备包括:

14、存储器,用于存储计算机可执行指令或者计算机程序;

15、处理器,用于执行所述存储器中存储的计算机可执行指令或者计算机程序时,实现本申请实施例提供的数据处理方法。

16、本申请实施例提供一种计算机可读存储介质,存储有计算机程序或计算机可执行指令,用于被处理器执行时实现本申请实施例提供的数据处理方法。

17、本申请实施例提供一种计算机程序产品,包括计算机程序或计算机可执行指令,所述计算机程序或计算机可执行指令被处理器执行时,实现本申请实施例提供的数据处理方法。

18、本申请实施例具有以下有益效果:

19、根据标注了不同意图等级的样本文本数据,对模型分别进行训练,得到每个意图等级对应的意图识别模型,有助于意图识别模型更准确地理解不同的意图。通过对每个意图识别模型意图分类处理,得到意图识别模型对应的预测意图序列,基于第一测试样本的意图知识图谱与每个意图识别模型对应的预测意图序列,确定每个意图等级组成的意图优先级排序,意图优先级排序能够用于识别多意图场景下需要优先处理的意图。根据意图优先级排序修改样本文本数据的意图标签,实现样本文本数据的标签迁移,提高意图识别的准确性和效率。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型,包括:

3.根据权利要求1所述的方法,其特征在于,在所述基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型之后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述效果指标包括以下至少一种:准确率、精确率以及召回率;

5.根据权利要求4所述的方法,其特征在于,在所述基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述通过每个所述意图识别模型对第一测试样本进行意图分类处理,得到每个所述意图识别模型对应的预测意图序列,包括:

7.根据权利要求1所述的方法,其特征在于,所述基于所述第一测试样本的意图知识图谱与每个所述意图识别模型对应的预测意图序列,确定每个所述意图等级组成的意图优先级排序,包括:

8.根据权利要求1所述的方法,其特征在于,所述意图标签的类型包括:预配置标签以及非预配置标签;

9.一种数据处理装置,其特征在于,所述装置包括:

10.一种电子设备,其特征在于,所述电子设备包括:

11.一种计算机可读存储介质,存储有计算机可执行指令或者计算机程序,其特征在于,所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至8任一项所述的数据处理方法。

12.一种计算机程序产品,包括计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至8任一项所述的数据处理方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型,包括:

3.根据权利要求1所述的方法,其特征在于,在所述基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型之后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述效果指标包括以下至少一种:准确率、精确率以及召回率;

5.根据权利要求4所述的方法,其特征在于,在所述基于每个所述样本文本数据,对模型分别进行训练,得到每个所述意图等级的意图识别模型之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述通过每个所述意图识别模型对第一测试样本进行意图分类处理,得到每个所述意图识别模型对应的预测意图序...

【专利技术属性】
技术研发人员:白安琪
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1