一种基于标签语义推测的意图分类方法技术

本发明专利技术提供一种基于标签语义推测的意图分类方法，包括以下步骤：S1：构建语料数据集，利用回译法扩充得到扩充语料数据集；S2：进行数据清洗得到增强语料数据集；S3：进行标签语义推测得到各标签对应的标签语义；S4：训练预构建的文本分类模型，得到训练好的文本分类模型；S5：利用训练好的文本分类模型从待分类的文本中分别提取语料数据和标签语义的浅层特征和深层特征，并进行特征融合，得到意图分类结果。本发明专利技术提供一种基于标签语义推测的意图分类方法，能够使意图分类结果更加精准，解决了目前的文本分类方法难以准确分类客户的意图的问题。图的问题。图的问题。

【技术实现步骤摘要】
一种基于标签语义推测的意图分类方法


[0001]本专利技术涉及分类识别的
，更具体的，涉及一种基于标签语义推测的意图分类方法。

技术介绍

[0002]客服工作人员需要根据客户对话识别客户意图，为客户带来优质的服务。然而客服的语料数据重复性高，对话产生的文本数据是口语化的，存在表达短语多、语言形式灵活、意图模糊的情况，处理决策多达几十种，导致意图识别任务难以完成。
[0003]传统的客服机器人通过建立语料库，采用关键词匹配与语义相似度匹配的方法实现意图分类，然而随着业务量的增加，这种方法已难以满足客户的需求。
[0004]近几年，人工智能被引入用于客户服务，基于人工智能的文本分类方法可以将语料数据分入到对应的意图类别。但是客服的语料数据集大多是小样本，如金融客服语料数据集，样本数量的不足导致模型难以学习到数据特征，而且高程度的口语化使数据存在文本冗余的情况，服务产生的语料长度短，以目前的文本分类方法难以准确分类客户的意图。

技术实现思路

[0005]本专利技术为克服目前的文本分类方法难以准确分类客户的意图的技术缺陷，提供一种基于标签语义推测的意图分类方法。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种基于标签语义推测的意图分类方法，包括以下步骤：
[0008]S1：构建带标签的语料数据集，利用回译法对语料数据集进行数据扩充，得到扩充语料数据集；
[0009]S2：对扩充的语料数据进行分类预测，得到扩充的语料数据的标签，根据标签进行数据清洗，得到增强语料数据集；
[0010]S3：根据增强语料数据集中语料数据之间的相似度进行标签语义推测，得到各标签对应的标签语义；
[0011]S4：利用增强语料数据集和各标签对应的标签语义训练预构建的文本分类模型，得到训练好的文本分类模型；
[0012]S5：利用训练好的文本分类模型从待分类的文本中分别提取语料数据和标签语义的浅层特征和深层特征，并进行特征融合，得到意图分类结果。
[0013]上述方案中，通过回译法扩充数据集，扩充的语料数据中包括噪声数据，能够提升训练的文本分类模型的鲁棒性，还通过数据清洗数据集中包含不可控噪声的脏数据，形成高质量的数据集，有助于提高文本分类模型的意图分类准确率；同时根据语料数据进行标签语义推测得到标签语义，通过标签语义为文本分类模型提供外部信息；再分别提取语料数据和标签语义的浅层特征和深层特征，并进行特征融合，使意图分类结果更加精准。
[0014]优选的，利用回译法对语料数据集进行数据扩充具体为：分别采用日文、韩文和英
语的回译法扩充语料数据集的数据量。
[0015]上述方案中，由于日文和韩文中存在汉语文字，这两种语言与中文有相似性，因此使用日文和韩文的回译法，同时，数据集中存在少量的英文样本，也将英语用于回译法。
[0016]优选的，步骤S2具体为：使用BERT分类器对由语料数据X
i
扩充得到的语料数据X
i
′
进行分类预测，得到X
i
′
的标签Y
i
′
，将Y
i
′
与X
i
的标签Y
i
比对，保留标签相同的X
i
′
，实现数据清洗，并将语料数据集和保留的X
i
′
合并得到增强语料数据集。
[0017]上述方案中，引入半监督学习的方法，实现自动清洗与原始文本特征差别大的数据。
[0018]优选的，在标签语义推测中，将求解标签推测语义问题转化为寻找语料数据与标签中心距离L最小的问题，即：
[0019][0020]其中，n表示增强语料数据集中标签总数，D
j
表示增强语料数据集中标签C
i
下所有的语料数据，Z
i
表示C
i
的标签中心；
[0021]通过优化求解当前标签类别下的语料数据特征与当前类别总特征之间最小的距离，最后将距离最小的语料数据设置为当前类别的标签语义。
[0022]优选的，在标签语义推测中：
[0023]通过以下步骤得到每条语料数据到每个类别中心的距离：
[0024]S3.1：对增强语料数据集中的语料数据进行分词并统计词频获得高频词；
[0025]S3.2：根据高频词为每一条语料数据建立特征矩阵，并经过PCA降维处理；
[0026]S3.3：使用K
‑
Means算法进行聚类处理，计算每条语料数据到每个类别中心的距离；
[0027]将各类别中距离类别中心最近的一条语料数据作为相应类别的标签语义。
[0028]优选的，所述文本分类模型通过BERT编码获取浅层特征和通过下游任务获取深层特征。
[0029]优选的，通过BERT编码获取浅层特征包括以下步骤：
[0030]采用文本分类模型的第一BERT编码器对文本中的语料数据进行编码，第一BERT编码器包括12个依次连接的BertLayer层，分别提取第一BERT编码器中第1个BertLayer层和第6个BertLayer层的编码输出，对应得到语料数据的第一浅层特征a1和第二浅层特征a2；
[0031]通过标签语义推测获取文本的标签语义，将获取的标签语义直接拼接，采用文本分类模型的第二BERT编码器对拼接后的标签语义进行编码，第二BERT编码器包括12个依次连接的BertLayer层，分别提取第二BERT编码器中第1个BertLayer层和第6个BertLayer层的编码输出，对应得到标签的第一浅层特征b1和第二浅层特征b2。
[0032]优选的，通过下游任务获取深层特征包括：
[0033]分别使用文本分类模型的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络对第一BERT编码器输出的上下文语义特征h1进行处理，对应得到三个卷积结果，将三个卷积结果与h1拼接后得到语料数据的深层特征a3；
[0034]将第二BERT编码器输出的标签语义特征h2输入文本分类模型的BiLSTM，BiLSTM的
输出作为文本分类模型的多头注意力机制的输入，将多头注意力机制的输出作为标签的深层特征b3。
[0035]优选的，第一卷积神经网络、第二卷积神经网络、第三卷积神经网络的卷积核大小分别为(2,768)，(3,768)，(4,768)。
[0036]优选的，BiLSTM输出的隐藏层维度设置为1024，多头注意力机制设置为4头、隐藏层维度为852。
[0037]优选的，通过点积将特征融合：
[0038]e1＝1*1[0039]e2＝2*2[0040]e3＝3*3[0041]融合后将e1、e2和e3拼接，再将拼接的结果依次输入文本分类模型的线性层和Softmax层处理后得到最终输出，取最终输出的最大值作为意图分类结果；
[0042本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于标签语义推测的意图分类方法，其特征在于，包括以下步骤：S1：构建带标签的语料数据集，利用回译法对语料数据集进行数据扩充，得到扩充语料数据集；S2：对扩充的语料数据进行分类预测，得到扩充的语料数据的标签，根据标签进行数据清洗，得到增强语料数据集；S3：根据增强语料数据集中语料数据之间的相似度进行标签语义推测，得到各标签对应的标签语义；S4：利用增强语料数据集和各标签对应的标签语义训练预构建的文本分类模型，得到训练好的文本分类模型；S5：利用训练好的文本分类模型从待分类的文本中分别提取语料数据和标签语义的浅层特征和深层特征，并进行特征融合，得到意图分类结果。2.根据权利要求1所述的一种基于标签语义推测的意图分类方法，其特征在于，利用回译法对语料数据集进行数据扩充具体为：分别采用日文、韩文和英语的回译法扩充语料数据集的数据量。3.根据权利要求1所述的一种基于标签语义推测的意图分类方法，其特征在于，步骤S2具体为：使用BERT分类器对由语料数据X
i
扩充得到的语料数据X
′
i
进行分类预测，得到X
′
i
的标签Y
′
i
，将Y
′
i
与X
i
的标签Y
i
比对，保留标签相同的X
′
i
，实现数据清洗，并将语料数据集和保留的X
′
i
合并得到增强语料数据集。4.根据权利要求1所述的一种基于标签语义推测的意图分类方法，其特征在于，在标签语义推测中，将求解标签推测语义问题转化为寻找语料数据与标签中心距离L最小的问题，即：其中，n表示增强语料数据集中标签总数，D
j
表示增强语料数据集中标签C
i
下所有的语料数据，Z
i
表示C
i
的标签中心；通过优化求解当前标签类别下的语料数据特征与当前类别总特征之间最小的距离，最后将距离最小的语料数据设置为当前类别的标签语义。5.根据权利要求1所述的一种基于标签语义推测的意图分类方法，其特征在于，在标签语义推测中：通过以下步骤得到每条语料数据到每个类别中心的距离：S3.1：对增强语料数据集中的语料数据进行分词并统计词频获得高频词；S3.2：根据高频词为每一条语料数据建立特征矩阵，并经过PCA降维处理；S3.3：使用K<...

【专利技术属性】
技术研发人员：蔡念，田寅峰，赵铭恒，钟明好，唐家智，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：