一种引入注意力机制的卷积神经网络与支持向量机分类器结合的文本分类方法技术

本发明专利技术涉及一种引入注意力机制的卷积神经网络与支持向量机分类器结合的文本分类方法。通过使用注意力层，可以将更高的权重值赋予在对于文本分类上更具有决定性因素的特征词语上，同时将与文本分类无关的词语降低其权重值。在全连接层中，使用基于支持向量机的分类器替代卷积神经网络模型中的softmax层实现分类，提升模型的泛化能力与分类的准确性。提升模型的泛化能力与分类的准确性。提升模型的泛化能力与分类的准确性。

【技术实现步骤摘要】
一种引入注意力机制的卷积神经网络与支持向量机分类器结合的文本分类方法


[0001]本专利技术涉及文本分类，主要涉及基于卷积神经网络与支持向量机分类器的文本分类方法。

技术介绍

[0002]在需要与客户沟通的行业，处理大量的用户在线文本是非常耗时的。因此，在接收到用户在线留言时，首先可对该在线文本进行文本分类，标识出该在线文本所涉及的问题类别，以便于快速地转发到相应的部门或人员或后续进程进行处理(例如，自动回复或人工回复)。此外，用户存储在平台中的文本记录也是相当有用的。对这些存储的文本记录进行文本分类可以对用户的行为和意图进行统计分析，以例如预测用户今后的需求趋势。
[0003]目前，文本分类技术中较为主流的两个方向是基于传统机器学习的文本分类技术和基于深度学习的文本分类技术。
[0004]基于传统机器学习的文本分类技术属于浅层模型。在该技术中，首先对文本数据集进行预处理，去除其中对分类无用的语气词；其次，将有效词语与空间向量进行映射及降维，从而完成词语的特征工程，提取出特征词语；最后，将文本数据集与机器学习模型算法进行结合，使用测试集进行验证。基于机器学习的文本分类技术，通常需要进行复杂的特征工程以便提取出对文本分类影响因素更大的特征词语。
[0005]目前，基于卷积神经网络模型的文本分类技术相比于基于传统机器学习的文本分类技术而言，不需要进行复杂的特征工程以及适应性强且易于在不同文本领域进行转换。在卷积神经网络模型中，只需要将数据集导入网络模型中，就可以实现良好的性能，不需要进行繁琐而庞大的特征工程处理。但卷积神经网络中通常使用softmax层实现模型的分类，泛化性能不足。除此之外，卷积神经网络模型使用卷积层与池化层实现文本中特征词语的提取，特征词语的提炼精确度仍有提升的空间。
[0006]因此，需要一种对用户在线文本能够更加准确地分类的技术。

技术实现思路

[0007]提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0008]根据本专利技术的一个实施例，公开了一种用于文本分类的方法，包括：构建词向量；将构建的词向量作为源数据输入卷积神经网络模型中，所述卷积神经网络模型包括注意力机制并采用支持向量机分类器进行文本分类；在所述卷积神经网络模型中：将构建的词向量与卷积核进行卷积运算；使用池化算法，将词向量进行进一步的降维；使用所述注意力机制对经降维的词向量进行特征词语的选取，其中对于文本分类能力更强的词语被赋予较高的权重，对于文本分类能力较弱的词语被赋予较低的权重；以及使用支持向量机分类器对
已经完成特征词语选取的词向量进行文本分类。
[0009]根据本专利技术的另一个实施例，公开了一种用于文本分类的系统，包括：文本预处理模块，所述文本预处理模块被配置为构建词向量；文本输入模块，所述文本输入模块被配置为将构建的词向量作为源数据输入卷积神经网络模型中，所述卷积神经网络模型包括注意力机制并采用支持向量机分类器进行文本分类；卷积模块，所述卷积模块被配置为将词向量作为源数据与卷积核进行卷积运算；池化模块，所述池化模块被配置为使用池化算法，将词向量进行进一步的降维；注意力机制模块，所述注意力机制模块被配置为使用注意力机制对经降维的词向量进行特征词语的选取，其中对于文本分类能力更强的词语被赋予较高的权重，对于文本分类能力较弱的词语被赋予较低的权重；以及文本分类模块，所述文本分类模块使用支持向量机分类器对已经完成特征词语选取的词向量进行文本分类。
[0010]根据本专利技术的另一个实施例，公开了一种用于文本分类的计算设备，包括处理器；存储器，所述存储器存储有指令，所述指令在被所述处理器执行时能执行如上所述的方法。
[0011]通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
[0012]为了能详细地理解本专利技术的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本专利技术的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
[0013]图1示出了现有技术中传统卷积神经网络模型100的模型流程图；
[0014]图2示出了根据本专利技术的一个实施例的卷积神经网络模型200的模型流程图；
[0015]图3示出了注意力机制的原理示意图；
[0016]图4示出了全连接层的原理示意图；
[0017]图5示出了根据本专利技术的一个实施例的一种用于文本分类的方法500的流程图；
[0018]图6示出了根据本专利技术的一个实施例的一种用于文本分类的系统600的框图；以及
[0019]图7示出了根据本专利技术的一个实施例的示例性计算设备的框图700。
具体实施方式
[0020]下面结合附图详细描述本专利技术，本专利技术的特点将在以下的具体描述中得到进一步的显现。
[0021]本专利技术提出一种引入注意力机制的卷积神经网络与支持向量机分类器结合的文本分类方法。在卷积神经网络模型中增加注意力机制，提升对文本中特征词语的提炼效果。使用支持向量机(SVM)分类器来替代传统卷积神经网络中softmax层进行文本分类，以解决原模型泛化能力较差的问题。
[0022]例如，在客服系统使用场景中，针对客户线上发送的问题文字描述，可使用本专利技术提出的文本分类模型进行文本分类，预测用户可能遇到的问题，从而进行相关的文字回复，引导用户进行问题的解决，降低人工客服的工作量，减少用户投诉。
[0023]针对用户在平台中留下的文本记录，可使用本专利技术提出的文本分类模型进行分类，分类结果可用于对用户的行为和意图进行统计分析。
[0024]图1示出了现有技术中传统卷积神经网络模型100的模型流程图。如图所示，传统卷积神经网络模型100中主要的模块包含：输入层、卷积层、池化层、全连接层和输出层。
[0025]一般而言，用于文本分类的卷积神经网络的输入层可以处理多维数据，例如词向量。卷积层的功能是对来自输入层的输入数据进行特征提取，试图将神经网络中的每一个小块进行更加深入的分析从而得到抽象程度更高的特征，以生成特征图。在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。在卷积层和池化层对输入数据进行特征提取以得到信息含量更高的特征后，全连接层的作用则是对提取的特征进行非线性组合以得到输出。通过softmax函数，输出层可输出当前样例中属于不同分类的概率分布情况。
[0026]由此可见，在传统卷积神经网络模型中，池化层与全连接层使用全连接的方式进行连接。由于仅使用全连接，所以两层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于文本分类的方法，包括：构建词向量；将构建的词向量作为源数据输入卷积神经网络模型中，所述卷积神经网络模型包括注意力机制并采用支持向量机分类器进行文本分类；在所述卷积神经网络模型中：将构建的词向量与卷积核进行卷积运算；使用池化算法，将词向量进行进一步的降维；使用所述注意力机制对经降维的词向量进行特征词语的选取，其中对于文本分类能力更强的词语被赋予较高的权重，对于文本分类能力较弱的词语被赋予较低的权重；以及使用支持向量机分类器对已经完成特征词语选取的词向量进行文本分类。2.如权利要求1所述的方法，其特征在于，所述词向量是基于用户文本数据集构建的，所述用户文本数据集包括用户在线文本和/或用户留言文本。3.如权利要求2所述的方法，其特征在于，构建词向量进一步包括：对所述用户文本数据集中的文本进行语料清洗；以及使用word2vec中的连续词袋模型，对经语料清洗的词语进行词向量的构建。4.如权利要求3所述的方法，其特征在于，对所述用户文本数据集中的文本进行语料清洗进一步包括：将所述用户文本数据集按照其所属的分类进行归类；对所述用户文本数据集中的文本进行分词；将所述文本中的语气助词、标点符号及停顿词进行去除。5.如权利要求1所述的方法，其特征在于，所述池化算法为平均池化算法。6.一种用于文本分类的系统，包括：文本预处理模块，所述文本预处理模块被配置为构建...

【专利技术属性】
技术研发人员：何铠，陆涛，徐忠胜，王哲奥，邵羽丰，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：