文本主题提取方法、装置及存储介质制造方法及图纸

本发明专利技术属于人工智能技术领域，公开了一种文本主题提取方法，包括：构建文本主题提取模型；训练文本主题提取模型；获取文本样本对应的文本词向量；将文本词向量输入经过训练的文本主题提取模型；输出文本主题，其中，文本主题提取模型包括卷积神经网络和注意力机制，注意力机制包括位置注意力机制和通道注意力机制，位置注意力机制和通道注意力机制并行建立，均与卷积神经网络的激活层连接，分别施加位置注意力权重和通道注意力权重，将位置注意力机制的输出结果和通道注意力机制的输出结果均输入卷积神经网路的全连接层。本发明专利技术还公开了一种电子装置和存储介质。本发明专利技术提高了文本主题提取模型运算效率，提高了文本主题提取的精度。

Text Subject Extraction Method, Device and Storage Media

The invention belongs to the field of artificial intelligence technology, and discloses a text topic extraction method, which includes: constructing a text topic extraction model; training a text topic extraction model; acquiring text word vectors corresponding to text samples; inputting text word vectors into a trained text topic extraction model; and outputting text topics, in which the text topic extraction model includes a convolutional neural network. And the attention mechanism, which includes the location attention mechanism and channel attention mechanism, the location attention mechanism and the channel attention mechanism are established in parallel. They are all connected with the activation layer of convolutional neural network. The position attention weight and channel attention weight are applied respectively, and the output results of the position attention mechanism and channel attention mechanism are input into convolution. Full connection layer of neural network. The invention also discloses an electronic device and a storage medium. The invention improves the operation efficiency of the text topic extraction model and the accuracy of the text topic extraction.

【技术实现步骤摘要】
文本主题提取方法、装置及存储介质
本专利技术涉及人工智能
，尤其涉及一种文本主题提取方法、装置及存储介质。
技术介绍
随着互联网的迅速发展，越来越多的用户通过网络进行信息的共享，通过电子文本记载网络信息资源，因此，若需要快速在海量的电子文本中找到所需电子信息，则需要在文本中提取文本主题以表征该电子文本。在一个文本中提取文本主题可以帮助用户判断是否需要查看文本的全文。而海量的电子文本存在多个主题文本，包含丰富的主题信息。对于文本主题的提取大多是基于人工智能技术，利用计算机通过文本主题提取模型，从文本中自动提取内容生成文本主题。现有多数文本主题提取模型主要基于循环神经网络，而循环神经网络模型的运算效率较低，导致文本主题提取模型的运算效率较低，增加运算负担，且导致通过该文本主题提取模型进行文本主题提取的效率较低。
技术实现思路
本专利技术提供一种基于卷积神经网络和注意力机制的文本主题提取方法、装置及存储介质，以提高文本主题提取的效率，降低文本主题提取模型的运算负担。为了实现上述目的，本专利技术的一个方面是提供一种文本主题提取方法，包括：构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题，其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。优选地，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。优选地，得到所述位置注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵；得到所述通道注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵。优选地，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。优选地，获取文本样本对应的文本词向量的步骤包括：构建词向量模型，并根据语料库对所述词向量模型进行训练；对所述文本样本进行分词；将分词后的文本样本输入经过训练的词向量模型；输出与所述文本样本对应的文本词向量。优选地，训练所述文本主题提取模型的步骤包括：初始化所述文本主题提取模型的参数，所述参数包括：输入层与卷积层的连接权值、卷积层与激活层的连接权值、激活层和全连接层的连接权值；构建训练样本集，训练样本包括文本词向量和文本主题；将所述训练样本集中的一个训练样本输入所述文本主题提取模型中，输出与所述训练样本对应的文本主题；基于所述文本主题提取模型的损失函数更新所述参数；根据更新后的参数训练下一个训练样本，并计算所述文本主题提取模型的损失函数值；判断所述文本主题提取模型的训练是否达到收敛条件，若达到收敛条件，则结束训练，得到训练后的文本主题提取模型，若未达到收敛条件，则更新所述文本主题提取模型的参数，继续训练，其中，所述收敛条件为损失函数值的变化小于预设阈值。为了实现上述目的，本专利技术的另一个方面是提供一种电子装置，该电子装置包括：处理器；存储器，所述存储器中包括文本主题提取程序，所述文本主题提取程序被所述处理器执行时实现如下所述的文本主题提取方法的步骤：构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题，其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。优选地，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。优选地，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。为了实现上述目的，本专利技术的再一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中包括文本主题提取程序，所述文本主题提取程序被处理器执行时，实现如上所述的文本主题提取方法的步骤。相对于现有技术，本专利技术具有以下优点和有益效果：本专利技术通过卷积神经网络与注意力机制相结合构建文本主题提取模型，提取与文本相应的文本主题，提高了文本主题提取模型的精度，同时提高了文本主题提取模型的运算效率，从而提高了通过所述文本主题提取模型对文本样本进行主题提取的效率。附图说明图1为本专利技术所述文本主题提取方法的流程示意图；图2为本专利技术中文本主题提取程序的模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将参考附图来描述本专利技术所述的实施例。本领域的普通技术人员可以认识到，在不偏离本专利技术的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，仅仅用以解释本专利技术，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。图1为本专利技术所述本文档来自技高网...

【技术保护点】
1.一种文本主题提取方法，应用于电子装置，其特征在于，包括以下步骤：构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题，其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。...

【技术特征摘要】
1.一种文本主题提取方法，应用于电子装置，其特征在于，包括以下步骤：构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题，其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。2.根据权利要求1所述的文本主题提取方法，其特征在于，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。3.根据权利要求2所述的文本主题提取方法，其特征在于，得到所述位置注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵；得到所述通道注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵。4.根据权利要求1所述的文本主题提取方法，其特征在于，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。5.根据权利要求1所述的文本主题提取方法，其特征在于，获取文本样本对应的文本词向量的步骤包括：构建词向量模型，并根据语料库对所述词向量模型进行训练；对所述文本样本进行分词；将分词后的文本样本输入经过训练的词向量模型；输出与所述文本样本对应的文本词向量。6.根据权利要求1至5中任一项所述的文本主题提取方法，其特征在于，训练所述文本主题提取模型的步骤包括：初始化所述文本主题提取模型的参数，所述参数包括：输入层与...

【专利技术属性】
技术研发人员：金戈，徐亮，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44