文本分析模型的训练方法、文本分析方法、设备及介质技术

本申请实施例涉及文本分析领域，公开了一种文本分析模型的训练方法、文本分析方法、设备及介质。训练方法包括：在原始文本的指定位置添加标志字得到文本信息，并对文本信息中各字进行编码得到的字向量进行拼接得到文本向量；将文本向量输入到特征提取模型中，并将多个提取网络输出的、与指定位置对应的多个输出向量输入到权重提取模型中，得到多个输出权重；通过多个输出权重对多个输出向量进行加权处理，得到文本信息的语义表征向量；将语义表征向量输入到与多个主题类别一一对应的多个分类模型中，得到文本信息所属主题类别和所属情感类别的预测标签；利用预设的分类损失函数对特征提取模型、权重提取模型和多个分类模型进行训练。进行训练。进行训练。

【技术实现步骤摘要】
文本分析模型的训练方法、文本分析方法、设备及介质


[0001]本申请实施例涉及文本分析
，特别涉及一种文本分析模型的训练方法、文本分析方法、设备及介质。

技术介绍

[0002]目前，越来越多的民众通过社交媒体了解社会热点新闻，并以评论的形式表达态度和意见，而对各种信息进行文本分析，如：对热点新闻进行主题类别和情感极性分析、对评论进行情感倾向分析等等，有助于了解热点事件的舆论情况，从而进行舆情管控。
[0003]目前常用的文本分析方法是采用一种串形的方式先抽取出文本中包含的主题类别的类别词，再针对抽取出的每个类别进行文本的情感分类。然而这种方法由于是先抽取出文本中包含的类别词，再做基于类别词的情感分类，这很容易导致错误从上游任务传递到下游任务，影响整个文本分析的准确率。

技术实现思路

[0004]本申请实施方式的目的在于提供一种模型训练方法、文本分析方法、电子设备及存储介质，利用特征提取模型中各层提取网络输出的、与指定位置对应的输出向量，并对输出向量在训练过程中动态地赋予对应的输出权重，以此得到更为准确且完整的语义表征向量，大大提高了文本分析的准确率。
[0005]为解决上述技术问题，本申请的实施方式提供了一种文本分析模型的训练方法，包括：在原始文本的指定位置添加标志字，得到文本信息，并对所述文本信息中各字进行编码得到的字向量进行拼接得到文本向量；将所述文本向量输入到由多个提取网络级联组成的特征提取模型中，并将多个提取网络输出的、与所述指定位置对应的多个输出向量输入到权重提取模型中，得到与所述多个输出向量一一对应的多个输出权重；通过所述多个输出权重对所述多个输出向量进行加权处理，得到所述文本信息的语义表征向量；将所述语义表征向量输入到与多个主题类别一一对应的多个分类模型中，得到所述文本信息所属主题类别和所属情感类别的预测标签；利用预设的分类损失函数对所述特征提取模型、所述权重提取模型和所述多个分类模型进行训练。
[0006]本申请的实施方式还提供了一种文本分析方法，包括：在待分析原始文本的指定位置添加标志字，得到待分析文本信息，并对所述待分析文本信息中各字进行编码得到的字向量进行拼接得到文本向量；将所述文本向量输入到训练好的文本分析模型中，得到所述待分析原始文本所属的主题类别和情感类别；其中，所述训练好的文本分析模型包括：特征提取模型、权重提取模型和多个分类模型；所述特征提取模型、权重提取模型和分类模型通过上述实施方式所描述的文本分析模型的训练方法得到。
[0007]本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的文本分析模
型的训练方法，或者能够执行上述实施方式提及的文本分析方法。
[0008]本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的文本分析模型的训练方法，或者能够执行上述实施方式提及的文本分析方法。
[0009]本申请实施方式提供的文本分析模型的训练方法，将文本向量输入到由多个提取网络级联组成的特征提取模型中，然后将特征提取模型中各层输出的且与指定位置对应的多个输出向量输入到权重提取网络中，以此在训练过程中动态地为各提取网络输出的输出向量分配不同的输出权重，通过不同的输出权重对不同的输出向量进行加权处理，得到文本信息的语义表征向量，将语义表征向量输入到与多个主题类别一一对应的多个分类模型，即可得到文本信息所属主题类别和所属情感类别的预测标签。也就是说，本申请将特征提取模型中每一层输出的低阶、中阶和高阶等不同深度的特征都利用上，并根据不同深度的特征对文本信息语义表征的贡献度，通过特征提取模型得到对应的权重，以此得到更为准确、完整的语义表征向量，而在训练过程中不同分类模型针对性地分析不同的主题类别，以此降低各分类模型的分析难度，提高文本分析的准确性。
附图说明
[0010]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0011]图1是本申请的实施方式提供的文本分析模型的训练方法的流程图；
[0012]图2是本申请的实施方式提供的特征提取模型、权重提取模型和分类模型的训练过程示意图；
[0013]图3是本申请的实施方式提供的文本分析方法的流程图；
[0014]图4是本申请的实施方式的提供的电子设备的结构示意图。
具体实施方式
[0015]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0016]下面对本实施方式的模型训练的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
[0017]本申请的实施方式涉及一种文本分析模型训练方法，如图1所示，包括：
[0018]步骤101，在原始文本的指定位置添加标志字，得到文本信息，并对文本信息中各字进行编码得到的字向量进行拼接得到文本向量。
[0019]具体地说，原始文本一般至少包含两句话，如：以英文的原始文本为例，“my dog is cute，he likes playing.”，以中文的原始文本为例，“今天天气很差，我们不得不取消了户外运动”等等。在原始文本的指定位置添加标志字，指定位置可以是原始文本的起始位置、结尾位置、两句话的中间位置等等原始文本中任意一个指定的特殊位置。而添加的标志
字仅用于表示原始文本的特殊位置，标志字本身没有具体的语义信息，如：标志字用*表示，指定位置为文本的起始位置，文本信息为“*my dog is cute he likes playing”。又比如：指定位置为两句话的中间位置，则文本信息表示为“my dog is cute*he likes playing”[0020]在得到文本信息后，本实施例对文本信息中各字进行编码，需要说明的是，文本信息中的字指的是在原始文本中能表示具体语义信息的最少字符，如：“my”、“dog”、“is”就是一个字，“今”、“天”、“很”就是一个字。当然，标志字也属于文本信息中的一个特殊的字。将文本信息中的各字进行编码得到多个字向量，将字向量按照各字的位置顺序进行拼接得到文本向量。其中，字向量可以涵盖该字在文本信息中的所有相关信息，如：位置信息、语义信息、发音信息、所属的语句信息、词性信息(如：动词、形容词、名词等)、成分信息(如：主语、谓语、宾语、状语等)等等。这些相关信息可以通过开源词库获取，然后将同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分析模型的训练方法，其特征在于，包括：在原始文本的指定位置添加标志字，得到文本信息，并对所述文本信息中各字进行编码得到的字向量进行拼接得到文本向量；将所述文本向量输入到由多个提取网络级联组成的特征提取模型中，并将多个提取网络输出的、与所述指定位置对应的多个输出向量输入到权重提取模型中，得到与所述多个输出向量一一对应的多个输出权重；通过所述多个输出权重对所述多个输出向量进行加权处理，得到所述文本信息的语义表征向量；将所述语义表征向量输入到与多个主题类别一一对应的多个分类模型中，得到所述文本信息所属主题类别和所属情感类别的预测标签；利用预设的分类损失函数对所述特征提取模型、所述权重提取模型和所述多个分类模型进行训练。2.根据权利要求1所述的文本分析模型的训练方法，其特征在于，每个所述字向量由表示字语义信息的字义向量、表示字所属语句信息的段向量、表示字位置信息的位置向量相加得到。3.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述权重提取模型包括：双向长短期记忆网络和第一全连接网络；所述将多个提取网络输出的、与所述指定位置对应的多个输出向量输入到权重提取模型中，得到与所述多个输出向量一一对应的多个输出权重，包括：将所述多个输出向量输入到所述双向长短期记忆网络中，得到与多个输出向量对应的多个第一向量；将所述多个第一向量输入到所述第一全连接网络，得到多个输出权重。4.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述通过所述多个输出权重对所述多个输出向量进行加权处理，得到所述文本信息的语义表征向量，包括：将所述多个输出权重与所述多个输出向量进行加权求和或加权平均，得到第二向量；将所述第二向量输入到第二全连接网络，得到所述语义表征向量。5.根据权利要求1所述的文本分析模型的训练方法，其特征在于，每个所述分类模型包括：注意力网络和第三全连接网络；所述将所述语义表征向量输入到与多个主题类别一一对应的多个分类模型中，得到所述文本信息所属主题类别和所属情感类别的预测标签，包括：针对每个分类模型，将与所述分类模型对应的主题类别的类别词向量和所述语义表征向量...

【专利技术属性】
技术研发人员：过弋，胡益峰，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：