文本分类方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种文本分类方法、装置、设备及存储介质。该方法包括：确定待分类文本中各词对应的词向量；将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；其中，神经元模型根据第i

【技术实现步骤摘要】
文本分类方法、装置、设备及存储介质


[0001]本专利技术实施例涉及自然语言处理
，尤其涉及一种文本分类方法、装置、设备及存储介质。

技术介绍

[0002]自然语言处理(Natural Language Processing，NLP)自兴起以来已有超越十几年的发展历史。在NLP领域中，长短期记忆网络(Long Short-Term Memory，LSTM)是处理NLP中普遍存在的动态输入序列问题的经典选择。
[0003]然而，相关技术中，需要通过较多的计算资源来实现对长序列文本进行分类。

技术实现思路

[0004]本公开提供一种文本分类方法、装置、设备及存储介质，以实现通过较少的计算资源即可对长序列文本进行分类。
[0005]第一方面，本公开实施例提供了一种文本分类方法，包括：
[0006]确定待分类文本中各词对应的词向量；
[0007]将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；
[0008]在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；
[0009]其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，泄露系数用于确定神经元模型第i时刻的输出结果。
[0010]进一步地，词向量的信号类型包括脉冲信号类型和模拟信号类型。
[0011]进一步地，将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理，包括：
[0012]对于输入神经元模型的第i时刻的词向量，获取预训练的第一权重矩阵及第i-1时刻的膜电位信息；
[0013]根据第i时刻的词向量、第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位；
[0014]根据第i-1时刻的输出结果和目标权重矩阵，确定泄漏系数；
[0015]根据临时膜电位和预设阈值，确定第i时刻的发放结果以及重置膜电位；
[0016]根据重置膜电位以及泄露系数，确定第i时刻的膜电位信息。
[0017]进一步地，第i-1时刻的输出结果包括第i-1时刻的膜电位信息以及第i-1时刻的发放结果，
[0018]其中，根据第i-1时刻的输出结果和目标权重矩阵，确定泄漏系数，包括以下方式中的一种：
[0019]根据第i-1时刻的膜电位信息和目标权重矩阵，确定泄漏系数；
[0020]根据第i-1时刻的发放结果和目标权重矩阵，确定泄漏系数。
[0021]进一步地，目标权重矩阵包括第二权重矩阵和第三权重矩阵，
[0022]其中，根据第i-1时刻的膜电位信息和目标权重矩阵，确定泄漏系数，包括：
[0023]根据第i时刻的词向量以及第二权重矩阵，确定第一结果；
[0024]根据第i-1时刻的膜电位信息以及第三权重矩阵，确定第二结果；
[0025]根据第一结果、第二结果以及激活函数，确定泄漏系数。
[0026]进一步地，根据重置膜电位以及泄露系数，确定第i时刻的膜电位信息，包括：
[0027]根据所述重置膜电位以及所述泄露系数，确定第一膜电位信息；
[0028]根据所述第i-1时刻的膜电位信息以及所述泄露系数，确定第二膜电位信息；
[0029]根据所述第一膜电位信息以及所述第二膜电位信息，确定第i时刻的膜电位信息。
[0030]进一步地，根据临时膜电位和预设阈值，确定第i时刻的发放结果，包括以下方式中的一种：
[0031]根据临时膜电位、预设阈值以及模拟激活函数，确定第i时刻的发放结果，其中发放结果为模拟值；
[0032]若临时膜电位大于或等于预设阈值，则确定发放结果为1，若临时膜电位小于预设阈值，则确定发放结果为0，其中，发放结果为脉冲值。
[0033]进一步地，根据临时膜电位和预设阈值，确定第i时刻的重置膜电位，包括：
[0034]若临时膜电位大于或等于预设阈值，则将预设静息电位确定为重置膜电位；
[0035]若临时膜电位小于预设阈值，则将临时膜电位确定为重置膜电位。
[0036]进一步地，根据第i时刻的词向量、第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位，包括：
[0037]根据第i时刻的词向量以及第一权重矩阵进行积分运算，获得中间向量；
[0038]将中间向量与第i-1时刻的膜电位信息进行求和，获得临时膜电位。
[0039]第二方面，本公开实施例还提供了一种文本分类装置，该文本分类装置包括：
[0040]词向量确定模块，用于确定待分类文本中各词对应的词向量；
[0041]词向量处理模块，用于将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；
[0042]分类结果确定模块，用于在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；
[0043]其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄漏系数，泄漏系数用于确定神经元模型第i时刻的输出结果。
[0044]第三方面，本公开实施例还提供了一种设备，设备包括：
[0045]一个或多个处理器；
[0046]存储装置，用于存储一个或多个程序；
[0047]当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开任意实施例中提供的文本分类方法。
[0048]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令由计算机处理器执行时用于执行如本公开任意实施例提供的文本分类方法。
[0049]本公开实施例通过确定待分类文本中各词对应的词向量；将各词对应的词向量按
照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，泄露系数用于确定神经元模型第i时刻的输出结果。通过脉冲神经网络对待分类文本进行分类，脉冲神经网络具有低功耗、低存储需求等特点，降低了分类过程中所需的计算资源；神经元模型在对第i时刻输入的词向量进行处理时所使用的泄漏系数是根据第i-1时刻的输出结果与目标权重矩阵确定的，使得确定的待分类文本中任一词向量对应的输出结果与其之前词向量的输出结果之间的连接关系更加紧密，进而使得根据神经元模型输出结果确定的分类结果更为准确。实现了通过较少的计算资源在不会导致梯度消失与爆炸的情况下对长序列文本的分类。
附图说明
[0050]图1是本公开一示例性实施例中的一种文本分类方法的流程图；
[0051]图2是本公开一示例性实施例中的一种文本分类方法的流程图；
[0052]图3是本公开一示例性实施例中的一种确定临时膜电位的流程图；
[0053]图4是本公开一示例性实施例中的一种神经元模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类方法，其特征在于，包括：确定待分类文本中各词对应的词向量；将所述各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；在当前词向量为所述待分类文本中的最后一个词向量时，根据所述神经元模型的输出结果确定所述待分类文本的分类结果；其中，所述神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，所述泄露系数用于确定所述神经元模型第i时刻的输出结果。2.根据权利要求1所述的方法，所述词向量的信号类型包括脉冲信号类型和模拟信号类型。3.根据权利要求1或2所述的方法，其特征在于，所述将所述各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理，包括：对于输入神经元模型的第i时刻的词向量，获取预训练的第一权重矩阵及第i-1时刻的膜电位信息；根据所述第i时刻的词向量、所述第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位；根据所述第i-1时刻的输出结果和所述目标权重矩阵，确定泄漏系数；根据所述临时膜电位和预设阈值，确定第i时刻的发放结果以及重置膜电位；根据所述重置膜电位以及所述泄露系数，确定第i时刻的膜电位信息。4.根据权利要求3所述的方法，其特征在于，所述第i-1时刻的输出结果包括第i-1时刻的膜电位信息以及第i-1时刻的发放结果，其中，根据所述第i-1时刻的输出结果和所述目标权重矩阵，确定泄漏系数，包括以下方式中的一种：根据所述第i-1时刻的膜电位信息和所述目标权重矩阵，确定泄漏系数；根据所述第i-1时刻的发放结果和所述目标权重矩阵，确定泄漏系数。5.根据权利要求4所述的方法，其特征在于，所述目标权重矩阵包括第二权重矩阵和第三权重矩阵，其中，根据所述第i-1时刻的膜电位信息和所述目标权重矩阵，确定泄漏系数，包括：根据所述第i时刻的词向量以及所述第二权重矩阵，确定第一结果；根据所述第i-1时刻的膜电位信息以及所述第三权重矩阵，确定第二结果；根据所述第一结果、所述第二结果以及激活函数，确定所述泄漏系数。6.根据权利要求3所述的方法，其特征在于，所述根据所述重置膜电位以及所述泄露系数，确定第i时刻的膜电位信息，包括：根据所述重置膜电位以及所述泄露系数，确定第一膜电位信息；根据所述第i-1时刻...

【专利技术属性】
技术研发人员：张和辉，吴臻志，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：