文本处理方法、装置、存储介质及电子设备制造方法及图纸

本申请属于人工智能技术领域，涉及文本处理方法、装置、存储介质及电子设备。该方法包括：获取待处理文本，对所述待处理文本进行预处理和分词处理，以获取与所述待处理文本对应的分词向量序列；将所述分词向量序列输入至融合语言模型，通过所述融合语言模型对所述分词向量序列进行语义特征提取，以获取与所述待处理文本对应的目标词向量；其中，所述融合语言模型是基于Nezha模型、Bert模型和Roformer模型构建的。本申请能够通过融合语言模型充分挖掘待处理文本中隐藏的信息，提高语义特征提取和词向量的精准度。和词向量的精准度。和词向量的精准度。

【技术实现步骤摘要】
文本处理方法、装置、存储介质及电子设备


[0001]本申请涉及人工智能
，特别涉及一种文本处理方法、文本处理系统、计算机存储介质及电子设备。

技术介绍

[0002]随着各行业的发展以及人工智能的发展，每个行业出现了多种不同的业务类型，为了对各个业务类型的文本进行信息提取，并减少人力支出，人们开始采用各种语言模型对业务文本进行处理。
[0003]目前在对业务文本进行处理时，通常无法针对某一特定行业中各个业务类型对应的文本进行区分，并充分挖掘其中隐藏的信息，进而无法为满足用户相应地业务需求。另外在对模型进行训练时，通常需要大量标注的训练文本，但是标注需要耗费大量的人力物力，因此导致相应行业领域的文本数据太少，所训练的模型的性能较差。
[0004]需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解。

技术实现思路

[0005]本申请的目的在于提供一种文本处理方法、文本处理系统、计算机存储介质及电子设备，进而至少在一定程度上提高对各领域文本的识别精度和处理效率。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请的第一方面，提供一种文本处理方法，包括：
[0008]获取待处理文本，对所述待处理文本进行预处理和分词处理，以获取与所述待处理文本对应的分词向量序列；
[0009]将所述分词向量序列输入至融合语言模型，通过所述融合语言模型对所述分词向量序列进行语义特征提取，以获取与所述待处理文本对应的目标词向量；
[0010]其中，所述融合语言模型是基于Nezha模型、Bert模型和Roformer模型构建的。
[0011]根据本申请的第二方面，提供一种文本处理装置，包括：
[0012]文本处理模块，用于获取待处理文本，对所述待处理文本进行预处理和分词处理，以获取与所述待处理文本对应的分词向量序列；
[0013]模型处理模块，用于将所述分词向量序列输入至融合语言模型，通过所述融合语言模型对所述分词向量序列进行语义特征提取，以获取与所述待处理文本对应的目标词向量；
[0014]其中，所述融合语言模型是基于Nezha模型、Bert模型和Roformer模型构建的。
[0015]根据本申请的第三方面，提供一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的文本处理方法。
[0016]根据本申请的第四方面，提供一种电子设备，其特征在于，包括：
[0017]处理器；以及
[0018]存储器，用于存储所述处理器的可执行指令；
[0019]其中，所述处理器配置为经由执行所述可执行指令来执行上述的文本处理方法。
[0020]由上述技术方案可知，本申请示例性实施例中的文本处理方法、文本处理装置、计算机存储介质及电子设备至少具备以下优点和积极效果：
[0021]本申请中的文本处理方法，对待处理文本进行预处理和分词处理获取与待处理文本对应的分词向量序列后，可以通过融合语言模型对分词向量序列进行语义特征提取，以获取与待处理文本对应的目标词向量，该融合语言模型时基于Nezha模型、Bert模型和Roformer模型构建的。本申请实施例中，通过将Nezha模型、Bert模型和Roformer模型结合，能够使融合语言模型充分挖掘待处理文本中隐藏的信息，提高了语义特征提取的精准度，也提高了所确定的与文本对应的词向量的精准度，进而基于该词向量进行下游任务，提高下游任务的完成质量。
[0022]本申请应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0023]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1示意性地示出了应用本申请实施例中文本处理方法的系统架构的结构示意图。
[0025]图2示意性地示出了本申请实施例中文本处理方法的流程示意图。
[0026]图3示意性地示出了本申请实施例中融合语言模型的结构示意图。
[0027]图4示意性地示出了本申请实施例中融合语言模型的结构示意图。
[0028]图5示意性地示出了本申请实施例中根据业务类型对文本进行分类的流程示意图。
[0029]图6示意性地示出了本申请实施例中对待训练融合语言模型进行训练的流程示意图。
[0030]图7示意性地示出了本申请中文本处理装置的结构框图。
[0031]图8示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
[0032]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0033]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，
本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
[0034]本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
[0035]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0036]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0037]在本申请的相关技术中，对于存在多个不同业务类型的行业领域，需要从大量的文本中识别得到各个文本对应的业务类型，并针对不同业务类型的文本中挖掘隐藏的信息，用于指导下游任务。例如电信领域的文本数据有不同的业务类型，如大客户业务订单、国际互联协议IP虚拟专网、信息与通信技术ICT业务、互联网数据中心IDC订单、95专线等，当不同业务类型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理方法，其特征在于，包括：获取待处理文本，对所述待处理文本进行预处理和分词处理，以获取与所述待处理文本对应的分词向量序列；将所述分词向量序列输入至融合语言模型，通过所述融合语言模型对所述分词向量序列进行语义特征提取，以获取与所述待处理文本对应的目标词向量；其中，所述融合语言模型是基于Nezha模型、Bert模型和Roformer模型构建的。2.根据权利要求1所述的方法，其特征在于，所述对所述待处理文本进行预处理和分词处理，以获取分词向量序列，包括：将预处理后的所述待处理文本输入至分词模型，通过所述分词模型对所述预处理后的待处理文本进行分词和向量化处理，以获取与所述预处理后的待处理文本中各分词对应的分词向量；根据各所述分词的顺序和各所述分词对应的分词向量构建所述分词向量序列。3.根据权利要求1所述的方法，其特征在于，所述融合语言模型包括输入层、第一语义解析单元、第二语义解析单元、模型融合层、词向量转换层和输出层；所述将所述分词向量序列输入至融合语言模型，通过所述融合语言模型对所述分词向量序列进行语义特征提取，以获取与所述待处理文本对应的目标词向量，包括：通过所述输入层将所述分词向量序列分别输入至所述第一语义解析单元和所述第二语义解析单元，通过所述第一语义解析单元和所述第二语义解析单元分别对所述分词向量序列进行语义特征提取，以获取第一词向量和第二词向量；通过所述模型融合层对所述第一词向量和所述第二词向量进行融合，以获取融合词向量；通过所述词向量转换层基于注意力机制对所述融合词向量进行处理，以获取所述目标词向量。4.根据权利要求3所述的方法，其特征在于，所述第一语义解析单元包括依次连接的Roformer模型层和第一Bert模型层；所述通过所述第一语义解析单元对所述分词向量序列进行语义特征提取，以获取第一词向量，包括：通过所述Roformer模型层根据所述分词向量序列中各分词向量所对应的位置构建旋转位置编码；将所述分词向量序列和所述旋转位置编码输入至所述第一Bert模型层，通过所述第一Bert模型层根据所述旋转位置编码对所述分词向量序列进行语义特征提取，以获取所述第一词向量。5.根据权利要求3中所述的方法，其特征在于，所述第二语义解析单元包括依次连接的第二Bert模型层和Nezha模型层；所述通过所述第二语义解析单元对所述分词向量序列进行语义特征提取，以获取第二词向量，包括：将所述分词向量序列输入至所述第二Bert模型层，通过所述第二Bert模型层对所述分词向量序列进行语义特征提取，以获取初始词向量；将所述初始词向量输入至所述Nezha模型层，通过所述Nezha模型层对所述初始词向量
进行处理，以获取相对位置编码，并基于所述相对位置编码对所述初始词向量进行语义特征提取，以获取所述第二词向量。6.根据权利要求3所述的方法，其特征在于，所述通过所述模型融合层对所述第一词向量和所述第二词向量进行融合，以获取融合词向量，包括：将所述第一词向量和所述第二词向量中对应同一分词的词向量相加或拼接，以获取所述融合词向量。7.根据权利要求3所述的方法，其特征在于，所述融合词向量包括与各所述分词对应的嵌入词向量，所述词向量转换层包括注意力层和转换层；所述通过所述词向量转换层基于注意力机制对所述融合词向量进行处理，以获取所述目标词向量，包括：通过所述注意力层基于注意力机制确定与各所述嵌入词向量对应的注意力权重；通过所述转换层根据各所述嵌入词向量和与各所述...

【专利技术属性】
技术研发人员：刘康，李鉴学，范潇，杨明川，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：