文本语义理解方法、装置和系统制造方法及图纸

本申请提出一种文本语义理解方法、装置和系统，该方法包括：接收待语义理解的文本；根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。该方法能够提升文本语义理解效果。

【技术实现步骤摘要】
文本语义理解方法、装置和系统
本申请涉及自然语言理解
，尤其涉及一种文本语义理解方法、装置和系统。
技术介绍
作为人工智能领域中重要方向之一的自然语言理解技术，一直是相关领域研究人员研究的热点。特别是近年来，随着移动互联网技术的迅速发展，信息化程度日益提高，人们越发渴望能让机器理解自然语言，从而实现减少人工投入、海量数据共享等目标。相关技术中，主流方法是基于循环神经网络的文本语义理解方法和基于卷积神经网络的文本语义理解方法。但是，通常的循环神经网络和卷积神经网络都难以优化，具体而言，如果不增加深度，文本语义理解效果较差，而如果增加深度，训练和优化的错误率就会增加，难以得到准确的训练模型，从而语义理解错误率也较高。因此，相关技术中的文本语义理解方法的效果并不理想。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种文本语义理解方法，该方法可以提升文本语义理解效果。本申请的另一个目的在于提出一种文本语义理解装置。本申请的另一个目的在于提出一种文本语义理解系统。为达到上述目的，本申请第一方面实施例提出的文本语义理解方法，包括：接收待语义理解的文本；根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。为达到上述目的，本申请第二方面实施例提出的文本语义理解装置，包括：接收模块，用于接收待语义理解的文本；语义理解模块，用于根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。为达到上述目的，本申请第三方面实施例提出的文本语义理解系统，包括：客户端，用于接收用户输入的待语义理解的文本；服务端，用于接收客户端发送的所述待语义理解的文本，以及，根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。本申请实施例中，在文本语义理解时引入深度残差网络模型，由于深度残差网络存在捷径(shortcut)，使得网络间的数据流通更为顺畅，利于增加网络深度，进而可以采用更深层网络对数据进行更好拟合以及对特征进行更高层的抽象，从而提升文本语义理解效果。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本申请一个实施例提出的文本语义理解方法的流程示意图；图2是本申请另一个实施例提出的文本语义理解方法的流程示意图；图3是本申请实施例中构建深度残差网络模型的方法的流程示意图；图4是本申请实施例中的深度残差网络模型的一种拓扑结构示意图；图5是本申请实施例中注意力层的一种运算过程示意图；图6是本申请一个实施例提出的文本语义理解装置的结构示意图；图7是本申请另一个实施例提出的文本语义理解装置的结构示意图；图8是本申请一个实施例提出的文本语义理解系统的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。图1是本申请一个实施例提出的文本语义理解方法的流程示意图。如图1所示，本实施例的方法包括：S11：接收待语义理解的文本。具体应用时，可以由用户在客户端输入待语义理解的文本，再由客户端发送给服务端，从而服务端接收到客户端发送的待语义理解的文本。S12：根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。具体的，服务端可以预先构建深度残差网络模型，当服务端接收到客户端发送的待语义理解的文本后，根据预先构建的深度残差网络模型，对待语义理解的文本进行语义理解，得到语义理解结果。具体的构建深度残差网络模型的内容可以参见后续描述。进一步的，为了与深度残差网络模型匹配，在语义理解之前，还可以先对待语义理解的文本进行预处理。比如，在构建深度残差网络模型时，需要先收集训练文本，再对训练文本进行预处理，以便依据预处理后的训练文本构建得到深度残差网络模型。一般来讲，对待语义理解的文本或训练文本进行的预处理包括：分词、向量化等；分词是指将文本划分为各个词，向量化是指对分词后的每个词进行向量化，得到每个词的词向量。具体的分词和向量化方法可以参见包括已有技术在内的各种相关技术，在此不再详述。在对待语义理解的文本进行分词和向量化后，可以得到待语义理解的文本中词的词向量，由这些词向量可以组成词向量矩阵，假设词向量用行向量表示，则词向量矩阵的每行为待语义理解的文本中每个词的词向量。在得到词向量矩阵后，将词向量矩阵作为预先构建的深度残差网络模型的输入，模型输出即为待语义理解的文本的语义理解结果。以预测判决结果为例，待语义理解的文本为案情内容，语义理解结果为预测得到的判决结果，如罪名、罚金、刑期等信息中的一项或多项。需要说明的是，本申请实施例中所涉及的文本语义理解一般是指任务型语义理解，即需要完成特定任务，比如需要预测罪名、罚金、刑期等信息中的一项或多项。依据要完成的任务，深度残差网络模型的类别可以相应设置，比如，深度残差网络模型可以是回归模型，比如预测罚金和/或刑期时使用回归模型；或者，深度残差网络模型可以是分类模型，比如预测罪名时使用分类模型；或者，深度残差网络模型可以是回归-分类联合模型，比如既要预测罪名，还要预测罚金和/或刑期时使用回归-分类联合模型。进一步的，如果要完成多个任务，可以采用多任务同步处理机制。比如要预测罪名、罚金和刑期这三项信息时，在构建深度残差网络模型时，通过对整体损失函数进行最小化确定模型参数，整体损失函数是基于各个任务的损失函数得到的，比如整体损失函数为上述三个任务的损失函数的线性加权函数，从而在文本语义理解时，可以由深度残差网络模型同步输出这三项信息。需要说明的是，上述以在线的文本语义理解为例，在实际实施时，并不限于在线方式，还可以采用离线方式，比如在终端本地完成文本语义理解，此时，可以是由终端接收待语义理解的文本，以及由终端根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。或者，也可以理解为，在实际实施时，上述的客户端和服务端分别位于不同设备中，如客户端位于终端中，服务端位于与终端网络连接的服务器中；或者，上述的客户端和服务端可以位于同一个设备中，比如客户端和服务端均位于终端中。本实施例中，在文本语义理解时引入深度残差网络模型，由于深度残差网络存在捷径(shortcut)，使得网络间的数据流通更为顺畅，利于增加网络深度，进而可以采用更深层网络对数据进行更好拟合以及对特征进行更高层的抽象，从而提升文本语义理解效果。图2是本申请另一个实施例提出的文本语义理解方法的流程示意图。本实施例以客户端与服务端结合实施为例。参见图2，本实施例的方法包括：S21：服务端构建深度残差网络模型。具体内容可以参见后续描述。S22：客户端接收用户输入的待语义理解的文本。比如，待语义理解的文本为待预测判决结果的案情内容本文档来自技高网...

【技术保护点】
一种文本语义理解方法，其特征在于，包括：接收待语义理解的文本；根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。

【技术特征摘要】
1.一种文本语义理解方法，其特征在于，包括：接收待语义理解的文本；根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得到语义理解结果。2.根据权利要求1所述的方法，其特征在于，对所述待语义理解的文本进行语义理解之前，所述方法还包括：对所述待语义理解的文本进行预处理。3.根据权利要求2所述的方法，其特征在于，还包括：构建深度残差网络模型，所述构建深度残差网络模型，包括：收集训练文本，并对所述训练文本进行预处理，以及，获取所述训练文本的标注信息，所述标注信息包括语义理解结果；确定深度残差网络模型的拓扑结构；基于预处理后的训练文本、所述标注信息和所述拓扑结构进行模型训练，构建得到深度残差网络模型。4.根据权利要求3所述的方法，其特征在于，当存在多任务时，所述模型训练基于多任务同步处理机制进行。5.根据权利要求4所述的方法，其特征在于，所述模型训练时，通过对整体损失函数进行最小化确定模型参数，其中，所述整体损失函数为各个任务的损失函数的线性加权函数。6.根据权利要求1所述的方法，其特征在于，所述深度残差网络模型的拓扑结构中包括：辅助输入层，所述辅助输入层用于输入先验信息。7.根据权利要求6所述的方法，其特征在于，所述辅助输入层包括：输入部分，用于输入先验信息，并对先验信息进行向量化；变换部分，用于对向量化后的先验信息进行向量变换。8.根据权利要求1所述的方法，其特征在于，所述深度残差网络模型的拓扑结构中包括：注意力层，所述注意力层包括：非线性变换部分，用于对输入矩阵进行非线性变换，得到非线性变换后的矩阵，所述输入矩阵由各个词组的词向量组成；权重控制部分，用于采用预设向量分别与非线性变换后的矩阵中的各个词组的词向量做内积，得到控制向量；权重分配部分，用于对所述控制向量进行权重分配，得到权重向量；组合部分，用于采用所述权重向量对所述输入矩阵中不同词组的词向量进行线性组合，得到注意力层的输出。9.根据权利要求1所述的方法，其特征在于，所述深度残差网络模型的拓扑结构中包括：残差单元层，所述残差单元层包括卷积层级联部分和捷径部分，所述卷积层级联部分包括多个相互级联的卷积层，所述捷径部分用于将输入直接或对输入进行线性变换后与卷积层级联部分的输出相加，再对相加后的值进行激活。10.一种文本语义理解装置，其特征在于，包括：接收模块，用于接收待语义理解的文本；语义理解模块，用于根据预先构建的深度残差网络模型，对所述待语义理解的文本进行语义理解，得...

【专利技术属性】
技术研发人员：刘也宽，胡加学，孙胜杰，王震，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34