System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及文本分析,尤其涉及一种文本框架语义分析方法。
技术介绍
1、框架语义分析是基于框架语义学(frame semantics)的一种浅层语义分析方法,该理论由美国著名语言学家charles j.fillmore于20世纪70年代提出。框架语义学强调用经验主义方法去发现语言和人类经验之间的关系,从人类认识角度探索句子表层的语义结构,将抽象的人类认知图式与词汇的上下文语境相联系,从而理解词汇的语义。其核心观点是:一个词语的意义应当在其可能激活的一整套概念结构或经验空间中得到妥帖的理解。换言之,框架语义学认为,理解语词的意义,必须先具备概念结构,即语义框架。
2、早期的研究只关注框架语义分析三个子任务中的单个任务,如果要完成才能完成对文本的框架语义角色自动分析,需要分别构建ti、fi和fsrl三个子任务分别构建模型,然后依次执行,错误传播问题较为突出,而且执行效率也不高,不便于下游任务的使用,不能很好地满足下游任务对框架语义分析的需求。近年来,端对端的联合建模方法受到了广泛关注,代表性的工作是lin等人提出的基于图的端对端框架语义分析方法,取得了当前最好的性能。
3、lin等人提出的基于图的端对端框架语义分析方法,并构建了分析模型fparser,取得了当前最好的性能。但该方法存在以下三个明显的不足:
4、(1)fparser使用预训练模型bert对文本的上下文建模,并采用基于边界的跨度(span)表示无法捕捉目标词和论元之间复杂的语义依赖关系。该方法将目标词和论元的边界词的表示拼接起来作为
5、(2)fparser将框架语义分析视为一个图构建过程,先使用一个分类模块从一个句子的所有可能的跨度(句子中连续的文本片断)组合中识别出部分目标词(partialtarget)、完整目标词(complete target)、论元(argument)和其他跨度,并将识别出的跨度作为图中的结点。使用另一个分类模块识别出哪些部分目标词对可以构成全目标词,然后使用一个框架预测模型预测目标词能够激起的框架;使用一个角色预测模块预测论元对应的框架语义角色。这种多阶段识别策略会导致错误累积问题。一般来讲,阶段越多,错误累积问题就越严重,不利于提高模型的识别性能。
6、(3)framenet中丰富的知识未被有效利用。例如,与框架关联的词元对于指导模型进行目标识别非常宝贵。现有的研究仅仅在fi中使用词元和框架之间的映射用于框架过滤,而没有将这个宝贵的知识纳入上下文编码器中,以增强fi和fsrl子任务的性能。
7、综上所述,也就是说现有技术fparser中存在不能完整表达语义以及多阶段识别策略会导致错误累积的问题。
技术实现思路
1、为了克服上述现有技术不能完整表达语义以及多阶段识别策略会导致错误累积的缺点,本专利技术的主要目的在于提供一种文本框架语义分析方法。
2、为达到上述目的,本专利技术采用以下技术方案,一种文本框架语义分析方法,包括以下步骤:
3、构建端对端的框架语义分析模型,所述框架语义分析模型包括上下文编码器、table编码器、区域检测模块和分类模块;
4、将待处理文本输入上下文编码器中,获得输出矩阵h;
5、输出矩阵h作为table编码器的输入,获得三维数据表格;
6、所述区域检测模块中潜在目标词检测模块与潜在论元检测模块分别将所述三维数据表格作为输入,同步处理后,分别获得对应的潜在目标词汇区域与潜在论元区域;
7、将潜在目标词汇作为分类模块中框架分类的输入,所述框架分类进行打分与过滤,获得潜在目标词最优可能激起来框架;
8、所述潜在论元区域作为分类模块中角色分类的输入,且同时所述潜在目标词最优可能激起来框架进行编码后作为所述角色分类的输入,所述角色分类同时对所述潜在论元区域与编码后的潜在目标词最优可能激起来框架进行计算,并筛选过滤后,获得潜在论元最有可能激起的框架,进而获得对待处理文本的框架语义分析结果。
9、所述上下文编码器对待处理文本的处理过程包括以下步骤:
10、对待处理文本进行分类标注,将待处理文本中每个单词转换成词元的表示形式,获得词元库;
11、将一个长度为单词个数的全0向量初始化,然后在所述词元库中逐一检索每一个词元形式的单词是否存在;如果存在,则向量中对应位置的值改为1,处理完成后得到的向量称为突显性向量;
12、将分类标注后的待处理文本与突显性向量作为bert模型的输入,输出矩阵h。
13、所述table编码器对输出矩阵h的处理过程包括以下步骤:
14、使用biaffine网络对输入h进行编码,获得一个三维表格,计算公式如下:
15、
16、
17、其中,u,v,b为模型参数,gelu(.)为激法函数,为向量拼接操作,输出结果为一个三维矩阵;
18、利用多层卷积网络cnn在三维表格上进行卷积操作,其中,卷积操作的计算公式如下所示:
19、
20、
21、
22、
23、其中,每一组操作由三次卷积操作和一次求和操作组成,三次卷积操作的卷积核分别为5、3和1,relu(.)为激活函数。
24、所述潜在目标区域检测将三维表格作为输入,输出为一个二维表格;所述二维表格中每一个单元格对应一个分数值,该分数值由三维表格中对应位置的向量通过线性神网络后映射为一个标量值,其计算公式如下:
25、
26、
27、其中,linear(.)为线性神经网络,cij为三维表格中第i行第j列位置的向量,sigmoid(.)为一规范化函数,将线性网络输出的标量值映射到0-1之间,并且两个公式分别得到两个值,一个为单元格作为区域左上角单元格的单元,另一个为单元格作为右下角单元格的打分,设阈值为0.5,即当打分超过0.5时,该单元格是左上角单元格或右下角单元格。
28、所述潜在论元区域检测将三维表格作为输入,输出为一个二维表格,所述二维表格中每一个单元格对应一个分数值,该分数值由三维表格中对应位置的向量通过线性神网络后映射为一个标量值,其计算公式如下:
29、
30、
31、其中,linear(.)为线性神经网络,cij为三维表格中第i行第j列位置的向量,sigmoid(.)为规范化函数,将线性网络输出的标量值映射到0-1之间,并且两个公式分别得到两个值,一个为单元格作为区域左上角单元格的单元,另一个为单元格作为右下角单元格的打分,设阈值为0.5,即当打分超过0.5时,该单元格是左上角单元格或右下角单元格本文档来自技高网...
【技术保护点】
1.一种文本框架语义分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述上下文编码器对待处理文本的处理过程包括以下步骤:
3.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述table编码器对输出矩阵H的处理过程包括以下步骤:
4.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述潜在目标区域检测将三维表格作为输入,输出为一个二维表格;所述二维表格中每一个单元格对应一个分数值,该分数值由三维表格中对应位置的向量通过线性神网络后映射为一个标量值,其计算公式如下:
5.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述潜在论元区域检测将三维表格作为输入,输出为一个二维表格,所述二维表格中每一个单元格对应一个分数值,该分数值由三维表格中对应位置的向量通过线性神网络后映射为一个标量值,其计算公式如下:
6.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述框架分类的步骤包括:
7.根据权利要求1所述一种文本框架语义分析方法,其
8.根据权利要求1所述一种文本框架语义分析方法,其特征在于,还包括损失函数,所述损失函数包括关于潜在区域识别的损失与分类损失,所述损失函数的公式如下:
...【技术特征摘要】
1.一种文本框架语义分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述上下文编码器对待处理文本的处理过程包括以下步骤:
3.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述table编码器对输出矩阵h的处理过程包括以下步骤:
4.根据权利要求1所述一种文本框架语义分析方法,其特征在于,所述潜在目标区域检测将三维表格作为输入,输出为一个二维表格;所述二维表格中每一个单元格对应一个分数值,该分数值由三维表格中对应位置的向量通过线性神网络后映射为一个标量值,其计算公式如下:
5.根据权...
【专利技术属性】
技术研发人员:苏雪峰,郭燕萍,
申请(专利权)人:山西工程科技职业大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。