【技术实现步骤摘要】
一种基于图神经网络的法律文本摘要生成方法
[0001]本专利技术属于自然语言处理领域。
技术介绍
[0002]在线搜索引擎是普通大众获取简单的法律问题答案的主要途径之一。然而在 线法律咨询中的问题答案通常是由领域专家书写的长文本,用户较难从搜索引擎 中返回的海量文档中找到精准的答案。为此,自动化生成长法律答案的摘要具有 很高的应用价值。针对答案长文本难以直接建模和摘要需和问题一致的挑战。
[0003]自动文本摘要通常可分为两类,分别是抽取式(extractive)和生成式 (abstractive)抽取式:广泛应用的有Textrank——原本用来计算网页之间的关 联性,后来被应用在句子上,句子之间反复传播,选出最关键的语句进行排序。 因为文章总有中心句,而textrank就试图找出这个中心句。抽取式缺点为主要考 虑单词词频,没有过多的语义信息,所以无法建立段落中的完整语义信息。
[0004]生成式摘要,需要通过转述、同义替换、句子缩写等生成。不少生成式神经 网络模型(neural
‑
network
‑
based abstractive summarizationmodel)在DUC
‑
2004 测试集上已经超越了最好的抽取式模型。生成式神经网络模型的基本结构主要由 编码器(encoder)和解码器(decoder)组成,编码和解码都由神经网络实现。 编码器负责将输入的原文本编码成一个向量C(context),而解码器负责从这个 向量C提取重要信息、 ...
【技术保护点】
【技术特征摘要】
1.一种基于图神经网络的法律文本摘要生成方法,包括以下步骤:步骤一:问题定义以及整体算法结构;A表示一个包含几个句子[s1,s2,s3,
…
,s
m
]的问题答案,其中s
i
是答案中的第i个句子,Q表示输入的问题;任务是生成一个抽象的与输入问题Q最相关的A的摘要;附图1为算法整体结构;步骤二:法律知识图谱构建;用法律答案构建法律概念图,将法律概念定义为法律实体的短语/词或作为文本重要组成部分的关键字;对于法律数据集中每一条法条及根据传统的法律文本篇章结构,构建法律篇章结构知识图谱;首先使用Stanford Parser将自然问句N转换为句法依存树Y;由于在线下部分已经建立了关系指称词典,即每一个词都可能被不同的关系指称所包含,所以在关系优先框架中,对于Y中每一个词(节点)w
i
,先找到所有包含w
i
的关系指称,然后使用深度优先搜索算法来遍历Y中以w
i
为根的子树,并判断这个子树是否与当前关系指称一一匹配;如果一个关系指称中所有的字都在子树中出现,那么认为找到一个匹配的句法依存子树y,这个关系指称也是符合自然问句N的;当得到关系指称之后,就需要找到与这个关系指称相联系的主语和宾语节点;根据统计分析,基于句法树中边的词性,而统计出属于“subject
‑
like”的边,与“object
‑
like”的边;分析关系指称与句法依存树,若在依存子树y中有点w是可以被匹配为类/实体,则认为这个w是关系指称的一个主语;否则,观察w与它的子节点中,是否被subject
‑
like的边相连,若是的话,这个子节点就是这个关系指称的主语;同理,若w与子节点被object
‑
like的边相连,那么关系指称的宾语就是这个子节点;如果经过这种规则处理,找不到对应的主语/宾语,那么就需要应用一些高阶规则;步骤三:结点初始化;用向量u
i
对法律概念图中的顶点进行编码;首先,利用基于多头自注意力的顶点编码器;这个顶点编码器由两个模块组成,分别是embedding模块和自注意力模块;通过共享嵌入查找表采用单词和概念的常规单词嵌入来表示单词信息;正则词是指概念词以外的词;此外还添加了绝对和相对位置嵌入p
iabsolute
,p
irelative
来表示位置信息;p
iabsolute
旨在编码答案中单词和概念的绝对位置;为了更好地学习相对位置嵌入,在单词序列前面提出了概念w;这样,概念的相对位置嵌入就有相同的嵌入p0;添加词嵌入w
i
和位置嵌入p
iabsolute
,p
irelative
得到最终的嵌入u
i
,形式上:u
i
=w
i
+p
iabsolute
+p
irelative
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)之后,将u
i
输入self
‑
attention模块以获得每个单词的隐藏表示a
i
;Self
‑
attention可以显式地对单词之间的交互进行建模以捕获顶点的上下文;使用公式(2)到公式(4)计算自注意力层的隐藏表示,其中Q、K和V分别表示查询、键和值向量;Attention(Q,K,V)=softmax(QK
T
)V
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)MultiHead(Q,K,V)=[head1;
…
;head
h
]W
o
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)而概念w是顶点的重要信息,采用概念a0的表示来表示整个顶点;步骤四:图卷积网络生成摘要,具体步骤如下:
①
获取节点表示;具体过程为:对于全局节点和关系节点,从一个随机初始化的词嵌入矩阵中获得对应的全局节点和
关系节点的初始表示h
i0
;对于句子节点,一个法律文本包含了|U|个句子,其中第i个句子u
i
被表示为u
i1
,u
i2
,
…
,u
i|U|
,每一项代表了第i个句子中的第j个词语,每一个句子u
i
都对应一个说话人p
i
,p
i
∈P,P是说话人集合;对于句子节点,使...
【专利技术属性】
技术研发人员:周焕来,李家伟,唐小龙,张博阳,邢增桓,黄婧,贾海涛,王俊,
申请(专利权)人:一拓通信集团股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。