基于预训练模型和图神经网络的法律知识问答方法及设备技术

本发明专利技术提出一种基于预训练模型和图神经网络的法律知识问答方法及设备，该方法通过超大规模预训练模型能够有效地从大量标记和未标记的数据中捕获知识，极大地扩展了模型的泛化能力，但是其可解释性较差，缺乏知识层面的推理能力；图神经网络可以通过图谱中前续节点到下一跳节点信息传递的方式来实现关系推理，且具有较强的语义可视化能力；将三者结合起来建立起“感知与认知相结合”共生的范式，实现具备认知推理能力的高精度架构，在面向法律的场景中提供快速且准确的问答。景中提供快速且准确的问答。景中提供快速且准确的问答。

【技术实现步骤摘要】
基于预训练模型和图神经网络的法律知识问答方法及设备


[0001]本专利技术涉及神经
，尤其涉及一种基于预训练模型和图神经网络的法律知识问答方法、装置、设备、存储介质。

技术介绍

[0002]面向法律知识的智能问答是实现智能法治的重要核心部分，其问答结果需要考虑准确性和可解释性两个方面的评价，同时还需要保障生成结果的速度，已有的方法均不能很好地保证以上指标，或者需要大量的人工标注。
[0003]法律文本通常具有逻辑性强、专业程度高、严谨性要求强、文本长度长、需要多跳阅读才能够找到最终答案等特征，与一般性的开放域知识问答具有一定的异同点。面向法律知识的问答系统在线纠纷调解、在线法律援助、智能法律服务问答和法律文本生成等方面都有重要的作用。本专利提出了一种基于预训练模型和图神经网络的法律知识问答系统，旨在结合法治建设中法律知识日益复杂、法律纠纷日益多元、法律服务日益分化的现状，挖掘司法部门公开的法律文书信息、立法和法律研究者生产的法律知识信息，形成面向面向广大互联网用户需求的法律知识问题系统。
[0004]一般的传统方法主要通过知识图谱的推理来实现法律知识的问答，例如以法律领域数据作为输入在法律领域的知识图谱中进行知识的推理和引导性问答，其难点是构建精准的大规模的法律知识图谱的任务量巨大，且整体的复杂度高。其他的代表性的方法，也有类似的问题。例如有需要针对目标问题的多个第一候选问题然后匹配到多个第二第三候选问题，在一定程度上提升了问题回答的准确率，但是候选问题的设定增加了人工工作量。其他的一些方法需要对一部分的法律文本打标签，这也是需要一定的人工的标注。

技术实现思路

[0005]本专利技术提供一种基于预训练模型和图神经网络的法律知识问答方法、装置、设备、存储介质，旨在通过预训练模型和图神经网络回答法律知识问题。
[0006]为此，本专利技术的第一个目的在于提出一种基于预训练模型和图神经网络的法律知识问答方法，包括：
[0007]基于法律知识库，生成以法律实体索引为“法律实体(实体)
‑
知识内容(文本)”的知识对；
[0008]构建采用多级滑动窗口注意力机制的预训练模型，将预训练模型结合图神经网络模型，构建认知图谱架构；
[0009]将法律知识问题输入认知图谱架构的预训练模型中，对图进行扩展填充，生成认知架构图谱；
[0010]对认知图谱中的节点进行筛选，输出结果作为与输入的法律知识问题对应的答案。
[0011]其中，在基于法律知识库，生成以法律实体索引为“法律实体(实体)
‑
知识内容(文
本)”的知识对的步骤中，包括：
[0012]对法律知识库中的法律条文和裁判文书中的文本数据，采用CRF+双向LSTM的命名实体识别方式进行命名实体的识别；
[0013]对法律知识库中的法律条文和裁判文书中的文本数据进行实体抽取，抽取得到的每一个法律实体和其对应的相关文本内容，组成“法律实体(实体)
‑
知识内容(文本)”的知识对。
[0014]其中，在采用CRF+双向LSTM的命名实体识别方式进行命名实体的识别的步骤中，通过对输入的文本数据进行词和字维度的嵌入，以词表达和字表达作为输入，最终实现文本数据中实体的抽取。
[0015]其中，预训练模型采用三级滑动窗口注意力机制的广义线性模型GLM
‑
130B；其中，一级滑动窗口的注意力用来关注整体文本序列，其长度为整个输入文本长度；二级滑动窗口的长度小于一级滑动窗口长度，为句子级长度；三级滑动窗口的长度小于一级滑动窗口长度，为短语级长度。
[0016]其中，认知图谱架构包括预训练模型、图神经网络模型和认知图谱；其中，将法律知识问题输入认知图谱架构，得到与法律知识问题相关的实体线索；将实体线索存放至结果队列中；结果队列中包含与法律知识问题对应的最优答案。
[0017]其中，设置一个两层全连接神经网络来实现认知图谱中筛选的结果的筛选，获得最优结果；将最优结果进行文本化输出，得到最终的文本结果。
[0018]其中，在得到最终文本结果之后，包括：
[0019]对本轮生成的文本结果进行判断，若生成的结果用户感觉回答满意，则说明该回答符合用户的期望，能够解答用户的结果，将其作为输出最终结果；
[0020]若用户对回答的结果不满意，则需要用户补充信息，根据新的线索组成新的法律知识问题，输入认知图谱架构生成认知图谱；直至生成用户满意的最终文本结果。
[0021]本专利技术的第二个目的在于提出一种基于预训练模型和图神经网络的法律知识问答装置，包括：
[0022]提取模块，用于基于法律知识库，生成以法律实体索引为“法律实体(实体)
‑
知识内容(文本)”的知识对；
[0023]构建模块，用于构建采用多级滑动窗口注意力机制的预训练模型，将预训练模型结合图神经网络模型，构建认知图谱架构；
[0024]生成模块，用于将法律知识问题输入认知图谱架构的预训练模型中，对图进行扩展填充，生成认知架构图谱；
[0025]筛选模块，用于对认知图谱中的节点进行筛选，输出结果作为与输入的法律知识问题对应的答案。
[0026]本专利技术的第三个目的在于提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的方法中的各步骤。
[0027]本专利技术的第四个目的在于提出存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据前述技术方案的方法中的各步骤。
[0028]区别于现有技术，本专利技术提供的基于预训练模型和图神经网络的法律知识问答方
法，通过超大规模预训练模型能够有效地从大量标记和未标记的数据中捕获知识，极大地扩展了模型的泛化能力，但是其可解释性较差，缺乏知识层面的推理能力；图神经网络可以通过图谱中前续节点到下一跳节点信息传递的方式来实现关系推理，且具有较强的语义可视化能力；将三者结合起来建立起“感知与认知相结合”共生的范式，实现具备认知推理能力的高精度架构，在面向法律的场景中提供快速且准确的问答。
附图说明
[0029]本专利技术的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0030]图1是本专利技术提供的一种基于预训练模型和图神经网络的法律知识问答方法的逻辑示意图。
[0031]图2是本专利技术提供的一种基于预训练模型和图神经网络的法律知识问答方法的流程示意图。
[0032]图3是本专利技术提供的一种基于预训练模型和图神经网络的法律知识问答方法中CRF+双向LSTM网络架构示意图。
[0033]图4是本专利技术提供的一种基于预训练模型和图神经网络的法律知识问答方法中多级滑动窗口的注意力机制的架构示意图。
[0034]图5是本专利技术提供的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练模型和图神经网络的法律知识问答方法，其特征在于，包括：基于法律知识库，生成以法律实体索引为“法律实体(实体)
‑
知识内容(文本)”的知识对；构建采用多级滑动窗口注意力机制的预训练模型，将所述预训练模型结合图神经网络模型，构建认知图谱架构；将法律知识问题输入所述认知图谱架构的预训练模型中，对图进行扩展填充，生成认知架构图谱；对所述认知图谱中的节点进行筛选，输出结果作为与输入的法律知识问题对应的答案。2.根据权利要求1所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，在基于法律知识库，生成以法律实体索引为“法律实体(实体)
‑
知识内容(文本)”的知识对的步骤中，包括：对法律知识库中的法律条文和裁判文书中的文本数据，采用CRF+双向LSTM的命名实体识别方式进行命名实体的识别；对法律知识库中的法律条文和裁判文书中的文本数据进行实体抽取，抽取得到的每一个法律实体和其对应的相关文本内容，组成“法律实体(实体)
‑
知识内容(文本)”的知识对。3.根据权利要求2所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，在采用CRF+双向LSTM的命名实体识别方式进行命名实体的识别的步骤中，通过对输入的文本数据进行词和字维度的嵌入，以词表达和字表达作为输入，最终实现文本数据中实体的抽取。4.根据权利要求1所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，所述预训练模型采用三级滑动窗口注意力机制的广义线性模型GLM
‑
130B；其中，一级滑动窗口的注意力用来关注整体文本序列，其长度为整个输入文本长度；二级滑动窗口的长度小于一级滑动窗口长度，为句子级长度；三级滑动窗口的长度小于一级滑动窗口长度，为短语级长度。5.根据权利要求1所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，所述认知图谱架构包括所述预训练模型、图神经网络模型和认知图谱；...

【专利技术属性】
技术研发人员：邵洲，刘佳，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：