System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于双原型源的法律事件检测模型构建方法与应用技术_技高网

一种基于双原型源的法律事件检测模型构建方法与应用技术

技术编号:42392243 阅读:6 留言:0更新日期:2024-08-16 16:17
本发明专利技术公开了一种基于双原型源的法律事件检测模型构建方法与应用,属于人工智能技术领域;针对样本少,同种事件类型表述各异,相似事件类型难以区分的情况,利用事件标签信息和事件提及作为双原型源,在两个分支同时训练,通过最小化输入法律文本与对应法律事件类型标签下的模板提示文本的特征向量之间的距离,以及法律事件类型标签相同的法律文本之间的特征向量之间的距离,充分利用了有限的训练样本,使模型学习到不同事件类型的一般特征和语言表达上的丰富多样性,提高了在小样本场景下法律事件检测的准确性。

【技术实现步骤摘要】

本专利技术属于人工智能,更具体地,涉及一种基于双原型源的法律事件检测模型构建方法与应用


技术介绍

1、作为我国社会治理现代化的重要内容,智慧司法建设依托大数据与人工智能技术对法律数据展开深度分析应用,对我国社会治理现代化有重要意义。裁判文书可以更好地辅助法务人员的审判工作,有助于司法公开和促进社会治理的公平,但主体内容仍为冗长的非结构化文本,导致相关从业人员需要花费大量的时间与精力从中提取出有价值的信息。为了能够帮助司法从业人员快速获取案件的关键信息,对相关下游基于人工智能的智慧司法研究有强有力的促进作用,需要对裁判文书进行结构化处理,提取出其中的关键信息。

2、裁判文书由于其文本中包含大量的专业化术语、复杂的语义描述以及种类繁多的事件类型,尤其是存在表述方式各异的同种事件以及具有细微语义差别的相似事件,为事件检测任务带来更大的挑战。

3、在现有的法律事件检测任务中,当前的工作大都是基于预训练加微调的方式进行法律事件检测模型训练,且需要大量有标注的监督数据,而随着司法进程的不断推进,会出现新的法律事件类型,在少样本场景下,训练数据的稀疏性会进一步恶化模型学习到的法律文本事件特征有限、相似案件细微差别导致模型出现误判等问题,无法准确地进行法律事件检测,进而对下游相关任务(如判决预测和类案检索)造成影响。

4、因此,需要在少样本场景下,针对法律事件检测模型进行研究,以更好地促进对裁判文书中非结构化数据的有效利用,提升司法效能。


技术实现思路

1、针对现有技术的以上缺陷或改进需求,本专利技术提供一种基于双原型源的法律事件检测模型构建方法与应用,用以解决现有技术的无法在小样本场景下准确地进行法律事件检测的技术问题。

2、为了实现上述目的,第一方面,本专利技术提供了一种基于双原型源的法律事件检测模型构建方法,包括:

3、s1、对法律特征提取模块进行训练:

4、对于预采集的训练集中的每一个法律文本,通过法律特征提取模块获取该法律文本的特征向量及对应法律事件类型标签下的模板提示文本的特征向量,并计算得到二者之间的距离,记为第一距离;

5、将训练集中法律事件类型标签相同的两个法律文本构成一个正样本对,计算每一个正样本对中各个法律文本的特征向量之间的距离,记为第二距离;

6、通过最小化每一个法律文本所对应的第一距离、以及每一个正样本对所对应的第二距离,对法律特征提取模块进行训练;

7、s2、训练完成后,构建包括级联的特征提取模块和判决器的法律事件检测模型,以进行法律事件检测;

8、其中,判决器用于计算待检测法律文本的特征向量与特征向量集中每一个特征向量之间的距离,并将最小距离所对应的法律事件类型作为最终的检测结果;特征向量集包括:通过训练完成后的法律特征提取模块获取的不同法律事件类型下的模板提示文本的特征向量。

9、进一步优选地,上述步骤s1还包括:

10、将训练集中法律事件类型标签不同的两个法律文本构成一个负样本对,计算每一个负样本对中各个法律文本的特征向量之间的距离,记为第三距离;

11、在最小化每一个法律文本所对应的第一距离、以及每一个正样本对所对应的第二距离的同时,最大化每一个负样本对所对应的第三距离,以对法律特征提取模块进行训练。

12、进一步优选地,法律事件检测模型的构建方法,还包括:

13、为训练集中的每一个法律文本生成对应的对抗样本,构成对抗样本集;并按照步骤s1中的训练方法,将对抗样本集输入至法律特征提取模块中进行训练,以实现法律特征提取模块的对抗训练。

14、进一步优选地,法律特征提取模块包括:级联的token化层、嵌入层、预训练语言模型、池化层和归一化层。

15、进一步优选地,通过法律特征提取模块获取法律文本特征向量的过程,包括:

16、将法律文本输入至法律特征提取模块中,依次经过token化层、嵌入层、预训练语言模型后得到对应的文本高维特征编码,包括法律文本中的每一个token的高维特征,从中抽取出法律文本中预先标注的触发词所包含的各token的高维特征,并输入至池化层,得到法律文本特征向量。

17、进一步优选地,在对法律特征提取模块进行训练之前,还预先对其中的预训练语言模型通过以下方式进行任务导向预训练:

18、将预采集的法律领域文本语料数据集中的每一个法律判决文书事实部分文本token化,得到对应的token序列;对token序列中表征法律事件语义特征的token进行掩码,并进行嵌入化处理后,输入至上述预训练语言模型中进行mlm预训练。

19、进一步优选地,token序列中表征法律事件语义特征的token包括:词性为动词的token。

20、进一步优选地,token序列中表征法律事件语义特征的token包括:将token序列输入至触发词检测模型后所得的触发词token;

21、其中,触发词检测模型通过以下方式获取得到:

22、将训练集中的每一个法律文本token化,得到对应的token序列,并输入至第一神经网络模型中,以对该token序列中每一个token是否为触发词token进行检测,通过最小化检测结果与对应的触发词判断真实结果之间的差异,对第一神经网络模型进行训练;将训练完成后的第一神经网络模型作为触发词检测模型;

23、触发词判断真实结果基于法律文本所对应的预设触发词获取得到,包括法律文本的token序列中每一个token是否为触发词token的真实信息。

24、进一步优选地,token序列中表征法律事件语义特征的token包括:将token序列输入至重要token检测模型后所得的重要token;

25、其中,重要token检测模型通过以下方式获取得到:

26、对于训练集中的每一个法律文本:对其进行token化,并将所得的token序列中的每一个token按照先后顺序依次加入至初始为空的序列q中;将每加入一个token后的序列q输入至检测模型m0中进行法律事件类型检测,获取检测结果为对应法律事件类型标签的概率;对于每一个token,计算加入该token前、后所得的概率之差的绝对值,作为该token的贡献度;将贡献度大于预设阈值的token作为该法律文本所对应的重要token标签;

27、将训练集中的每一个法律文本token化,得到对应的token序列后,输入至第二神经网络模型中,以对该token序列中每一个token是否为重要token进行检测,通过最小化检测结果与对应的重要token判断真实结果之间的差异,对第二神经网络模型进行训练;将训练完成后的第二神经网络模型作为重要token检测模型;

28、其中,检测模型m0通过将训练集中的法律文本token化后输入至第三神经网络模型中进行训练后得到;重要token判断真实结果基于法律文本所对应的重要tok本文档来自技高网...

【技术保护点】

1.一种基于双原型源的法律事件检测模型构建方法,其特征在于,包括:

2.根据权利要求1所述的法律事件检测模型构建方法,其特征在于,所述步骤S1还包括:

3.根据权利要求1或2所述的法律事件检测模型构建方法,其特征在于,还包括:

4.根据权利要求1或2所述的法律事件检测模型构建方法,其特征在于,所述法律特征提取模块包括:级联的token化层、嵌入层、预训练语言模型、池化层和归一化层。

5.根据权利要求4所述的法律事件检测模型构建方法,其特征在于,通过所述法律特征提取模块获取法律文本特征向量的过程,包括:

6.根据权利要求4所述的法律事件检测模型构建方法,其特征在于,在对所述法律特征提取模块进行训练之前,还预先对其中的预训练语言模型通过以下方式进行任务导向预训练:

7.根据权利要求6所述的法律事件检测模型构建方法,其特征在于,通过方式一或方式二或方式三来确定所述token序列中表征法律事件语义特征的token;

8.一种法律事件检测方法,其特征在于,包括:

9.一种电子设备,其特征在于,存储器和处理器,包括:存储器存储有计算机程序,处理器执行计算机程序时执行权利要求1-8任意一项所述的方法。

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,计算机程序被处理器执行时执行权利要求1-8任意一项所述的方法。

...

【技术特征摘要】

1.一种基于双原型源的法律事件检测模型构建方法,其特征在于,包括:

2.根据权利要求1所述的法律事件检测模型构建方法,其特征在于,所述步骤s1还包括:

3.根据权利要求1或2所述的法律事件检测模型构建方法,其特征在于,还包括:

4.根据权利要求1或2所述的法律事件检测模型构建方法,其特征在于,所述法律特征提取模块包括:级联的token化层、嵌入层、预训练语言模型、池化层和归一化层。

5.根据权利要求4所述的法律事件检测模型构建方法,其特征在于,通过所述法律特征提取模块获取法律文本特征向量的过程,包括:

6.根据权利要求4所述的法律事件检测模型构建方法,其...

【专利技术属性】
技术研发人员:王玉明王忆宁彭俊聪张龙
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1