一种高效的新术语识别系统和方法技术方案

本发明专利技术涉及一种高效的新术语识别系统和方法，其系统包括对输入文本库RCorpus中的每篇文档进行分词，形成文本词序列模块A；对分词后的文本库TCorpus中的每篇文档词语序列进行新术语识别模块B；对识别的新术语进行验证模块C；其方法包括以下步骤：第一步：文本词序列模块A对输入文本库RCorpus中的每篇文本进行分词，形成文本词序列；第二步：新术语识别模块B对分词后的文本库TCorpus中的每篇文本词语序列进行新术语识别；第三步：验证模块C对识别的新术语进行验证；本发明专利技术提出了一种精度高、召回率高的新术语识别方法和系统。新术语的识别精度为93.8％。

【技术实现步骤摘要】
一种高效的新术语识别系统和方法
本专利技术涉及汉语自然语言处理、汉语新词语自动识别领域，特别是涉及一种新术语自动识别系统和方法。
技术介绍
伴随互联网的快速发展，各类新术语层出不穷，这个自然语言处理应用、自动应用软件(如分词系统)、词典收编工作灯带来很大的困难。新术语识别的研究已经展开了多年。现存的方法有以下三类。第一基于统计的方法。例如，KennethWardChurch和BéatriceDaille等人使用互信息(MutualInformation)来抽取词语的固定组合和搭配，他们认为频繁共现的邻近字符组合一般都是术语，然后使用互信息判断词组的共现程度。又如，TedDunning和JonathanD.Cohen等人采用用对数似然比(Log-LikelihoodRatio)来统计低频词语的识别问题，从理论和事实两方面论证了这种方法的有效性。统计方法还包括条件随机场方法、隐马尔科夫方法、最大熵方法等。第二是基于语言学特征和词法模式的方法。例如，刘磊、王石和田国刚采用多特征，结合词法和句法模式，获得新的专业术语。第三是前两种方法的集成应用，因而克服了各自的不足。但是，经过详细的实验分析，上述方法存以下两个问题。问题1：新术语识别精度问题。采用纯统计的方法，虽然能识别较多地新术语，但是通常会引入大量的错误；也即，不是新术语的汉字串，被误以为是新术语。例如，在语句“总部组织干部学习中央精神”中，采用统计方法时，很容易就将“总部组织干部”、“组织干部”、“干部学习”等误识为新术语，而本质上，它们均不是。另一方面，要确保新术语额度识别精度很高，识别广度又受到限制。这是本专利技术需要解决的关键问题之一。问题2：新术语识别广度问题。由于词语的组合情况很多，因此新术语自动识别很容易遗漏掉新有意义的术语。因此，如何提高识别广度是一个重要的问题。这也是本专利技术需要解决的关键问题之一。
技术实现思路
本专利技术所要解决的技术问题：新术语识别精度问题、识别广度问题。针对问题1，本专利技术引入了种子术语词典技术，不仅利用种子词典进行新术语的识别，同时也用它来验证新获得的新术语。针对问题2，本专利技术引入了多源迭代式新术语识别技术。首先，采用多源分析方法，根据多个文本进行比照验证，提升新术语的识别精度；同时将获得的新术语加入到种子术语词典中，不断地循环使用，从而获得更多的新术语。为了实现上述目的，本专利技术提供了如下技术方案：一种高效的新术语识别系统，其特征在于：包括对输入文本库RCorpus中的每篇文档进行分词，形成文本词序列模块A；对分词后的文本库TCorpus中的每篇文档词语序列进行新术语识别模块B；对识别的新术语进行验证模块C；上面所述模块中，模块A对输入文本库RCorpus中的每篇文挡进行分词，形成分词后的文本词序列，因此形成分词后的文本库TCorpus，供新术语识别模块B使用；新术语识别模块B对分词后的文本库TCorpus中的每篇文档进行新术语识别，形成一组待验证的新术语结果，供验证模块C使用；验证模块C对新术语识别模块B识别的新术语进行进一步的验证。一种高效的新术语识别方法，其特征在于：包括以下步骤：第一步：文本词序列模块A对输入文本库RCorpus中的每篇文本进行分词，形成文本词序列；我们采用一个开源的ICTCLAS系统对RCorpus中的每篇输入文本D进行分词，分词结果为T′＝W1/pos1W2/pos2…Wi/posi…Wn/posn，其中每个Wi是一个汉语词、汉字、标点符号、阿拉伯数字、英文单词或字母，posi是其对应的词性；为了表示区别，RCorpus中的每篇文本文本经过分词后，所产生的文本，我们记为TCorpus；第二步：新术语识别模块B对分词后的文本库TCorpus中的每篇文本词语序列进行新术语识别；当前待识别文本为Di，Ti为它的标题，Sij为Di的当前待识别的第j条语句；对Sij进行以下步骤的处理，形成候选的新术语结果，存放在集合tmp_result中：步骤B1：设置tmp_result为空；tmp_result用于存放识别出的新术语结果，传递给验证模块C进行验证。因此，tmp_result中的新术语结果也称候选的新术语结果，也称待验证的新术语结果；步骤B2：将Sij中连续最长的、词性标记为a、b、j、n、m、q的词形成一个候选新术语，记为NewTerm；所述“连续最长”，是指在Sij中NewTerm的两端没有词性为a、b、j、n的词；步骤B3：如果在Sij中紧接着NewTerm的词语W的词性是k，即W可能是NewTerm的后缀，则设置步骤B4：如果在Sij中位于NewTerm之前的词语W的词性是h，即W可能是NewTerm的后缀，则设置步骤B5：将(NewTerm，Ti，Sij)放入tmp_result中；第三步：验证模块C对识别的新术语进行验证；验证模块C的主要工作是采用多源验证法、特殊验证法，对新术语识别模块B产生的tmp_result中的新术语进行验证，验证过的新术语放入集合result中；验证模块C的方法如下：步骤C1：设置result为空；步骤C2：对tmp_result中的每一对(NewTerm，Ti，Sij)循环做以下步骤C3、C4和C5；步骤C3：如果在tmp_result中存在(NewTerm，Ti′，Sij′)，并且Ti与Ti′不同“即NewTerm出现在TCorpus中的两篇不同的文本中”，则将NewTerm放入result中；否则，执行步骤C4；如上述步骤C3中所述，尽管NewTerm在题名为Ti的语句Sij中被识别为候选新术语，但是NewTerm并不一定就是一个正确的新术语；但是，在题名为Ti′的语句Sij′中也被识别为新术语，则NewTerm是正确的新术语的可能性会大大提升；步骤C4：如果在种子词典中存在一个种子术语Term，使得NewTerm与Term的加权相似度wsim(NewTerm，Term)＞α，其中α∈[0，1]为一个阈值)，则将NewTerm放入result中；否则，执行步骤C5；为给出两个术语的加权相似度wsim(NewTerm，Term)的计算，我们先给出函数2gram的计算方法；对一个非空汉字串Sent＝C1C2…Ci-1Ci…CK-1CK，其中Ci为汉字、数字、英文字母，我们引入一个带头尾标记的汉字串Sent＝$C1C2…Ci-1Ci…CK-1CK$；2gram(Sent)是一个由Sent中自左向右连续的两个字符构成的集合，即2gram(Sent)＝{$C1，C1C2，…，Ck-1CK，CK$}；需要指出的是，2gram(Sent)中各个元素的重要性不相同：Ci-1Ci是汉语中的一个词时，Ci-1Ci在2gram(Sent)的作用更大；为了反映出2gram(Sent)中各个元素的重要性，对前面定义的Interset(S1，S2)进行改进，引入一个新的基数，叫作加权交集基数WInterset(S1，S2)；其计算方法如下：对给定了两个集合S1和S2：(1)WInterset(S1，S2)＝0；(2)对Interset(S1，S2)每一个元素e，如果e是汉语中的一个词，则WInterset(S1，S2)＝WInterset(S1，S2)+1.2，即W本文档来自技高网...

【技术保护点】
一种高效的新术语识别系统，其特征在于：包括对输入文本库RCorpus中的每篇文档进行分词，形成文本词序列模块A；对分词后的文本库TCorpus中的每篇文档词语序列进行新术语识别模块B；对识别的新术语进行验证模块C；上面所述模块中，模块A对输入文本库RCorpus中的每篇文挡进行分词，形成分词后的文本词序列，因此形成分词后的文本库TCorpus，供新术语识别模块B使用；新术语识别模块B对分词后的文本库TCorpus中的每篇文档进行新术语识别，形成一组待验证的新术语结果，供验证模块C使用；验证模块C对新术语识别模块B识别的新术语进行进一步的验证。

【技术特征摘要】
1.一种高效的新术语识别系统，其特征在于：包括对输入文本库RCorpus中的每篇文档进行分词，形成文本词序列模块A；对分词后的文本库TCorpus中的每篇文档词语序列进行新术语识别模块B；对识别的新术语进行验证模块C；上面所述模块中，模块A对输入文本库RCorpus中的每篇文挡进行分词，形成分词后的文本词序列，因此形成分词后的文本库TCorpus，供新术语识别模块B使用；新术语识别模块B对分词后的文本库TCorpus中的每篇文档进行新术语识别，形成一组待验证的新术语结果，供验证模块C使用；验证模块C对新术语识别模块B识别的新术语进行进一步的验证。2.一种高效的新术语识别方法，其特征在于：包括以下步骤：第一步：文本词序列模块A对输入文本库RCorpus中的每篇文本进行分词，形成文本词序列；我们采用一个开源的ICTCLAS系统对RCorpus中的每篇输入文本D进行分词，分词结果为T′＝W1/pos1W2/pos2…Wi/posi…Wn/posn，其中每个Wi是一个汉语词、汉字、标点符号、阿拉伯数字、英文单词或字母，posi是其对应的词性；为了表示区别，RCorpus中的每篇文本文本经过分词后，所产生的文本，我们记为TCorpus；第二步：新术语识别模块B对分词后的文本库TCorpus中的每篇文本词语序列进行新术语识别；当前待识别文本为Di，Ti为它的标题，Sij为Di的当前待识别的第j条语句；对Sij进行以下步骤的处理，形成候选的新术语结果，存放在集合tmp_result中：步骤B1：设置tmp_result为空；tmp_result用于存放识别出的新术语结果，传递给验证模块C进行验证。因此，tmp_result中的新术语结果也称候选的新术语结果，也称待验证的新术语结果；步骤B2：将Sij中连续最长的、词性标记为a、b、j、n、m、q的词形成一个候选新术语，记为NewTerm；所述“连续最长”，是指在Sij中NewTerm的两端没有词性为a、b、j、n的词；步骤B3：如果在Sij中紧接着NewTerm的词语W的词性是k，即W可能是NewTerm的后缀，则设置NewTerm＝NewTerm⊕W；步骤B4：如果在Sij中位于NewTerm之前的词语W的词性是h，即W可能是NewTerm的后缀，则设置NewTerm＝W⊕NewTerm；步骤B5：将(NewTerm，Ti，Sij)放入tmp_result中；第三步：验证模块C对识别的新术语进行验证；验证模块C的主要工作是采用多源验证法、特殊验证法，对新术语识别模块B产生的tmp_result中的新术语进行验证，验证过的新术语放入集合result中；验证模块C的方法如下：步骤C1：设置result为空；步骤C2：对tmp_result中的每一对(NewTerm，Ti，Sij)循环做以下步骤C3、C4和C5；步骤C3：如果在tmp_result中存在(NewTerm，Ti′，Sij′)，并且Ti与Ti′不同“即NewTerm出...

【专利技术属性】
技术研发人员：符建辉，王卫明，曹阳，
申请(专利权)人：镇江诺尼基智能技术有限公司，
类型：发明
国别省市：江苏,32