一种基于条件随机场的中文人名自动识别方法技术

本发明专利技术提供了一种基于条件随机场的中文人名自动识别方法，通过对中文人名特征的研究，结合统计学的概率模型，构建出中文人名自动识别系统，通过对文本信息进行分词处理，基于条件随机场并结合上下文规则及人名可信度的方法，最后得到候选人名，借助局部统计算法对边界识别错误的人名进行修正，最终得到系统的识别结果，本系统大大降低了由于分词而产生的识别错误，较好的解决了其他命名实体识别为中文人名的情况，提高了识别效果。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了，通过对中文人名特征的研究，结合统计学的概率模型，构建出中文人名自动识别系统，通过对文本信息进行分词处理，基于条件随机场并结合上下文规则及人名可信度的方法，最后得到候选人名，借助局部统计算法对边界识别错误的人名进行修正，最终得到系统的识别结果，本系统大大降低了由于分词而产生的识别错误，较好的解决了其他命名实体识别为中文人名的情况，提高了识别效果。【专利说明】
本专利技术涉及自然语言处理领域，具体地说是命名实体识别中的中文人名识别技术。
技术介绍
中文人名主要包括中国人名、日本人名、外国音译人名等。中文人名的识别是中文命名实体识别的重要组成部分，同时也是信息挖掘、信息抽取、机器翻译、文本分类等研究领域重要的基础性工作。此外，在分词领域，绝大多数的未登录词是人名，中文人名的识别效果直接影响了分词的效果。中文人名识别问题的解决是提高中文文本自动分词精度的先决条件，识别效果有待提闻。 有鉴于此，专利技术人提供了。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了，克服了现有技术的困难，通过对中文人名特征的研究，结合统计学的概率模型，构建出中文人名自动识别系统。通过对文本信息进行分词处理，基于条件随机场并结合上下文规则及人名可信度的方法，最后得到候选人名。借助局部统计算法对边界识别错误的人名进行修正，最终得到系统的识别结果。本系统大大降低了由于分词而产生的识别错误，较好的解决了其他命名实体识别为中文人名的情况，提高了识别效果。 本专利技术提出了基于条件随机场(CRF)和上下文规则及人名可信度的方法(CRRM)进行中文人名识别。所采用的方法可以分为两个阶段，即训练阶段和识别阶段，预处理训练阶段包含CRF训练和获取规则集两部分，在CRF训练阶段，系统在训练语料库的基础上依次进行特征提取，特征选择和参数训练，最后得到CRF参数模型；另外利用基于转换的错误驱动的学习方法进行规则提取并最终获得规则集。CRRM人名识别过程，首先利用训练阶段设定的特征构建CRF模型并进行人名初识别，然后对CRF识别的结果进行预处理，再利用人名可信度模型、规则等对识别结果进行确认，最后利用局部统计算法对边界识别错误的人名进行了修正，并利用扩散操作召回系统中未被识别的人名。 根据本专利技术的一个方面，提供，包括以下步骤: 构建条件随机场模型； 获取人名规则集，首先利用初始状态的标注器来标注文本，接下来采用转换模板和目标函数，通过与已经正确标注过的参考语料相比较得到多条候选的转换模板，然后从中找出应用一条转换模板后可产生标注错误次数最少的转换式，作为一条新的标注规则作用到标注语料库，直到找不出这样的规则为止； 利用训练阶段得到的条件随机场模型对测试文本语料进行人名识别并输出每个标记的边缘概率； 对条件随机场的识别结果进行预处理； 对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别； 对于识别的潜在人名，利用训练阶段获取的人名规则集进行筛选，去除误识别的人名； 利用局部统计算法对边界识别错误的人名进行修正，并借助已经正确识别的人名进行扩散操作标记未被识别的人名；以及 扩散识别，对多次出现的一个人名根据不同位置进行分别识别。 优选地，所述构建条件随机场模型包括以下步骤: 对各标注语料进行相应的标记转换，使之符合条件随机场所使用的语料库格式，在此共定义了三组标注转换规则，每一组对应条件随机场的一类特征。 对标注转换后的语料进行特征提取，其中将特征分为四类:上下文特征、人名用字特征、边界词特征、字符特征。 选择特征模板，特征模板描述了我们在训练和测试过程中将会使用哪些特征，它为特征函数的生成提供了一个统一的模式，通过特征模板的使用可以使条件随机场方便的获得人名识别所需要的所有特征函数。 通过设置阈值来选择出现频次高于该阈值的特征: 【权利要求】1.，其特征在于，包括以下步骤: 构建条件随机场模型； 获取人名规则集，首先利用初始状态的标注器来标注文本，接下来采用转换模板和目标函数，通过与已经正确标注过的参考语料相比较得到多条候选的转换模板，然后从中找出应用一条转换模板后可产生标注错误次数最少的转换式，作为一条新的标注规则作用到标注语料库，直到找不出这样的规则为止； 利用训练阶段得到的条件随机场模型对测试文本语料进行人名识别并输出每个标记的边缘概率； 对条件随机场的识别结果进行预处理； 对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别； 对于识别的潜在人名，利用训练阶段获取的人名规则集进行筛选，去除误识别的人名； 利用局部统计算法对边界识别错误的人名进行修正，并借助已经正确识别的人名进行扩散操作标记未被识别的人名；以及 扩散识别，对多次出现的一个人名根据不同位置进行分别识别。2.如权利要求1所述的，其特征在于:所述构建条件随机场模型包括以下步骤: 对各标注语料进行相应的标记转换，使之符合条件随机场所使用的语料库格式，在此共定义了三组标注转换规则，每一组对应条件随机场的一类特征。 对标注转换后的语料进行特征提取，其中将特征分为四类:上下文特征、人名用字特征、边界词特征、字符特征。 选择特征模板，特征模板描述了我们在训练和测试过程中将会使用哪些特征，它为特征函数的生成提供了一个统一的模式，通过特征模板的使用可以使条件随机场方便的获得人名识别所需要的所有特征函数。 通过设置阈值来选择出现频次高于该阈值的特征:其中表示训练样本，C表示特征集，K即为设定的阈值。3.如权利要求1所述的，其特征在于:所述获取人名规则集包括以下步骤: 利用条件随机场进行人名识别，识别结果作为错误驱动学习的训练语料库。 将人名识别结果和正确的人工标注结果进行比较，分析错误识别的案例，并总结规则。 依次将第二步总结的各条规则应用到人名识别结果的副本中，根据各条规则对人名识别正确率贡献的大小进行由高到低进行排序。 将贡献最大的规则作用到已经识别的文本重新进行人名标注，得到一个更新的已识别文本。4.如权利要求1所述的，其特征在于:所述对条件随机场的识别结果进行预处理包括: 将条件随机场的识别结果转换为便于后续处理的格式；以及 对于转换后的结果，利用收集的中文词典采用简单的基于最长匹配的分词方法对转换后的结果进行词语切分。5.如权利要求4所述的，其特征在于:所述中文词典由标准中文词集、冲突词集以及关联词集三部分组成； 标准中文词集包含的词既不能是人名，也不可以作为人名的部分出现，该词集将作为分词器的词集使用； 冲突词集包含的词可以作为人名的部分出现，而它本身又不是人名； 关联词集包括那些既可以是人名又可以是地名或其他实体名的词及其相关的表征词。6.如权利要求1所述的，其特征在于:所述对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别包括: 将姓和名统一看待，其定义如下:TP-Name代表外国音译人名； S代表单个汉字的人名； F、M、L分别代表外国音译人名首字、中字和尾字。7.如权利要求6所述的，其特征在于:所述对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别还包括:并利用β来提高长字符本文档来自技高网...

【技术保护点】
一种基于条件随机场的中文人名自动识别方法，其特征在于，包括以下步骤： 构建条件随机场模型； 获取人名规则集，首先利用初始状态的标注器来标注文本，接下来采用转换模板和目标函数，通过与已经正确标注过的参考语料相比较得到多条候选的转换模板，然后从中找出应用一条转换模板后可产生标注错误次数最少的转换式，作为一条新的标注规则作用到标注语料库，直到找不出这样的规则为止； 利用训练阶段得到的条件随机场模型对测试文本语料进行人名识别并输出每个标记的边缘概率； 对条件随机场的识别结果进行预处理； 对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别； 对于识别的潜在人名，利用训练阶段获取的人名规则集进行筛选，去除误识别的人名； 利用局部统计算法对边界识别错误的人名进行修正，并借助已经正确识别的人名进行扩散操作标记未被识别的人名；以及 扩散识别，对多次出现的一个人名根据不同位置进行分别识别。

【技术特征摘要】

【专利技术属性】
技术研发人员：吕钊，高维维，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31