命名实体模型的训练方法、装置、设备及介质制造方法及图纸

本申请涉及人工智能技术领域，揭示了一种命名实体模型的训练方法、装置、设备及介质，其中方法包括：获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合；获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。从而减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上。

【技术实现步骤摘要】
命名实体模型的训练方法、装置、设备及介质
本申请涉及到人工智能
，特别是涉及到一种命名实体模型的训练方法、装置、设备及介质。
技术介绍
目前命名实体识别模型训练都依赖于大量的完全标注的数据，然而现实情况是大量的、高质量的完全标注的数据的获取极其昂贵且困难。为了解决这个问题，很多情况下由标注人员输出的命名实体数据都是标注不完全的，即仅标注了一部分实体，然后利用不完全标注的数据训练命名实体识别模型。不完全标注的数据的未被标注为实体的内容可以为任何标签，而文本中命名实体一般是稀疏的，导致可能的标签序列的数量随着未标注文本内容的长度增加而呈现指数增加，因为现有利用不完全标注的数据训练命名实体识别模型时将注意力分散到大量的标签序列上，使得模型在搜索真实标签序列的时候遇到较大的困难。
技术实现思路
本申请的主要目的为提供一种命名实体模型的训练方法、装置、设备及介质，旨在解决现有技术利用不完全标注的数据训练命名实体识别模型时将注意力分散到大量的标签序列上，使得模型在搜索真实标签序列的时候遇到较大的困难的技术问题。为了实现上述专利技术目的，本申请提出一种命名实体模型的训练方法，所述方法包括：获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。进一步的，所述采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合的步骤，包括：从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；从所述目标不完全标注的训练样本的所述不完全标注的标签序列中提取出已标注实体信息，得到所述目标不完全标注的训练样本对应的已标注实体信息；采用所述目标不完全标注的训练样本对应的所述已标注实体信息从所述目标不完全标注的训练样本的所述文本样本数据中找出未标注的文字，得到所述目标不完全标注的训练样本对应的未标注文本数据；分别对所述目标不完全标注的训练样本对应的所述未标注文本数据中每个文字进行所有可能的标签预估，得到所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的预估标签集合；分别将所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的所述预估标签集合和所述目标不完全标注的训练样本对应的所述已标注实体信息进行所有可能的标签序列组合，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合；重复执行所述从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本作为目标不完全标注的训练样本的步骤，直至确定所述多个不完全标注的训练样本各自对应的所述预估标签序列集合。进一步的，所述获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型的步骤，包括：从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据；采用所述待训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个所述预估标签序列进行条件概率计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析条件概率数据；采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合；将所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据、所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据和所述目标不完全标注的训练样本对应的所述最有可能标签序列集合输入所述自适应损失函数进行计算，得到所述待训练的命名实体模型的损失值，根据所述损失值更新所述待训练的命名实体模型的参数，更新后的所述待训练的命名实体模型被用于下一次计算所述待分析条件概率数据、所述最有可能标签序列集合；重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到所述第一收敛条件或迭代次数达到所述第二收敛条件的所述待训练的命名实体模型，确定为所述目标命名实体模型。进一步的，所述采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据的步骤，包括：基于前向-后向算法和所述初步训练的命名实体模型，分别对所述目标不完全标注的训练样本的所述文本样本数据的每个字进行各个标签的边缘概率计算，得到所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的边缘概率数据；分别根据所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列、所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的所述边缘概率数据进行各个字各自对应的所述边缘概率数据的相乘计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据。进一步的，所述采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合的步骤，包括：将所述目标不完全标注的训练样本的所述文本样本数据输入所述待训练的命名实体模型进行计算，获取所述目标不完全标注的训练样本的预训练模型输出的所述目标不完全标注的训练样本对应的概率预测结果；采用k-bestViterbiDecoding算法根据所述待训练的命名实体模型的条件随机场模型的状态转移矩阵、所述目标不完全标注本文档来自技高网...

【技术保护点】
1.一种命名实体模型的训练方法，其特征在于，所述方法包括：/n获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；/n采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；/n获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。/n

【技术特征摘要】
1.一种命名实体模型的训练方法，其特征在于，所述方法包括：
获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；
采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；
获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。


2.根据权利要求1所述的命名实体模型的训练方法，其特征在于，所述采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合的步骤，包括：
从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
从所述目标不完全标注的训练样本的所述不完全标注的标签序列中提取出已标注实体信息，得到所述目标不完全标注的训练样本对应的已标注实体信息；
采用所述目标不完全标注的训练样本对应的所述已标注实体信息从所述目标不完全标注的训练样本的所述文本样本数据中找出未标注的文字，得到所述目标不完全标注的训练样本对应的未标注文本数据；
分别对所述目标不完全标注的训练样本对应的所述未标注文本数据中每个文字进行所有可能的标签预估，得到所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的预估标签集合；
分别将所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的所述预估标签集合和所述目标不完全标注的训练样本对应的所述已标注实体信息进行所有可能的标签序列组合，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合；
重复执行所述从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本作为目标不完全标注的训练样本的步骤，直至确定所述多个不完全标注的训练样本各自对应的所述预估标签序列集合。


3.根据权利要求1所述的命名实体模型的训练方法，其特征在于，所述获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型的步骤，包括：
从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据；
采用所述待训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个所述预估标签序列进行条件概率计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析条件概率数据；
采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合；
将所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据、所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据和所述目标不完全标注的训练样本对应的所述最有可能标签序列集合输入所述自适应损失函数进行计算，得到所述待训练的命名实体模型的损失值，根据所述损失值更新所述待训练的命名实体模型的参数，更新后的所述待训练的命名实体模型被用于下一次计算所述待分析条件概率数据、所述最有可能标签序列集合；
重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到所述第一收敛条件或迭代次数达到所述第二收敛条件的所述待训练的命名实体模型，确定为所述目标命名实体模型。<...

【专利技术属性】
技术研发人员：阮鸿涛，郑立颖，胡沛弦，徐亮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44