【技术实现步骤摘要】
本申请涉及自然语言处理领域，具体而言，涉及一种命名实体识别方法、装置及电子设备。
技术介绍
1、随着人工智能技术的迅速发展，特别是自然语言处理的日益更新，命名实体识别已经成为自然语言处理中一项重要的技术。其主要目的是从非结构化的文本中识别出具有特定意义的实体类型，包括人名、地名、疾病名称、各种专有名词等等，是关系抽取和问答系统等自然语言处理技术的前置任务。因此，作为自然语言处理领域一个比较核心的任务及研究的热点，中文命名实体识别方法的优劣将严重影响相关企业业务的健康发展。
2、在相关技术中，例如由百度团队提出，后由卡内基梅隆大学的nlp(naturallanguage processing，自然语言处理)研究团队优化的混合学习的bilstm-crf方法将基于统计学的crf(conditional random field，条件随机场)与基于深度学习的bilstm(bi-directional long short-term memory，双向长短期记忆网络)进行模型混合，但这种混合学习的方法对深度学习核心的优化器、训练机制没有提出进一步的改进，对增强模型泛化能力的底层表示模型也没有提出改进，其中文命名实体的识别能力有限，场景使用困难。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种命名实体识别方法、装置及电子设备，以至少解决相关技术中的命名实体识别模型存在识别能力和泛化能力较差的技术问题。
2、根据本申
3、可选地，命名实体识别模型通过以下方式确定：获取历史文本数据和与历史文本数据对应的标签数据；构建初始命名实体识别模型，其中，初始命名实体识别模型包括嵌入式文本向量层；依据历史文本数据和标签数据对初始命名实体识别模型进行迭代训练，在满足预设迭代次数后停止迭代，并确定初始命名实体识别模型在每次迭代过程中的对抗梯度，其中，对抗梯度用于表示初始命名实体识别模型在面对潜在对抗扰动时的稳定能力；依据组合优化器确定初始命名实体识别模型的最优参数，得到命名实体识别模型。
4、可选地，获取历史文本数据和与历史文本数据对应的标签数据之后，方法还包括：获取包含标签数据和整数索引的映射字典，其中，映射字典中的标签数据和整数索引一一对应；依据映射字典将标签数据转化为对应的整数索引。
5、可选地，构建初始命名实体识别模型，包括：确定初始命名实体识别模型的参数；确定初始命名实体识别模型的多层神经网络结构，其中，多层神经网络结构包括：嵌入式文本向量层、双向长短期记忆网络层、随机失活正则化层、全连接层以及条件随机场层。
6、可选地，迭代训练包括初始化训练和对抗训练，其中，初始化训练包括：确定初始命名实体识别模型在迭代训练过程中的目标损失函数，其中，目标损失函数用于表示初始命名实体识别模型的识别结果与标签数据之间的差异；从历史文本数据和标签数据中确定初始样本，通过目标损失函数确定初始样本的损失值，并确定初始命名实体识别模型的初始梯度，其中，初始梯度用于表示初始命名实体识别模型的参数相对于初始样本的损失值的梯度。
7、可选地，对抗训练包括：获取初始样本的对抗样本；通过目标损失函数确定对抗样本的损失值，并确定初始命名实体识别模型的对抗梯度，其中，对抗梯度用于表示初始命名实体识别模型的参数相对于对抗样本的损失值的梯度；获取初始命名实体识别模型在每次迭代训练过程中所有对抗梯度的总和，得到总对抗梯度；对总对抗梯度进行梯度下降，以更新初始命名实体识别模型的参数。
8、可选地，对抗样本通过以下方式进行更新：获取对抗样本在每次迭代训练时的损失值和对抗梯度；确定对对抗样本进行投影操作时的范数球半径和单步扰动大小；依据对抗样本的损失值、对抗梯度、范数球半径以及单步扰动大小对抗样本进行更新。
9、可选地，第二优化器的参数通过以下方式进行更新：确定第一学习率对应的第一权重，以及确定第二学习率对应的第二权重；确定第一权重和第二权重的权重差；依据权重差与预设缩放因子，对第二优化器的参数进行更新，其中，预设缩放因子用于调整初始命名实体识别模型的更新幅度。
10、根据本申请实施例的另一方面，还提供了一种命名实体识别模型的训练方法，包括：获取历史文本数据和与历史文本数据对应的标签数据；构建初始命名实体识别模型，其中，初始命名实体识别模型包括嵌入式文本向量层；依据历史文本数据和标签数据对初始命名实体识别模型进行迭代训练，在满足预设迭代次数后停止迭代，并确定初始命名实体识别模型在每次迭代过程中的对抗梯度，其中，对抗梯度用于表示初始命名实体识别模型在面对潜在对抗扰动时的稳定能力；依据组合优化器确定初始命名实体识别模型的最优参数，得到命名实体识别模型，其中，组合优化器包括第一优化器和第二优化器，第一优化器用于通过第一学习率更新命名实体识别模型的参数，第二优化器用于通过第二学习率更新命名实体识别模型的参数，第一学习率小于第二学习率。
11、根据本申请实施例的又一方面，还提供了一种命名实体识别装置，包括：第一获取模块，用于获取待识别的文本数据；识别模块，用于采用命名实体识别模型对待识别的文本数据进行识别，得到命名实体识别结果，其中，命名实体识别模型使用嵌入式文本向量层作为底层神经网络，嵌入式文本向量层用于加强命名实体识别模型的语义表征结果，命名实体识别模型的参数通过对抗梯度和组合优化器确定，组合优化器包括第一优化器和第二优化器，第一优化器用于通过第一学习率更新命名实体识别模型的参数，第二优化器用于通过第二学习率更新命名实体识别模型的参数，第一学习率小于第二学习率。
12、根据本申请实施例的又一方面，还提供了一种命名实体识别模型的训练装置，包括：第二获取模块，用于获取历史文本数据和与历史文本数据对应的标签数据；构建模块，用于构建初始命名实体识别模型，其中，初始命名实体识别模型包括嵌入式文本向量层；迭代模块，用于依据历史文本数据和标签数据对初始命名实体识别模型进行迭代训练，在满足预设迭代次数后停止迭代，并确定初始命名实体识别模型在每次迭代过程中的对抗梯度，其中，对抗梯度用于表示初始命名实体识别模型在面对潜在对抗扰动时的稳定能力；确定模块，用于依据组合优化器确定初始命名实体识别模型的最优参数，得到命名实体识别模型，其中，组合优化器包括第一优化器和第二优化器，第一优化器用于通过第一学习率更新命名实体识别模型的参数，第二本文档来自技高网...
【技术保护点】
1.一种命名实体识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述命名实体识别模型通过以下方式确定：
3.根据权利要求2所述的方法，其特征在于，获取历史文本数据和与所述历史文本数据对应的标签数据之后，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，构建初始命名实体识别模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述迭代训练包括初始化训练和对抗训练，其中，所述初始化训练包括：
6.根据权利要求5所述的方法，其特征在于，所述对抗训练包括：
7.根据权利要求6所述的方法，其特征在于，所述对抗样本通过以下方式进行更新：
8.根据权利要求2所述的方法，其特征在于，所述第二优化器的参数通过以下方式进行更新：
9.一种命名实体识别模型的训练方法，其特征在于，包括：
10.一种命名实体识别装置，其特征在于，包括：
11.一种命名实体识别模型的训练装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括：存储器和
13.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至8中任意一项所述的命名实体识别方法或权利要求9中的命名实体识别模型的训练方法。
14.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至8中任意一项所述的命名实体识别方法或权利要求9中的命名实体识别模型的训练方法。
...【技术特征摘要】
1.一种命名实体识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述命名实体识别模型通过以下方式确定：
3.根据权利要求2所述的方法，其特征在于，获取历史文本数据和与所述历史文本数据对应的标签数据之后，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，构建初始命名实体识别模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述迭代训练包括初始化训练和对抗训练，其中，所述初始化训练包括：
6.根据权利要求5所述的方法，其特征在于，所述对抗训练包括：
7.根据权利要求6所述的方法，其特征在于，所述对抗样本通过以下方式进行更新：
8.根据权利要求2所述的方法，其特征在于，所述第二优化器的参数通过以下...
【专利技术属性】
技术研发人员：马俊，储军梅，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。