本申请公开了一种命名实体识别模型的训练方法及装置。方法的一具体实施方式包括：获取多个训练任务一一对应的多组数据集，其中，多组数据集中的每组数据集中包括训练集和验证集；对于每组数据集中的训练集和验证集，通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失；根据各验证集对应的训练损失，调整初始模型，得到命名实体识别模型。本申请提供了提供了一种可适用于多种命名实体识别任务的命名实体识别模型的训练方法，提高了所得到的命名实体识别模型的适用范围和准确度。模型的适用范围和准确度。模型的适用范围和准确度。
【技术实现步骤摘要】
命名实体识别模型的训练方法及装置
[0001]本申请实施例涉及计算机
，具体涉及一种命名实体识别模型的训练方法及装置。
技术介绍
[0002]在网络购物的场景下，消费者的搜索词中包含了消费者的诉求信息，但是，消费者的原始搜索词不够规则化，商家很难从中提取出消费者的关键意图。为了帮助商家通过搜索词中的信息去更好的了解消费者的喜好，需要规则化消费者的搜索词以进行分析。目前，一般通过对消费者的原始搜索词进行命名实体识别，以规则化原始搜索词。命名实体识别是自然语言处理领域中的一个经典问题，比如从一句话中识别出人名、地名，从电商平台的搜索中识别出物品的名字、药物名称等等。命名实体识别技术的应用极为广泛，得到一个可广泛适用于不同任务的命名实体识别模型是一个挑战。
技术实现思路
[0003]本申请实施例提出了一种命名实体识别模型的训练方法及装置。
[0004]第一方面，本申请实施例提供了一种命名实体识别模型的训练方法，包括：获取多个训练任务一一对应的多组数据集，其中，多组数据集中的每组数据集中包括训练集和验证集；对于每组数据集中的训练集和验证集，通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失；根据各验证集对应的训练损失，调整初始模型，得到命名实体识别模型。
[0005]在一些实施例中，上述通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失，包括：对该训练集进行数据增强，得到增强训练集；通过增强训练集训练初始模型，并通过该验证集确定经增强训练集训练后的初始模型的训练损失。
[0006]在一些实施例中，上述对该训练集和该验证集进行数据增强，得到增强训练集，包括：通过预训练的命名实体标注模型，生成与该训练集中的数据同类型的命名实体标注数据，得到增强训练集。
[0007]在一些实施例中，上述根据各验证集对应的训练损失，调整初始模型，得到命名实体识别模型，包括：确定各验证集对应的训练损失的总损失；根据总损失，调整初始模型，得到命名实体识别模型。
[0008]在一些实施例中，上述方法还包括：获取目标任务对应的目标训练集和目标验证集；通过目标训练集训练命名实体识别模型，并通过目标验证集确定经目标训练集训练后的命名实体识别模型的目标损失；根据目标损失，调整命名实体识别模型，得到微调后的命名实体识别模型。
[0009]在一些实施例中，上述通过目标训练集训练命名实体识别模型，并通过目标验证集确定经目标训练集训练后的命名实体识别模型的目标损失，包括：对目标训练集进行数
据增强，得到增强目标训练集；通过增强目标训练集训练命名实体识别模型，并通过目标验证集确定经增强目标训练集训练后的命名实体识别模型的目标损失。
[0010]在一些实施例中，上述方法还包括：通过微调后的命名实体识别模型，执行目标任务。
[0011]第二方面，本申请实施例提供了一种命名实体识别模型的训练装置，包括：获取单元，被配置成获取多个训练任务一一对应的多组数据集，其中，多组数据集中的每组数据集中包括训练集和验证集；训练验证单元，被配置成对于每组数据集中的训练集和验证集，通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失；调整单元，被配置成根据各验证集对应的训练损失，调整初始模型，得到命名实体识别模型。
[0012]在一些实施例中，训练验证单元，进一步被配置成：对该训练集进行数据增强，得到增强训练集；通过增强训练集训练初始模型，并通过该验证集确定经增强训练集训练后的初始模型的训练损失。
[0013]在一些实施例中，训练验证单元，进一步被配置成：通过预训练的命名实体标注模型，生成与该训练集中的数据同类型的命名实体标注数据，得到增强训练集。
[0014]在一些实施例中，调整单元，进一步被配置成：确定各验证集对应的训练损失的总损失；根据总损失，调整初始模型，得到命名实体识别模型。
[0015]在一些实施例中，上述装置还包括：微调单元，被配置成：获取目标任务对应的目标训练集和目标验证集；通过目标训练集训练命名实体识别模型，并通过目标验证集确定经目标训练集训练后的命名实体识别模型的目标损失；根据目标损失，调整命名实体识别模型，得到微调后的命名实体识别模型。
[0016]在一些实施例中，上述微调单元，进一步被配置成：对目标训练集进行数据增强，得到增强目标训练集；通过增强目标训练集训练命名实体识别模型，并通过目标验证集确定经增强目标训练集训练后的命名实体识别模型的目标损失。
[0017]在一些实施例中，上述装置还包括：执行单元，被配置成通过微调后的命名实体识别模型，执行目标任务。
[0018]第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面任一实现方式描述的方法。
[0019]第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一实现方式描述的方法。
[0020]本申请实施例提供的命名实体识别模型的训练方法及装置，通过获取多个训练任务一一对应的多组数据集，其中，多组数据集中的每组数据集中包括训练集和验证集；对于每组数据集中的训练集和验证集，通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失；根据各验证集对应的训练损失，调整初始模型，得到命名实体识别模型，从而提供了一种可适用于多种命名实体识别任务的命名实体识别模型的训练方法，提高了所得到的命名实体识别模型的适用范围和准确度。
附图说明
[0021]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0022]图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
[0023]图2是根据本申请命名实体识别模型的训练方法的一个实施例的流程图；
[0024]图3是根据本实施例的命名实体识别模型的训练方法的应用场景的示意图；
[0025]图4是根据本申请的命名实体识别模型的训练方法的又一个实施例的流程图；
[0026]图5是根据本申请的命名实体识别模型的训练装置的一个实施例的结构图；
[0027]图6是适于用来实现本申请实施例的计算机系统的结构示意图。
具体实施方式
[0028]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0029]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0030]图1示出了可以应用本申请的命名实体识别模型的训练方法及装置本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种命名实体识别模型的训练方法，包括：获取多个训练任务一一对应的多组数据集，其中，所述多组数据集中的每组数据集中包括训练集和验证集；对于每组数据集中的训练集和验证集，通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失；根据各验证集对应的训练损失，调整所述初始模型，得到所述命名实体识别模型。2.根据权利要求1所述的方法，其中，所述通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失，包括：对该训练集进行数据增强，得到增强训练集；通过所述增强训练集训练所述初始模型，并通过该验证集确定经所述增强训练集训练后的初始模型的训练损失。3.根据权利要求2所述的方法，其中，所述对该训练集进行数据增强，得到增强训练集，包括：通过预训练的命名实体标注模型，生成与该训练集中的数据同类型的命名实体标注数据，得到所述增强训练集。4.根据权利要求1所述的方法，其中，所述根据各验证集对应的训练损失，调整所述初始模型，得到所述命名实体识别模型，包括：确定各验证集对应的训练损失的总损失；根据所述总损失，调整所述初始模型，得到所述命名实体识别模型。5.根据权利要求1
‑
4中任一所述的方法，其中，还包括：获取目标任务对应的目标训练集和目标验证集；通过所述目标训练集训练所述命名实体识别模型，并通过所述目标验证集确定经所述目标训练集训练后的命名实体识别模型的目标损失；根据所述目标损失，调整...
【专利技术属性】
技术研发人员：郑啸，窦方正，曹鲁光，刘苗苗，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。