基于指针网络的输变电线路缺陷文本命名实体识别方法技术

本发明专利技术提供了一种基于指针网络的输变电线路缺陷文本命名实体识别方法，包括：S1、将输变电线路缺陷文本分为原始训练集D和原始测试集T；S2、经过BERT

【技术实现步骤摘要】
基于指针网络的输变电线路缺陷文本命名实体识别方法


[0001]本专利技术属于自然语言处理
，具体涉及一种基于指针网络的输变电线路缺陷文本命名实体识别方法。

技术介绍

[0002]随着智能电网的不断推进，连接到配电网的设备数量和覆盖范围都在不断扩大。随之电网生产管理系统内存储的输变电线路缺陷文本数据呈爆发式增长，为电力运检带来了新的挑战。但目前输变电线路的维护主要依赖运维人员的主观性决策，需要运维人员反复查阅和记忆大量以非结构化文本形式存储的输变电线路缺陷信息，容易产生疏忽遗漏，从而导致缺陷设备处理不及时，引发一系列级联故障，影响电力生产效率，因此，电力系统亟需将非结构化的输变电线路缺陷文本数据进行提炼，形成结构化的数据，实现输变电线路缺陷文本智能化管理。而命名实体识别是实现文本智能化管理最基础、最关键的任务之一，旨在快速地从复杂的文本中提炼出具有特定含义或指代性的实体。
[0003]研究命名实体识别的方法经过了基于字典与规则、基于机器学习、以及基于深度学习三种重要阶段。随着双向编码器表示模型BERT、ERNIE等预训练语言模型的提出，预训练
‑
微调的训练方式受到了越来越多的关注，并且取得了巨大的成功。研究人员正在逐渐将重点转向预训练语言建模，以便通过依据上下文动态调节词向量，更好地利用缺陷文本的语义特征，提高模型的学习效率和泛化能力。但现有的命名实体识别研究主要是将命名实体识别任务转化为序列标注任务来解决，这种方法能有效解决可以转化为序列标注任务的连续实体识别问题，但难以解决嵌套实体和不连续实体的实体识别问题。

技术实现思路

[0004]本专利技术是为了解决上述问题而进行的，目的在于提供一种基于指针网络的输变电线路缺陷文本命名实体识别方法。
[0005]本专利技术提供了一种基于指针网络的输变电线路缺陷文本命名实体识别方法，具有这样的特征，包括以下步骤：S1、将输变电线路缺陷文本分为原始训练集D和原始测试集T；S2、经过BERT
‑
WWM预训练语言模型的Embedding层和双向Transformer层，得到训练集每个字符对应的特征向量表示，生成训练集对应的词向量；S3、经过Span解码层，得到实体的首尾，并将实体首尾拼接得到输变电线路缺陷文本实体；S4、将输变电线路缺陷文本实体的Span表示并行输入Softmax层，得到最终的输变电线路缺陷文本命名实体及其对应的实体类别。
[0006]在本专利技术提供的基于指针网络的输变电线路缺陷文本命名实体识别方法中，还可以具有这样的特征：S1、输变电线路缺陷文本按8：2的比例分为原始训练集D和原始测试集T。
[0007]在本专利技术提供的基于指针网络的输变电线路缺陷文本命名实体识别方法中，还可以具有这样的特征：Embedding层包括Token Embedding、Segment Embedding、以及
Positional Embedding。
[0008]在本专利技术提供的基于指针网络的输变电线路缺陷文本命名实体识别方法中，还可以具有这样的特征：双向Transformer层包括标准Transformer结构中的encoder部分。
[0009]专利技术的作用与效果
[0010]根据本专利技术所涉及的基于指针网络的输变电线路缺陷文本命名实体识别方法，利用BERT
‑
WMM预训练语言模型得到词向量，再利用Span指针网络标注，然后将实体Span表示并行输入Softmax进行实体分类。本方法可以从电力缺陷文本中识别出电力领域专业命名实体，实现输变电线路缺陷文本的结构化管理，帮助一线工作人员更准确高效的管理输变电线路缺陷文本，及时处理缺陷设备，保障电网系统安全可靠的高效运行。
附图说明
[0011]图1是本专利技术的实施例中基于指针网络的输变电线路缺陷文本命名实体识别方法的步骤流程图；
[0012]图2是本专利技术的实施例中基于指针网络的输变电线路缺陷文本命名实体识别方法的模型结构图；
[0013]图3是本专利技术的实施例中BERT
‑
WWM预训练语言模型的结构图；
[0014]图4是本专利技术的实施例中Transformer Encode的结构图。
具体实施方式
[0015]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本专利技术作具体阐述。
[0016]实施例
[0017]图1是基于指针网络的输变电线路缺陷文本命名实体识别方法的步骤流程图，图2是基于指针网络的输变电线路缺陷文本命名实体识别方法的模型结构图。
[0018]如图1和图2所示，本实施例提供了一种基于指针网络的输变电线路缺陷文本命名实体识别方法，该方法是针对电力输变电线路缺陷文本存在嵌套实体，将命名实体识别任务转化为序列标注任务难以识别的问题，提出的一种基于span指针网络的BERT
‑
Span输变电线路缺陷文本命名实体识别方法。
[0019]该方法具体包括以下步骤：
[0020]S1、将输变电线路缺陷文本按8：2分为原始训练集D和原始测试集T。
[0021]S2、经过BERT
‑
WWM预训练语言模型的Embedding层和双向Transformer层，得到训练集每个字符对应的特征向量表示，生成训练集对应的词向量。其中，BERT
‑
WWM预训练语言模型的结构见图3，BERT
‑
WWM预训练语言模型中的Transformer Encode的结构见图4。
[0022]S3、经过Span解码层，得到实体的首尾，并将实体首尾拼接得到输变电线路缺陷文本实体。
[0023]S4、将输变电线路缺陷文本实体的Span表示并行输入Softmax层，得到最终的输变电线路缺陷文本命名实体及其对应的实体类别。
[0024]从上述步骤可以看到，本方法具有以下特点：1、利用BERT模型进行特征提取，生成输入文本对应的词向量，这样能够得到包含丰富语义的句子编码，以便于后续的实体识别；
2、利用Span指针网络来对电力输变电线路缺陷文本命名实体的首尾进行识别，最后再将其拼接，这样在一定程度上解决了转化为序列标注任务无法有效识别嵌套实体的问题。
[0025]下面对上述步骤中用到的模型做具体说明。
[0026]1、BERT
‑
WWM预训练语言模型
[0027]图3是BERT
‑
WWM预训练语言模型的结构图。
[0028]如图3所示，BERT
‑
WWM预训练语言模型由Embedding层和双向Transformer层组成，它们共同构成了BERT
‑
WWM的核心部分。
[0029]Embedding层由Token Embedding、Segment Embedding、以及Positional Embedding三个部分组成。其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于指针网络的输变电线路缺陷文本命名实体识别方法，其特征在于，包括以下步骤：S1、将输变电线路缺陷文本分为原始训练集D和原始测试集T；S2、经过BERT
‑
WWM预训练语言模型的Embedding层和双向Transformer层，得到训练集每个字符对应的特征向量表示，生成训练集对应的词向量；S3、经过Span解码层，得到实体的首尾，并将实体首尾拼接得到输变电线路缺陷文本实体；S4、将所述输变电线路缺陷文本实体的Span表示并行输入Softmax层，得到最终的输变电线路缺陷文本命名实体及其对应的实体类别。2.根据权利要求1所述的基于指...

【专利技术属性】
技术研发人员：孙玉芹，肖静婷，杨致津，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：