一种基于主动学习的电力预案文本标注方法技术

本发明专利技术公开一种基于主动学习的电力预案文本标注方法。方法包括：针对电力预案文本的预聚类方法，用于将原始电力预案文本数据进行分类，使类中数据呈现语句结构和字词上的相似性；针对电力预案文本序列标注的主动学习样本选择策略，策略参考样本的信息性和代表性，可用于迭代时挑选出最合适的样本交予人工标注并加入训练集，以最大化提升模型的性能；针对电力预案文本序列标注的神经网络预测结果结构化输出方法，可结构化输出模型对文本的预测标签和各标签的概率，该概率可用于挑选新样本。采用本发明专利技术后只需使用一半的数据集即可达成与使用完整数据集一样的模型训练效果，减少了标注数据所需的人力物力。

【技术实现步骤摘要】
一种基于主动学习的电力预案文本标注方法
本专利技术涉及自然语言处理、深度学习以及主动学习领域，特别是涉及一种针对电力预案分析的文本序列标注技术。
技术介绍
传统的电网调度系统依赖于管制员的主观决策，工作强度大，对调度员可靠性要求高。与调度员相比，计算机的运行速度快、实时性高、存储容量大、可靠性高。而调度员所能够承担的工作强度小、持续时间短、反应速度慢、记忆容量有限，效率不稳定，可靠性易受环境影响。电力系统的迅速发展，使得调度员的工作强度变大、工作时间延长，从而导致调度员工作疲劳，容易发出不当调度指令。如果通过机器辅助调度员进行管理，将有效提高系统的性能和可靠性，这对减少安全事故具有重大和迫切的现实意义。现有调度自动化系统中沉淀着大量的告警信息、事故报告以及设备状态信息。研究人员围绕这些信息开展数据分析，通常是采用统计分析、遗传算法等传统人工智能方法的方法。基于大数据的深度学习最近在人工智能领域取得重大突破，并在语音识别、自然语言处理、计算机视觉等诸多领域取得了巨大成功。采用模式识别和机器学习算法，结合文本聚类或者文本分类算法，使得从多角度和多粒度上分析电网故障事件之间的关联关系成为可能。电力预案是根据以往在电网运行中发生故障后调度员的处理经验而编制的故障处置手册。为有效管理和利用预案，首先需要将预案文本中包含的我们感兴趣的信息，例如地名、故障和处置方式等，提取出来，再进一步存储、分析和利用。抽取一段文本序列感兴趣的信息属于自然语言处理中序列标注问题。序列标注模型需要大量预标注的数据用于训练，然而，由于电力预案文本数据规模很大且高度专业化，人工标注需要具备丰富的领域知识且工作量巨大。主动学习是一种快速训练模型的方法，只使用少量样本即可达成与大量样本相同的标注模型训练效果。因此，本专利技术即能找到当前最具代表性和信息性的训练数据用于训练标注模型，提高标注效率。该方法主要分为选择模块和学习模块，选择模块的目的是找出当前最具代表性和信息性的训练数据，学习模块则是通过选择模块选出的数据不断提高分类器的分类准确性和鲁棒性。目前主动学习已在命名实体识别、社交媒体数据、空间数据标注、图像分类等方向取得了良好的成效。
技术实现思路
1、一种基于主动学习的电力预案文本标注方法，其特征在于，所述主动学习方法包括：对获取到的电力预案文本进行预聚类；从聚类后的数据中选择出待标注的样本；将神经网络模型对数据的预测结果进行结构化输出；2、根据权利要求1所述的基于主动学习的电力预案文本标注方法，其特征在于，针对电力预案文本数据的预聚类技术，具体包括：通过专家人工整理，挑选出电力领域专有词汇，建立电力预案数据专属词典；根据专属词典生成文本数据的特征向量；将特征向量作为聚类算法的输入，进行聚类。3、根据权利要求1所述的基于主动学习的电力预案文本标注方法，其特征在于，针对电力预案文本的主动学习的样本迭代策略，具体包括：依照词袋最大化的标准，在聚类后得到的各簇中等比例的抽样选择出最初的种子集；迭代时，结合样本的信息性和代表性挑选出可交予人工标注的数据以构成训练集；当样本的信息性不再有显著变化或训练集达到一定数量时停止迭代。4、根据权利要求1所述的基于主动学习的电力预案文本标注方法，其特征在于，针对电力预案文本序列标注的的神经网络预测结果结构化输出方法，具体包括：神经网络输出文本中每个词的预测标签和对应的所有标签的概率；将一条预案文本处理成多行文本，每行由原文的一个词、预测标签和所有标签的预测概率三部分组成；附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例基于主动学习的电力预案文本标注方法的样本预处理流程图；图2为本专利技术实施例基于主动学习的电力预案文本标注方法的序列标注流程图；图3为本专利技术实施例基于主动学习的电力预案文本标注方法的样本选择策略流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1为本专利技术实施例基于主动学习的电力预案文本标注方法的样本预处理流程图，如图1所示：步骤101：此步骤主要是电力预案领域先验知识的准备，主要是建立电力预案领域的专业词典。词典内容为从大量与电力预案相关的文本中整合而来的专业字词，这类字词在日常用语中很少出现因此现有的分词工具难以处理，所以这步工作是由电力专家使用一些文本处理工具人工完成。专业名词根据实际需求分为多个词典，包括厂站名、设备名、动作名等多项词典。步骤102：此步骤基于上步完成的电力预案专业词典对训练集和测试集中的电力预案文本进行分词处理。本施例中分词的工具选用python中的jieba分词包实现，对于专业词典中未出现的词则按通用分词逻辑处理。步骤103：此步骤基于之前的分词结果和专业词典，对电力预案中每条文本数据进行向量表示。每一个词典代表一个向量维度，向量初始各维度值为0，一条文本中每包含一个词典中的词，则该词典对应的维度的值加1.步骤104：此步骤主要是根据上步得到的文本数据的向量对文本数据进行分类，使用K-Means算法对数据进行聚类，获得多个簇，每个簇即一个类，类中的文本数据呈现结构以及字词上的相似性。图2为本专利技术实施针对电力预案文本的基于主动学习的序列标注策略流程图。本专利技术实例基于编程语言python和深度学习工具包pytorch实现。大体过程为从预案文本中挑选文本构成种子集，使用该种子集训练出一个神经网络，利用该神经网络对剩余的文本数据进行预测，结合预测结果和簇的分布，挑选出最有利于改进模型的部分文本数据交予专家进行人工标注，重复该过程直到样本信息性不再有显著变化。下面如图2所示，针对电力预案文本的基于主动学习的序列标注步骤有：步骤201：此步骤读取聚类后的预案文本数据步骤202：此步骤实现样本种子集的挑选，一批文本数据中不重复的词可以构成一个词袋，每次从数据集中挑选出可使词袋扩充最多的文本，如果该文本所属簇未挑满10％的数据，则将该文本数据加入种子集，并将该文本中的新词加入词袋，否则重新挑选。步骤203：此步骤进行神经网络训练。本实施例基于pytorch实现长短时记忆神经网络模型，输入为17维的向量(17为词典总个数)，输出为N维向量(N代表所有类型标注的总数)。训练过程分为4个epoch每个10本文档来自技高网...

【技术保护点】
1.一种基于主动学习的电力预案文本标注方法，其特征在于，所述主动学习方法包括：/n对获取到的电力预案文本进行预聚类；/n从聚类后的数据中选择出待标注的样本；/n将神经网络模型对数据的预测结果进行结构化输出。/n

【技术特征摘要】
1.一种基于主动学习的电力预案文本标注方法，其特征在于，所述主动学习方法包括：
对获取到的电力预案文本进行预聚类；
从聚类后的数据中选择出待标注的样本；
将神经网络模型对数据的预测结果进行结构化输出。


2.根据权利要求1所述的基于主动学习的电力预案文本标注方法，其特征在于，针对电力预案文本数据的预聚类技术，具体包括：
通过专家人工整理，挑选出电力领域专有词汇，建立电力预案数据专属词典；
根据专属词典生成文本数据的特征向量；
将特征向量作为聚类算法的输入，进行聚类。


3.根据权利要求1所述的基于主动学习的电力预案文本标注方法，其特征...

【专利技术属性】
技术研发人员：杨群，袁鑫，刘绍翰，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32