一种文本的标注方法及装置制造方法及图纸

本发明专利技术公开了一种文本的标注方法，包括：获取与原始文本对应的词序列；将所述词序列进行转化和映射，得到实体标注向量；统计所述实体标注向量中预设实体信息的数量；若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。上述的标注方法中，通过实体标注向量中预设实体信息的数量与所述预设的阈值进行比较确定所述原始文本的标注信息的，标注的方法一致，避免了人工标注会耗费大量的人力和时间，而且由于个人主观想法的不同，导致标注的结果不理想的问题。

【技术实现步骤摘要】
一种文本的标注方法及装置
本专利技术涉及人工智能
，尤其涉及一种文本的标注方法及装置。
技术介绍
在自然语言处理领域，通过大量的训练样本对基于神经网络构建的分类模型进行训练，以实现对文本的分类，但是如何获取大量可靠的训练样本是一个难题，完善可靠的训练样本能够更好的保证分类模型的泛化性，现有技术中，通常采用人工进行文本标注为模型训练提供样本。专利技术人对现有的标注方法进行研究发现，人工标注会耗费大量的人力和时间，而且由于个人主观想法的不同，因此标注的样本不理想。
技术实现思路
有鉴于此，本专利技术提供了一种文本的方法及装置，用以解决现有技术中由于人工标注会耗费大量的人力和时间，而且由于个人主观想法的不同，因此标注的样本不理想的问题。具体方案如下：一种文本的标注方法，包括：获取与原始文本对应的词序列；将所述词序列进行转化和映射，得到实体标注向量；统计所述实体标注向量中预设实体信息的数量；若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。上述的方法，可选的，还包括：若所述数量小于预设的阈值时，将所述原始文本标注为正常文本。上述的方法，可选的，获取原始文本，将所述原始文本进行实体抽取并形成词序列，包括：确定所述原始文本所属的
；依据所述
，采用分布式爬虫的方法在目标数据集中爬取所述原始文本；对所述原始文本进行实体抽取并形成词序列。上述的方法，可选的，将所述词序列进行转化和映射，得到实体标注向量，包括：将所述词序列通过词嵌层转化为词向量；将所述词向量通过双向长短期记忆网路的组合层转化为特征图谱；将所述特征图谱通过两层全连接层映射为特征向量；将所述特征向量通过条件随机场层进行筛选，得到所述实体标注向量。上述的方法，可选的，统计所述实体标注向量中预设实体信息的数量，包括：遍历所述实体标注向量，获取所述标注向量中的实体信息；将所述实体信息与预设实体信息进行比较，当两者相同时，所述数量加一。上述的方法，可选的，所述预设的阈值为1。一种文本的标注装置，包括：获取模块，用于获取与原始文本对应的词序列；转化映射模块，用于将所述词序列进行转化和映射，得到实体标注向量；统计模块，用于统计所述实体标注向量中预设实体信息的数量；标注模块，用于若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。上述的装置，可选的，所述获取模块包括：确定单元，用于确定所述原始文本所属的
；爬取单元，用于依据所述
，采用分布式爬虫的方法在目标数据集中爬取所述原始文本；抽取单元，用于对所述原始文本进行实体抽取处理并形成词序列。上述的装置，可选的，所述转化映射模块包括：第一转化单元，用于将所述词序列通过词嵌层转化为词向量；第二转化单元，用于将所述词向量通过双向长短期记忆网路的组合层转化为特征图谱；映射单元，用于将所述特征图谱通过两层全连接层映射为特征向量；筛选单元，用于将所述特征向量通过条件随机场层进行筛选，得到所述实体标注向量。上述的装置，可选的，所述统计模块包括：获取单元，用于遍历所述实体标注向量，获取所述标注向量中的实体信息；比较统计单元，用于将所述实体信息与预设实体信息进行比较，当两者相同时，所述数量加一。与现有技术相比，本专利技术包括以下优点：本专利技术公开了一种文本的标注方法，包括：获取与原始文本对应的词序列；将所述词序列进行转化和映射，得到实体标注向量；统计所述实体标注向量中预设实体信息的数量；若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。上述的标注方法中，通过实体标注向量中预设实体信息的数量与所述预设的阈值进行比较确定所述原始文本的标注信息的，标注的方法一致，避免了人工标注会耗费大量的人力和时间，而且由于个人主观想法的不同，导致标注的结果不理想的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例公开的一种文本的标注方法流程图；图2为本申请实施例公开的一种文本的标注方法又一方法流程图；图3为本申请实施例公开的一种文本的标注方法示意图；图4为本申请实施例公开的基于卷积神经网络和循环神经网络的涉恐文本分类示意图；图5为本申请实施例公开的一种文本的标注方法装置结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术公开了一种文本的标注方法及装置，可以对文本进行标注，其中，所述标注方式为二分类标注，将标注完成的文本可以作为训练样本应用在对循环神经网络RNN(RecurrentNeuralNetwork)模型、卷积神经网络,CNN(ConvolutionalNeuralNetworks)模型或者其它神经网络模型的训练过程中，其中，所述标注方法的执行流程如图1所示，包括步骤：S101、获取与原始文本对应的词序列；本专利技术实施例中，所述原始文本为当前需要标注的文本，在所述目标数据集中获取所述原始文本，其中，所述目标数据集可以为预先选取的多个网站，将所述原始文本采用分析工具进行实体抽取并形成词序列，其中，所述分析工具可以为HanLP、结巴分词、NLPIR，阿里云NLP等分词方法。S102、将所述词序列进行转化和映射，得到实体标注向量；本专利技术实施例中，将所述词序列通过bi-LSTM-CRF网络，将所述词序列通过词嵌层转化为词向量，将所述词向量通过双向长短期记忆网路的组合层转化为特征图谱，将所述特征图谱通过两层全连接层映射为特征向量，将所述特征向量通过条件随机场层进行筛选，得到所述实体标注向量，其中，本专利技术中仅以bi-LSTM-CRF网络为例进行说明，对神经网络的类型不作限定。S103、统计所述实体标注向量中预设实体信息的数量；本专利技术实施例中，遍历所述实体标注向量，获取所述标注向量中的实体信息；将所述实体信息与预设实体信息进行比较，当两者相同时，所述数量加一。S104、若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。本专利技术实施例中，将所述数量与预设的阈值进行比较，判断所述数量是否大于预设的阈值，若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本，若所述数量小于预设的阈值时，将所述原始文本标注本文档来自技高网...

【技术保护点】
1.一种文本的标注方法，其特征在于，包括：/n获取与原始文本对应的词序列；/n将所述词序列进行转化和映射，得到实体标注向量；/n统计所述实体标注向量中预设实体信息的数量；/n若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。/n

【技术特征摘要】
1.一种文本的标注方法，其特征在于，包括：
获取与原始文本对应的词序列；
将所述词序列进行转化和映射，得到实体标注向量；
统计所述实体标注向量中预设实体信息的数量；
若所述数量大于等于预设的阈值时，将所述原始文本标注为异常文本。


2.根据权利要求1所述的方法，其特征在于，还包括：
若所述数量小于预设的阈值时，将所述原始文本标注为正常文本。


3.根据权利要求1所述的方法，其特征在于，获取与原始文本对应的词序列，包括：
确定所述原始文本所属的技术领域；
依据所述技术领域，采用分布式爬虫的方法在目标数据集中爬取所述原始文本；
对所述原始文本进行实体抽取处理并形成词序列。


4.根据权利要求1所述的方法，其特征在于，将所述词序列进行转化和映射，得到实体标注向量，包括：
将所述词序列通过词嵌层转化为词向量；
将所述词向量通过双向长短期记忆网路的组合层转化为特征图谱；
将所述特征图谱通过两层全连接层映射为特征向量；
将所述特征向量通过条件随机场层进行筛选，得到所述实体标注向量。


5.根据权利要求1所述的方法，其特征在于，统计所述实体标注向量中预设实体信息的数量，包括：
遍历所述实体标注向量，获取所述标注向量中的实体信息；
将所述实体信息与预设实体信息进行比较，当两者相同时，所述数量加一。


6.根据权利要求1所述...

【专利技术属性】
技术研发人员：周欣，
申请(专利权)人：中国信息安全测评中心，
类型：发明
国别省市：北京;11