一种基于信息熵与词长信息改进的HIDFWL特征提取方法技术

本发明专利技术公开了一种基于信息熵与词长信息改进的HIDFWL特征提取方法，属于文本特征提取方法领域，包括：将训练集文本预处理得到文本列表和类别列表；将文本列表中所有不重复的特征词组成特征词列表；计算特征词表中特征词的IDF，所有特征词的IDF组成IDF向量；计算特征词的信息熵与词长权重，利用信息熵与词长权重计算得到信息值，将所有特征词的信息值组成文本向量；利用IDF向量与文本向量得到特征向量，并将特征向量归一化得到特征矩阵；利用特征矩阵与类别列表对分类器进行训练；利用测试文本对训练后的分类器进行测试；利用测试后的分类器对文本进分类。利用本发明专利技术所述的HIDFWL特征提取方法对文进行分类，提高了文本分类的准确率、查全率、召回率以及F1‑score值。

An improved hidfwl feature extraction method based on information entropy and word length information

【技术实现步骤摘要】
一种基于信息熵与词长信息改进的HIDFWL特征提取方法
本专利技术涉及文本特征提取的方法，具体涉及一种基于信息熵与词长信息改进的HIDFWL特征提取方法。
技术介绍
随着互联网的迅速发展，每天的生活中数据文本也呈现着爆炸性的增长，对于文本分类的工作者来说，增加了巨大的工作量，面对大数据量的文本，采取人工手动的特征提取进行文本分类显得非常的困难，为了能高效的进行文本分类的工作，就有了文本分类的算法模型。文本分类的过程包括文本预处理、文本分词、去停用词、特征提取、训练分类器等，其中，特征提取对文本分类的效果有着非常大的影响，所以对特征提取算法的研究是很有必要的。1988年，SaltonG首次提出了TFIDF算法，并论证了TFIDF算法在文本分类中的有效性，TFIDF算法的核心思想是文本中词条x出现的频率大，文档集中包含词条x的文本数少就说明这个词条x有较大的区分能力(Erm-weightingapproachesinautomatictextretrieval[M].PergamonPress,Inc.1988.)。传统的TFIDF算法涉及到了两个概念：特征词在文本中的频率和特征词的逆文本频率(IDF)；其中，特征词在文本中的频率表达的是包含特征词x的文本在文本集中出现的频繁程度；包含特征词x的文本越小，就说明特征词x集中在少数的几个文本中，则特征词x区分文本的能力就强；传统的TFIDF算法具体的计算公式如公式1所示：其中x表示的是词条；d表示文本；tf(x)表示的是词条x在文本中的频率；N为总的训练集文本数量；n为包含词条x的文本数；加0.01是为了防止分母为零。随着传统的TFIDF算法在文本分类，信息检索模型中的普及，研究人员对传统的TFIDF算法进行了系统的优化，使其在实际应用中被广泛使用。公开号为CN104699772B公开了一种基于云计算的大数据文本分类方法，包括如下步骤：对有类标和无类标的训练文本分别进行预处理，得到对应的训练数据集；对训练数据集分别进行特征选择，得到对应的降维后的训练数据集；对降维后的训练数据集分别按照TFIDF加权模型计算，从而将训练数据集分别转化为对应的一维向量；将有类标的一维向量按照贝叶斯算法计算，得到每个类别的先验概率和每个词条属于每个类别的先验概率，初始化贝叶斯分类器参数；利用EM算法优化贝叶斯分类器的参数，得到分类模型；利用分类模型对待分类的文本进行文本分类。公开号为CN107633000A公开了一种基于TFIDF算法和相关词权重修正的文本分类方法，包括以下步骤：S1：提取出类别关键字；S2：构成滑动文本窗，设定词语权重并修正其在滑动文本窗的位置；S3：根据词频统计修正函数计算出词语的词频；S4：根据TFIDF算法加权计算,实现文本词语的向量化；S5：通过SVM分类器进行文本分类。虽然传统的TFIDF算法在文本分类中被广泛应用，但是在实际的文本分类中，传统的TFIDF算法中没有考虑到文本内特征词的分布特征以及词长信息的问题造成了文本分类的准确率较低。
技术实现思路
本专利技术提供一种基于信息熵与词长信息改进的HIDFWL特征提取方法，使用该HIDFWL特征提取方法对文进行分类，提高了文本分类的准确率、查全率、召回率以及F1-score值。一种基于信息熵与词长信息改进的HIDFWL特征提取方法，包括：步骤1、对训练集文本分词，去掉停用词，将训练集文本与其对应的类别分别放到文本列表和文本类别列表。步骤2、统计文本列表中所有训练集文本中不重复的特征词，组成特征词列表。步骤3、利用步骤2中获取的特征词列表计算每一个特征词的IDF值，所有特征词的IDF值组成IDF向量。所述的IDF值计算公式为公式(1)所示：IDF值＝log(N/(n+0.01))(1)其中，N为文本列表中的文本总数量；n为文本列表中包含词条X的文本数；加0.01是为了防止分母为零。步骤4、按照步骤2中特征词列表中特征词的顺序计算每一个特征词的信息熵与词长权重，利用信息熵与词长权重计算每一个特征词的信息值，将文本列表中单篇训练集文本中所有特征词的信息值组成文本向量。步骤4.1，按照特征词列表中的顺序统计文本列表中每篇训练集文本的特征词的分布概率；其中，训练集文本中出现的词不在特征词列表中，频率记为0。步骤4.2，根据特征词的分布概率计算特征词的信息熵；由于传统的TFIDF算法中仅以词频来表达特征词在文本中的分布，这样的表达方式是不够准确的，词频无法准确描述特征词在文本中的特征分布；因此，通过引入特征词的信息熵来准确的反应文本中特征词的分布特征，所述的信息熵计算公式为公式(2)所示：h(x)＝-p(x)×logp(x)(2)其中，h(x)为特征词X的信息熵；p(x)为特征词X在文本内的分布概率；从特征词的信息熵公式可以看出分布越均匀的特征词的信息熵越大。步骤4.3，根据特征词的词长计算词长权重；由于，文本内词条长度的不同，所包含的信息也不同，一般情况下，词条所能包含的信息与词条的长短相关，词条越长所能包含的信息越多，而传统的TFIDF算法中忽略了词长信息这一特点，本专利技术中加入了表达词长信息的词长权重，所述的词长权重计算公式为公式(3)所示：其中，l是词条的长度，wl为词长权重。步骤4.4，利用词长权重与信息熵计算得到特征词的信息值；所述的信息值的计算公式为公式(4)所示：信息值＝wl×h(x)(4)。步骤5、利用步骤3中的IDF向量与步骤4中的文本向量计算得到特征向量，并对特征向量进行归一化，将文本列表中所有训练集文本归一化后的特征向量合成特征矩阵。所述的特征向量中是由文本列表中单篇训练集文本的所有特征词的特征值组成；所述的特征值计算公式为式(5)所示：其中x表示词条，d表示文本，p(x)为词条x在文本内的分布概率，N为文本集的文本总数量，n为文本集中包含词条x的文本数，加0.01是为了防止分母为零，l为词条长度。利用HIDFWL算法对公式(5)计算出的特征值进行归一化，文本列表中单篇训练集文本中所有特征词归一化后的特征值组成归一化后的特征向量；所述的HIDFWL算法的计算公式为式(6)所示：其中，公式(6)中所有的字母的含义与公式(5)中的一致。步骤6、利用步骤5中的特征矩阵与对应的文本类别列表输入到分类器中，对分类器进行训练。步骤7、利用测试文本对训练后的分类器进行测试，包括：步骤7.1、将测试文本分词，去掉停用词，将文本与其对应的类别分别放到测试文本列表和测试文本类别列表。步骤7.2、统计测试文本列表中所有文本中不重复的特征词，组成测试文本特征词列表。步骤7.3、利用测试文本特征词列表重复步骤3-5，得到测试文本的特征向量合成的测试文本的特征矩阵。步骤7.4、将测试文本的特征矩阵与测试文本类别列表输入到分类器中对测试文本进行分类。步本文档来自技高网...

【技术保护点】
1.一种基于信息熵与词长信息改进的HIDFWL特征提取方法，其特征在于，包括：/n步骤1、对训练集文本进行分词，去掉停用词，将训练集文本与其对应的类别分别放到文本列表和文本类别列表；/n步骤2、将步骤1中文本列表内所有训练集文本中不重复的特征词组成特征词列表；/n步骤3、计算步骤2中获取的特征词列表中每一特征词的IDF值，所有特征词的IDF值组成IDF向量；/n步骤4、按照步骤2中特征词列表中特征词的顺序计算每一个特征词的信息熵与词长权重，利用信息熵与词长权重计算每一个特征词的信息值，将文本列表中单篇训练集文本中所有特征词的信息值组成文本向量；/n步骤5、利用步骤3得到的IDF向量与步骤4得到的文本向量计算得到特征向量，对特征向量进行归一化，将文本列表中所有训练集文本归一化后的特征向量合成特征矩阵；/n步骤6、将步骤5中的特征矩阵与对应的文本类别列表输入到分类器中，对分类器进行训练；/n步骤7、利用测试文本对训练后的分类器进行测试；/n步骤8、利用测试后的分类器对文本进分类。/n

【技术特征摘要】
1.一种基于信息熵与词长信息改进的HIDFWL特征提取方法，其特征在于，包括：
步骤1、对训练集文本进行分词，去掉停用词，将训练集文本与其对应的类别分别放到文本列表和文本类别列表；
步骤2、将步骤1中文本列表内所有训练集文本中不重复的特征词组成特征词列表；
步骤3、计算步骤2中获取的特征词列表中每一特征词的IDF值，所有特征词的IDF值组成IDF向量；
步骤4、按照步骤2中特征词列表中特征词的顺序计算每一个特征词的信息熵与词长权重，利用信息熵与词长权重计算每一个特征词的信息值，将文本列表中单篇训练集文本中所有特征词的信息值组成文本向量；
步骤5、利用步骤3得到的IDF向量与步骤4得到的文本向量计算得到特征向量，对特征向量进行归一化，将文本列表中所有训练集文本归一化后的特征向量合成特征矩阵；
步骤6、将步骤5中的特征矩阵与对应的文本类别列表输入到分类器中，对分类器进行训练；
步骤7、利用测试文本对训练后的分类器进行测试；
步骤8、利用测试后的分类器对文本进分类。


2.根据权利要求1所述的基于信息熵与词长信息改进的HIDFWL特征提取方法，其特征在于，步骤3中，所述的IDF计算公式为公式(1)所示：
IDF＝log(n/(N+0.01))(1)
其中，N为文本列表中的文本总数量；n为文本列表中包含词条X的文本数；加0.01是为了防止分母为零。


3.根据权利要求1所述的基于信息熵与词长信息改进的HIDFWL特征提取方法，其特征在于，步骤4中，所述的利用信息熵与词长权重计算特征词的信息值，包括：
步骤4.1，按照特征词列表中的顺序统计文本列表中每篇训练集文本的特征词的分布概率；
步骤4.2，根据特征词的分布概率计算特征词的信息熵；所述的信息熵计算公式为公式(2)所示：
h(x)＝-p(x)×logp(x)(2)
其中，h(x)为特征词X的信息熵；p(x)为特征...

【专利技术属性】
技术研发人员：金燕，黄杰，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33