计算机文本的特征选择方法技术

本发明专利技术涉及一种计算机文本的特征选择方法、分类特征选择方法及系统，计算机文本的特征选择方法包括如下步骤：步骤S1，对计算机文本进行处理，得到文本的三维特征数据集；步骤S2，计算所述文本的三维特征数据集的重构系数矩阵，并且计算信息熵向量；步骤S3，按照所述信息熵向量以及所述重构系数矩阵计算综合度量指标，并且按照所述综合度量指标从小到大的顺序进行特征选择；以及步骤S4，输出经过特征选择获得的文本特征集。本发明专利技术的特征选择方法不仅能够降低文本特征空间的维数，以利于提高文本分类的效率，而且通过删除对文本分类冗余和不相关的特征，有利于提高文本分类的分类精度。

【技术实现步骤摘要】

本专利技术涉及一种人工智能领域，涉及一种计算机文本检索分类特征选择方法及系统。
技术介绍
随着信息技术的发展以及Internet的迅速普及，网络信息资源急剧增长，这些网络信息大多是以计算机文本的形式涌现，而计算机文本大多是非结构化的，需要对文本数据进行预处理，把非结构化的文本数据转变为结构化的形式，特征选择通过删除对文本分类没有多大贡献的特征词条，从而选择出对文本或类别具有较好代表性的特征词条。因此，对计算机文本进行特征选择方法是十分必要的。
技术实现思路
本专利技术的目的是提供一种效率高、特征提取率高的计算机文本的特征选择方法。为了解决上述技术问题，本专利技术提供了一种计算机文本的特征选择方法，包括如下步骤：步骤S1，对计算机文本进行处理，得到文本的三维特征数据集；步骤S2，计算文本的三维特征数据集的重构系数矩阵，并且计算信息熵向量；步骤S3，按照信息熵向量以及重构系数矩阵计算综合度量指标，并且按照综合度量指标从小到大的顺序进行特征选择；以及步骤S4，输出经过特征选择获得的文本特征集。进一步，步骤S1中对计算机文本进行处理，得到文本的特征数据集包括：对计算机文本进行处理，将其断开并处理成词语集合，以词性作为特征对词语集合进行分类，得到词语集合的类别，将同一个词性的词语分为一类，词性被分为动词、名词、形容词或副词，将词语集合中的词语映射为坐标上的点，坐标上的横坐标为词语集合中的词语在计算机文本中出现的次数，坐标上的纵坐标为词语集合中的词语在其类别中出现的次数，将坐标的值记录，得到文本的三维特征数据集；即文本的三维特征数据集的数据为三维坐标，一维坐标为词语集合的类别，一维坐标为词语集合在计算机文本中出现的次数，一维坐标为词语集合的类别词语集合中的词语在其类别中出现的次数；进一步，步骤S2中计算文本的三维特征数据集的重构系数矩阵，并且计算类别区分度包括：对文本的三维特征数据集进行处理，利用范数最小化的优化方法，得到文本的三维特征数据集中每个数据的重构系数，将每个数据的重构系数与词语集合的类别分别作为文本的特征数据集的重构系数矩阵的行与列，根据词语集合的类别计算词语集合中词语在各个类别的概率分布:式(1)中：i＝1,2,…，i,…,N,变量N记录词语集合中类别的数量，C1,C2,C3,…，Ci,…,CN表示词语集合中的词语在其类别中出现的次数，L1,L2,L3,…，Li,…,LN表示词语集合的中的各个类别中的词语数量，并且计算词语集合的类别Bi的信息熵，定义如下：式(2)中：H(Bi)表示词语集合的类别Bi的信息熵；将词语集合的中的各个类别的信息熵综合，得到信息熵向量。进一步，步骤S3中按照信息熵向量以及重构系数矩阵计算综合度量指标，并且按照综合度量指标从小到大的顺序进行特征选择包括：计算信息熵向量的模，根据重构系数矩阵，提取文本的三维特征数据集中每个数据的重构系数，将信息熵向量的模乘以文本的三维特征数据集中每个数据的重构系数，得到计算词语集合中词语在词语集合的各个类别的综合度量指标，并且在词语集合中词语在词语集合的各个类别的综合度量指标从小到大进行排序，根据词语集合的中的各个类别中的词语数量、信息熵选取特征选择在词语集合的各个类别上的提取数量。进一步，步骤S4中输出经过特征选择获得的文本特征集包括：在词语集合的各个类别上输出满足其的提取数量的词语作为文本特征集。本专利技术的有益效果是，本专利技术的特征选择方法不仅能够降低文本特征空间的维数，以利于提高文本分类的效率，而且通过去除对文本分类无效的特征也有利于提高文本分类的分类精度。第二方面，本专利技术还提供了一种效率高、与用户习惯搜索关联度高、可行度高的就是计算机文本检索分类特征选择方法及系统。为了解决上述技术问题，本专利技术提供了一种计算机文本检索分类特征选择方法，包括如下步骤：步骤S1，将文本中各词项进行分类，并计算各词项在各类别的排序值；步骤S2，针对每个词项构造类别调节参数表；步骤S3，从所述类别调节参数表查取相应的类别调节参数，以获得每个词项在各类别的排序评分；以及步骤S4，根据排序差异值获得相应特征集。进一步，所述步骤S1中将文本中各词项进行分类，并计算各词项在各类别的排序值的方法包括：根据词项的外延数量、词项反映的对象、词项反应事物的属性对文本中的词项进行分类，并根据基于词项的分类结果定义类别，计算每个词项在各个类别的排序值；所述排序值用于词项的排序，用排序功能函数计算，且所述排序函数的定义如下：式(3)中，i＝1,2，……，m，变量m表示存放记录词项的数量；变量j表示类别的标号；其中r(ti,cj)用于计算词项ti在类别cj的权重，e(ti,cj)表示词项ti在类别j的出现次数，ti表示第i个词项，cj表示第j个类别；v(ti)表示词项ti与初始词项的相邻频度，所述初始词项为用户最初输入的词项。进一步，所述步骤S2中针对每个词项构造类别调节参数表的方法包括：所述类别调节参数表的每行记录类别cj、w1(cj)、w2(cj)，其以每个类别中词项的分布规则以及词项与初始词项的相邻频度为依据，根据马尔科夫链原理，即在计算w2(cj)时，将词项在类别cj的权重作为输入，以及在计算w1(cj)时，将所述排序值与词项的权重作为输入。进一步，所述步骤S3中从所述类别调节参数表查取相应的类别调节参数，以获得每个词项在各类别的排序评分的方法包括：对每个词项在各个类别上的排序值进行处理，得到每个词项在各个类别上的排序评分：score(ti,cj)＝w1(cj)×p(ti)+w2(cj)×r(ti,cj)(4)；式(4)中：score(ti,cj)表示词项ti在类别cj的排序评分，w1(cj)、w2(cj)为类别调节参数，用于调节p(ti)、r(ti,cj)之间的比例；在计算排序评分时，从所述类别调节参数表查取相应的类别调节参数。进一步，所述步骤S4中根据排序差异值获得相应特征集的方法包括：按所述排序评分的升序来进行所有词项在各个类别上的排序，建立排序矩阵；根据所述排序矩阵绘制每个词项在各个类别中的排序变化曲线，且根据所述排序变化曲线计算排序类别差异值；其中排序类别差异值越大，则该词项在各个类别中排序差异越大，选取差异最大的20％数量的词项作为特征集。第三方面，为了解决同样的技术问题，本专利技术还提供了一种计算机文本检索分类特征选择系统。所述计算机文本检索分类特征选择系统包括：依次相连的分类排序模块、调节参数表构造模块、排序评分模块和特征集选取模块。进一步，所述分类排序模块适于将文本中各词项进行分类，并计算各词项在各类别的排序值，即根据词项的外延数量、词项反映的对象、词项反应事物的属性对文本中的词项进行分类，并根据基于词项的分类结果定义类别，计算每个词项在各个类别的排序值；所述排序值用于词项的排序，用排序功能函数计算，且所述排序函数的定义如下：式(3)中，i＝1,2，……，m，变量m表示存放记录词项的数量；变量j表示类别的标号；其中r(ti,cj)用于计算词项ti在类别cj的权重，e(ti,cj)表示词项ti在类别j的出现次数，ti表示第i个词项，cj表示第j个类别；v(ti)表示词项ti与初始词项的相邻频度，所述初始词项为用户最初输入的词项。进一步，所述调节参数表构造模块适于针对每个本文档来自技高网...

【技术保护点】
一种计算机文本的特征选择方法，其特征在于，包括如下步骤：步骤S1，对计算机文本进行处理，得到文本的三维特征数据集；步骤S2，计算所述文本的三维特征数据集的重构系数矩阵，并且计算信息熵向量；步骤S3，按照所述信息熵向量以及所述重构系数矩阵计算综合度量指标，并且按照所述综合度量指标从小到大的顺序进行特征选择；以及步骤S4，输出经过特征选择获得的文本特征集。

【技术特征摘要】
1.一种计算机文本的特征选择方法，其特征在于，包括如下步骤：步骤S1，对计算机文本进行处理，得到文本的三维特征数据集；步骤S2，计算所述文本的三维特征数据集的重构系数矩阵，并且计算信息熵向量；步骤S3，按照所述信息熵向量以及所述重构系数矩阵计算综合度量指标，并且按照所述综合度量指标从小到大的顺序进行特征选择；以及步骤S4，输出经过特征选择获得的文本特征集。2.根据权利要求1所述的计算机文本的特征选择方法，其特征在于，所述步骤S1中对计算机文本进行处理，得到文本的特征数据集包括：对计算机文本进行处理，将其断开并处理成词语集合，以词性作为特征对所述词语集合进行分类，得到所述词语集合的类别，将同一个词性的词语分为一类，所述词性被分为动词、名词、形容词或副词，将所述词语集合中的词语映射为坐标上的点，坐标上的横坐标为所述词语集合中的词语在计算机文本中出现的次数，坐标上的纵坐标为所述词语集合中的词语在其类别中出现的次数，将坐标的值记录，得到所述文本的三维特征数据集；即所述文本的三维特征数据集的数据为三维坐标，一维坐标为所述词语集合的类别，一维坐标为所述词语集合在计算机文本中出现的次数，一维坐标为所述词语集合的类别在其类别中出现的次数；3.根据权利要求2所述的计算机文本的特征选择方法，其特征在于，所述步骤S2中计算所述文本的三维特征数据集的重构系数矩阵，并且计算类别区分度包括：对所述文本的三维特征数据集进行处理，利用范数最小化的优化方法，得到所述文本的三维特征数据集中每个数据的重构系数，将所述每个数据的重构系数与所述词语集合的类别分别作为所述文本的特征数据集的重构系数矩阵的行与列，根据所述词语集合的类别计算所述词语集合中词语在各个类别的概率分布:P=(C1L1,C2L2,C3L3,...,CiLi,...,CNLN)---(1);]]>式(1)中：i＝1,2,…，i,…,N,变量N记录所述词语集合中类别的数量，C1,C2,C3,…，Ci,…,CN表示所述词语集合中的词语在其类别中出现的次数，L1,L2,L3,…，Li,…,LN表示所述词语集合中的各个类别的词语数量，并且计算所述词语集合的类别Bi的信息熵，定义如下：H(Bi)=-Σi=1NP(CiLi)log2P(CiLi)---(2);]]>式(2)中：H(Bi)表示所述词语集合的类别Bi的信息熵；将所述词语集合中的各个类别的信息熵综合，得到所述信息熵向量。4.根据权利要求3所述的计算机文本的特征选择方法，其特征在于，所述步骤S3中按照所述信息熵向量以及所述重构系数矩阵计算综合度量指标，并且按照所述综合度量指标从小到大的顺序进行特征选择包括：计算所述信息熵向量的模，根据所述重构系数矩阵，提取所述文本的三维特征数据集中每个数据的重构系数，将所述信息熵向量的模乘以所述文本的三维特征数据集中每个数据的重构系数，得到计算所述词语集合中词语在所述词语集合的各个类别的所述综合度量指标，并且在所述词语集合中词语在所述词语集合的各个类别的所述综合度量指标从小到大进行排序，根据所述词语集合的中的各个类别中的词语数量、所述信息熵选取特征选择在所述词语集合的各个类别上的提取数量。5.根据权利要求4所述的计算机文本的特征选择方法，其特征在于，所述步骤S4中输出经过特征选择获得的文本特征集包括：在所述词语集合的各个类别上输出满足其的提取数量的词语作为文本特征集。6.一种计算机文本检索分类特征选择方法，其特征在于，包括如下步骤：步骤S1，将文本中各词项进行分类，并计算各词项在各类别的排序值；步骤S2，针对每个词项构造类别调节参数表；步骤S3，从所述类别调节参数表查取相应的类别调节参数，以获得每个词项在各类别的排序评分；以及步骤S4，根据排序差异值获得相应特征集。7.根据权利要求6所述的计算机文本检索分类特征选择方法，其特征在于，所述步骤S1中将文本中各词项进行分类，并计算各词项在各类别的排序值的方法包括：根据词项的外延数量、词项反映的对象、词项反应事物的属性对文本中的词项进行分类，并根据基于词项的分类结果定义类别，计算每个词项在各个类别的排序值；所述排序值用于词项的排序，用排序功能函数计算，且所述排序函数的定义如下：p(ti)=Σi=1m(v(ti)-r(ti,...

【专利技术属性】
技术研发人员：钱进，吕萍，
申请(专利权)人：江苏理工学院，
类型：发明
国别省市：江苏;32