【技术实现步骤摘要】
本专利技术属于自然语言处理的
，具体为一种基于互信息的文本分类的特征提取方法。
技术介绍
随着互联网，多媒体以及存储技术的高速发展，越来越多的信息(特别是多媒体信息)正在生成、传播和积累。互联网使得信息传播更加容易，个人用户可以非常方便地找到并且下载他们想要的信息。大容量的硬盘可以存储更多信息。不包括万维网上的信息资源，即使是PC上积存的文件数量可能都有几十千兆。如何有效管理和方便利用这些信息对个人用户来说是个大问题。据统计，虽然目前互联网上的多媒体信息越来越多，然而在可预见的未来，文本信息仍然是最重要的信息源，随之而来的，文本信息处理技术的发展非但没有因为多媒体信息数量的迅速增长停滞，反而呈现出蓬勃发展的趋势。文本分类技术是组织管理文本信息的有力手段。文本分类从20世纪60年代就已经出现，但直到20世纪90年代后才逐渐成为研究热点。机器学习逐渐成为主要的处理方法。它能自动的从预先分类的文本集中学习各个类别的特征，构建自动分类器。它具有节省人力和效果良好的特点。因此，目前绝大多数研究都是针对基于机器学习的文本分类方法。文本分类的基本任务是：根据文档的内容确定文档与已给定的类别之间的关系。即从给定的类别集中寻找最适合当前文档的类别。这种文档与类别之间的联系可以看作是一个映射，显然的，由于文档可以属于多个类别，该映射既可以是一一映射，也可以是一对多的映射。映射规则通过对已给定的训练文档集和类别集的学习确定，根据...
【技术保护点】
一种基于互信息的文本分类的特征提取方法，其特征在于：包括以下步骤：(a)对训练文本进行预处理：建立停用词词库和训练文本集，将数据集中的训练文本进行分词，分词后根据停用词词库，过滤掉停用词，对分词后的文本进行词性标注；(b)对预处理后的文本进行特征提取：根据步骤(a)预处理后的文本，根据公式(1)和(2)计算剩下的词项和每个类别的互信息，公式(1)为：I(U;C)=Σet∈{1,0}Σec∈{1,0}P(U=et,C=ec)log2P(U=et,C=ec)P(U=et)P(C=ec)]]>其中，U是词项，C是类别；U、C都是二值随机变量，当文档包含词项t时，U的取值为et＝1，否则et＝0；当文档属于类别c时，C的取值ec＝1，否则ec＝0，若使用最大似然估计时，上面的概率值都是运用阿里计算；于是实际计算公式如下：公式(2)为：I(U;C)=N11Nlog2NN11N1.N.1+N01Nlog2NN01N0.N.1+N10Nlog2NN10N1.N.0+N00Nlog2NN00N0.N.0]]>其中Nxy表示x＝et和y＝ec情况下...
【技术特征摘要】
1.一种基于互信息的文本分类的特征提取方法，其特征在于：包括以下步骤：
(a)对训练文本进行预处理：
建立停用词词库和训练文本集，将数据集中的训练文本进行分词，分词后根据停用词词
库，过滤掉停用词，对分词后的文本进行词性...
【专利技术属性】
技术研发人员：赵秉新，印鉴，
申请(专利权)人：广东顺德中山大学卡内基梅隆大学国际联合研究院，中山大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。