一种基于分布式互信息文档特征提取方法技术

技术编号:9113420 阅读:152 留言:0更新日期:2013-09-05 02:36
本发明专利技术提供针对海量文档处理过程中的数据处理规模限制和性能不足等方面的瓶颈问题,本发明专利技术提供一种基于分布式互信息文档特征提取方法,包括以下步骤:进行文档集合,并对文档进行初始化;计算文档中分词出现的频率和不同分类中分词的互信息值,从而选择出特征词集合;计算所有特征词的权值,从而形成最终的文档向量集合。本发明专利技术利用MapReduce分布式计算框架来进行文档分类的特征词以及其权值的提取,可以加快文档分类的速度以及可扩展性,通过对键值对的设计,在提取特征词的同时就可以并行计算出特征词在文档中的权值,加快文档分类的效率。

【技术实现步骤摘要】

【技术保护点】
一种基于分布式互信息文档特征提取方法,其特征在于:所述方法包括以下步骤:步骤1:进行文档集合,并对文档进行初始化;步骤2:计算文档中分词出现的频率和不同分类中分词的互信息值,从而选择出特征词集合;步骤3:计算所有特征词的权值,从而形成最终的文档向量集合。

【技术特征摘要】

【专利技术属性】
技术研发人员:林为民张涛马媛媛邓松李伟伟时坚汪晨王玉斐周诚
申请(专利权)人:国家电网公司中国电力科学研究院江苏省电力公司信息通信分公司江苏省电力公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1