一种网页评级方法和网页评级系统技术方案

技术编号:6956354 阅读:674 留言:0更新日期:2012-04-11 18:40
本发明专利技术涉及网页过滤技术,针对现有网站过滤机制效率不高导致大量非法信息得以绕过防范措施而进入公众信息传播渠道的缺陷,提供一种网页评级方法和网页评级系统。网页评级方法包括读取至少一个关键词;爬取包含读取的该至少一个关键词的至少一个网页;对于爬取的每一网页,基于预先设置的评级模型来计算该网页的评分;在判定评级表中不包含该网页时,将该网页的地址及评分写入评级表中;基于评分定期对评级表中的网页进行排序,并输出排序结果。本发明专利技术还提供了一种网页评级系统。本发明专利技术提供的技术方案可基于预设的过滤标准来自动判定哪些网页属于非法网页。此外,还可进一步基于评分来对网页进行分类以便工作人员基于归类来手动认定非法网页。

【技术实现步骤摘要】

本专利技术涉及网页过滤技术,更具体地说,涉及一种网站评级方法和网站评级系统。
技术介绍
互联网的出现大大改变了人们的生活,巨大的信息量使得互联网日益成为人们获取信息的最主要来源。然而,在向人们提供有用信息的同时,非法组织也在利用互联网来传播非法信息。 更为严重的是,随着移动互联网的日渐流行,非法信息在移动互联网上的传播也正在加速进行。尽管采取了网站过滤等一些防范措施,但这些措施的处理效率十分有限。例如调整面对互联网每日巨大的信息增量,大量非法信息得以绕过防范措施而进入公众信息传播渠道。因此,需要一种网站过滤机制,可有效克服现有网站信息过滤方案之中存在的上述缺陷。
技术实现思路
本专利技术要解决的技术问题在于,针对现有网站过滤机制效率不高导致大量非法信息得以绕过防范措施而进入公众信息传播渠道的缺陷,提供一种网站评级方法和网站评级系统。本专利技术解决其技术问题所采用的技术方案是一种网页评级方法,用于对网页内容进行评级,包括评分步骤,包括读取至少一个关键词;爬取包含读取的该至少一个关键词的至少一个网页;对于爬取的每一网页基于预先设置的评级模型来计算该网页的评分;在判定评级表中不包含该网页时,将该网页的地址及评分写入评级表中;排序步骤,包括基于评分定期对评级表中的网页进行排序,并输出排序结果。在本专利技术提供的网页评级方法中,对于爬取的每一网页,在算得其评分之后,所述评分步骤进一步包括,在判定评级表中包含该网页时,基于算得的评分对评级表中该网页的评分进行更新。在本专利技术提供的网页评级方法中,在对评级表中的网页进行排序之后,所述排序步骤还包括,基于评分对排序后的网页进行归类。在本专利技术提供的网页评级方法中,所述评级模型是基于所述至少一个关键词的关键词数量、针对每一关键词预先设置的权重以及所述至少一个关键词在待评网页中的出现总次数来构建的。在本专利技术提供的网页评级方法中,所述评级模型为本文档来自技高网...

【技术保护点】
1.一种网页评级方法,用于对网页内容进行评级,其特征在于,包括:评分步骤,包括:读取至少一个关键词;爬取包含读取的该至少一个关键词的至少一个网页;对于爬取的每一网页:基于预先设置的评级模型来计算该网页的评分;在判定评级表中不包含该网页时,将该网页的地址及评分写入评级表中;排序步骤,包括:基于评分定期对评级表中的网页进行排序,并输出排序结果。

【技术特征摘要】
1.一种网页评级方法,用于对网页内容进行评级,其特征在于,包括 评分步骤,包括读取至少一个关键词;爬取包含读取的该至少一个关键词的至少一个网页; 对于爬取的每一网页基于预先设置的评级模型来计算该网页的评分; 在判定评级表中不包含该网页时,将该网页的地址及评分写入评级表中; 排序步骤,包括基于评分定期对评级表中的网页进行排序,并输出排序结果。2.根据权利要求1所述的网页评级方法,其特征在于,对于爬取的每一网页,在算得其评分之后,所述评分步骤进一步包括,在判定评级表中包含该网页时,基于算得的评分对评级表中该网页的评分进行更新。3.根据权利要求2所述的网站评级方法,其特征在于,在对评级表中的网页进行排序之后,所述排序步骤还包括,基于评分对排序后的网页进行归类。4.根据权利要求3所述的网页评级方法,其特征在于,所述评级模型是基于所述至少一个关键词的关键词数量、针对每一关键词预先设置的权重以及所述至少一个关键词在待评网页中的出现总次数来构建的。5.根据权利要求4所述的网页评级方法,其特征在于,所述评级模型为scGre(x) — roard(q) X querνNomi(q) X T(f-reque icvn) X unfreqiiencvi^l)“ X其中,q为评分步骤中读取的关键词的数量,X为爬取的至少一个网页中的一个网页 X,score (χ)为网页χ的评分,coord (q)为q个关键词中在网页χ中出现的关键词的数量, frequency (...

【专利技术属性】
技术研发人员:陈巍刘飞杨丰杨旗罗祖光
申请(专利权)人:卓望数码技术深圳有限公司
类型:发明
国别省市:94

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1