一种基于网页特征识别的噪音网页过滤方法技术

本发明专利技术公开了一种基于网页特征识别的噪音网页过滤方法，该方法深入分析了噪音网页和主题网页的特征，通过页面特征识别，对各特征设置阈值判断能够有效去除具有明显特征的噪音网页，缩减数据集，而后，利用显著特征生成更丰富的特征向量，利用SVM分类器对网页进行分类，过滤噪音网页，保留有效的主题网页，确保后期深入分析研究工作的质量和效果。

【技术实现步骤摘要】

本专利技术属于网页方法领域，更具体地说，本专利技术涉及一种基于网页特征识别的噪音网页过滤方法。
技术介绍
网络成为快速增长，蕴涵丰富内容的、巨大的信息仓库，逐渐成为研究者进行数据抓取采集、深入知识发现和挖掘的重要来源。但是，并不是所有网页中都包含有用的信息，现有网页类型可以划分为两种：主题网页与噪音网页。主题网页指描述一个或多个实质主题内容的具有较多描述文字的页面；而噪音网页指不包含或包含极少的叙述文字、包含密集链接的页面。真正对于研究具有可用性的是主题网页，而噪音网页在面对以Web页面文本数据为基础的应用研究中造成了很大的干扰。因此，采集Web页面数据后，在进行深入的分析、挖掘之前，需要对网页的类型进行筛选、过滤，去除噪音页面，保留有效的主题网页，才能确保后期深入分析研究工作的质量和效果。
技术实现思路
本专利技术所要解决的问题是提供一种基于网页特征识别的噪音网页过滤方法。为了实现上述目的，本专利技术采取的技术方案为：一种基于网页特征识别的噪音网页过滤方法，包括如下步骤：(1)特征阈值判断：①判断噪音网页中包含的正文文字长度，设定经验阈值，少于阈值的网页为噪音网页；②判断URL层次及URL文本长度，滤除URL层级较浅及URL文本长度较短的网页；③统计网页内容更新频率，同一URL的网页内容的更新频率；④判断网页URL中是否包含噪音特征，如包含，网页为噪音网页；⑤计算网页内包含的导航链接数量，如包含链接数量大于设定的经验阈值，则为噪音页面；⑥计算网页内链接文字与正文文字长度的比例，比值大于设定阈值则判断为噪音页面；(2)抽取网页特征对通过特征阈值判断后的网页抽取基于网页结构和内容中的特征属性，生成特征向量；(3)基于SVM的网页分类通过选择适合的核函数，将输入向量映射到高维空间，并在高维空间中构建最优分类超平面，区分主题网页和噪音网页，过滤噪音网页。优选的，所述步骤(1)中噪音特征包括sendto_form”，“pre_form”和“sitemap”。优选的，所述步骤(3)中基于SVM的网页分类的具体步骤为：①特征向量选择；②训练集准备和数据归一化；③网页分类器的核函数选择及设置。优选的，所述特征向量选择为18个较为突出的特征属性，所述特征属性为优选的，所述网页分类器的核函数为线性核函数、多项式核函数、径向基核函数和sigmoid核函数。优选的，所述步骤(3)中基于SVM的网页分类后进行准确率的计算，所述准确率公式为准确率＝(噪音页/噪音识别页)*100％。有益效果：本专利技术提供了一种基于网页特征识别的噪音网页过滤方法，该方法深入分析了噪音网页和主题网页的特征，通过页面特征识别，对各特征设置阈值判断能够有效去除具有明显特征的噪音网页，缩减数据集，而后，利用显著特征生成更丰富的特征向量，利用SVM分类器对网页进行分类，过滤噪音网页，保留有效的主题网页，确保后期深入分析研究工作的质量和效果。具体实施方式一种基于网页特征识别的噪音网页过滤方法，包括如下步骤：(1)特征阈值判断：①判断噪音网页中包含的正文文字长度，设定经验阈值，少于阈值的网页为噪音网页；②判断URL层次及URL文本长度，滤除URL层级较浅及URL文本长度较短的网页；③统计网页内容更新频率，同一URL的网页内容的更新频率；④判断网页URL中是否包含噪音特征，如包含，网页为噪音网页，所述噪音特征包括sendto_form”，“pre_form”和“sitemap”；⑤计算网页内包含的导航链接数量，如包含链接数量大于设定的经验阈值，则为噪音页面；⑥计算网页内链接文字与正文文字长度的比例，比值大于设定阈值则判断为噪音页面；(2)抽取网页特征对通过特征阈值判断后的网页抽取基于网页结构和内容中的特征属性，生成特征向量；(3)基于SVM的网页分类通过选择适合的核函数，将输入向量映射到高维空间，并在高维空间中构建最优分类超平面，区分主题网页和噪音网页，过滤噪音网页，所述基于SVM的网页分类的具体步骤为：①特征向量选择，所述特征向量选择为18个较为突出的特征属性，所述特征属性为②训练集准备和数据归一化；③网页分类器的核函数选择及设置，所述网页分类器的核函数为线性核函数、多项式核函数、径向基核函数和sigmoid核函数；(4)准确率的计算，所述准确率公式为准确率＝(噪音页/噪音识别页)*100％。本专利技术提供了一种基于网页特征识别的噪音网页过滤方法，该方法深入分析了噪音网页和主题网页的特征，通过页面特征识别，对各特征设置阈值判断能够有效去除具有明显特征的噪音网页，缩减数据集，而后，利用显著特征生成更丰富的特征向量，利用SVM分类器对网页进行分类，过滤噪音网页，保留有效的主题网页，确保后期深入分析研究工作的质量和效果。以上所述仅为本专利技术的实施例，并非因此限制本专利技术的专利范围，凡是利用本专利技术说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
，均同理包括在本专利技术的专利保护范围内。本文档来自技高网...

【技术保护点】
一种基于网页特征识别的噪音网页过滤方法，其特征在于，包括如下步骤：(1)特征阈值判断：①判断噪音网页中包含的正文文字长度，设定经验阈值，少于阈值的网页为噪音网页；②判断URL层次及URL文本长度，滤除URL层级较浅及URL文本长度较短的网页；③统计网页内容更新频率，同一URL的网页内容的更新频率；④判断网页URL中是否包含噪音特征，如包含，网页为噪音网页；⑤计算网页内包含的导航链接数量，如包含链接数量大于设定的经验阈值，则为噪音页面；⑥计算网页内链接文字与正文文字长度的比例，比值大于设定阈值则判断为噪音页面；(2)抽取网页特征对通过特征阈值判断后的网页抽取基于网页结构和内容中的特征属性，生成特征向量；(3)基于SVM的网页分类通过选择适合的核函数，将输入向量映射到高维空间，并在高维空间中构建最优分类超平面，区分主题网页和噪音网页，过滤噪音网页。

【技术特征摘要】
1.一种基于网页特征识别的噪音网页过滤方法，其特征在于，包括如下步骤：(1)特征阈值判断：①判断噪音网页中包含的正文文字长度，设定经验阈值，少于阈值的网页为噪音网页；②判断URL层次及URL文本长度，滤除URL层级较浅及URL文本长度较短的网页；③统计网页内容更新频率，同一URL的网页内容的更新频率；④判断网页URL中是否包含噪音特征，如包含，网页为噪音网页；⑤计算网页内包含的导航链接数量，如包含链接数量大于设定的经验阈值，则为噪音页面；⑥计算网页内链接文字与正文文字长度的比例，比值大于设定阈值则判断为噪音页面；(2)抽取网页特征对通过特征阈值判断后的网页抽取基于网页结构和内容中的特征属性，生成特征向量；(3)基于SVM的网页分类通过选择适合的核函数，将输入向量映射到高维空间，并在高维空间中构建最优分类超平面，区分主题网页和噪音网页，过滤噪音网页。2.按照权利要求1所述的一种基于网页特征识别的噪音...

【专利技术属性】
技术研发人员：董雄飞，
申请(专利权)人：合肥民众亿兴软件开发有限公司，
类型：发明
国别省市：安徽;34