一种面向网络新媒体的页面链接去重扫描方法及装置制造方法及图纸

本发明专利技术提出了一种面向网络新媒体的页面链接去重扫描方法及装置，该方法包括：对目标网站URL进行字段拆解处理；对拆解得到的字段进行分段处理，基于分段处理的结果生成链接特征值；将生成的链接特征值与链接特征库存储的特征值进行比较，以判断出目标网站URL是否为重复URL。本发明专利技术克服了现有技术对网站URL生成特征值并与已有特征值进行比较实现URL重复扫描效率低、工作强度大的缺陷，可以实现快速URL去重扫描，提高去重准确率，降低工作强度。

Page link re scanning method and device for network new media

The invention provides a method and apparatus for scanning to a network oriented new media page links, this method includes: field dismantling of the target site of URL; the dismantling of field segmentation, feature value generating links segmentation based on the results of the students into the link characteristics; value characteristics and link feature library the stored value, to determine whether to repeat the URL target site URL. The invention overcomes the defects of the existing technology on the website URL to generate feature values and compare URL repeated scanning efficiency is low and the work intensity of the existing defects and characteristic values, can achieve rapid URL to scan, to improve the accuracy, reduce the intensity of work.

【技术实现步骤摘要】
一种面向网络新媒体的页面链接去重扫描方法及装置
本专利技术涉及互联网
，尤其涉及一种面向网络新媒体的页面链接去重扫描方法及装置。
技术介绍
网站通过伪静态技术，存在大量相似URL(UniformResourceLocator，统一资源定位符)链接、相似页面结构的页面。在扫描过程中对相似URL进行过滤去重，可防止对相似页面进行重复爬取，避免了爬虫记录重复数据，也加快了爬行速度。对于网站URL去重扫描，目前较主流的方法有两种：1)URL特征值法：直接将网页URL作为去重特征值。2)Hash特征值法：将网页URL做Hash运算，得到Hash值作为去重特征值。3)URL种子特征法：根据URL出现的种子特征编写正则表达式，将URL转换为统一特征串作为去重特征值。上述方案能够获得去重特征值，实现URL的过滤去重，但是去重效率较低。
技术实现思路
本专利技术要解决的技术问题是，提供一种面向网络新媒体的网页链接去重扫描方法及装置，在网站URL爬行过程中，减少爬行工作强度，提供工作效率。本专利技术采用的技术方案是，面向网络新媒体的页面链接去重扫描方法，包括：步骤一，对目标网站URL进行字段拆解处理；步骤二，对拆解得到的字段进行分段处理，基于分段处理的结果生成链接特征值；步骤三，将生成的链接特征值与链接特征库存储的特征值进行比较，以判断出目标网站URL是否为重复URL。进一步的，步骤一，具体包括：将所述目标网站URL拆解为六个字段，包括：主机名HOST字段、高层路径UPPERPATH字段、低层路径LOWERPATH字段、文件名FILENAME字段、文件后缀名FILEEXTENSION字段和请求QUERY字段。进一步的，所述UPPERPATH字段与LOWERPATH字段的拆解方式，包括：对HOST字段相同的URL路径进行同层级路径字符距离计算，层级间字符距离最小的层级对应字段为UPPERPATH字段，其余层级对应的字段为LOWERPATH字段。进一步的，在步骤二中，所述对拆解得到的字段进行分段处理，包括：对HOST字段和UPPERPATH字段进行哈希算法Hash处理，生成Hash特征值；对LOWERPATH字段和FILENAME字段进行逆正则处理，生成逆正则特征值；将FILEEXTENSION字段和QUERY字段直接作为其他特征值。进一步的，所述逆正则处理，包括：顺序针对字母和数字进行如下处理：将字母和数字替换为对应的元字符，若同一元字符连续出现多次，则在该元字符前显示该元字符出现的次数。进一步的，在步骤二中，所述基于分段处理的结果生成链接特征值，包括：将Hash特征值、逆正则特征值和其他特征值共同组成链接特征值。进一步的，步骤三，包括：若生成的链接特征值与链接特征库存储的特征值匹配，则将所述目标网站URL判定为重复URL；若生成的链接特征值与链接特征库存储的特征值不匹配，则将所述目标网站URL判定为不重复URL，同时将链接特征值存储至链接特征库。本专利技术还提供一种面向网络新媒体的页面链接去重扫描装置，包括：拆解模块，用于对目标网站URL进行字段拆解处理；分段处理模块，用于对拆解得到的字段进行分段处理，基于分段处理的结果生成链接特征值；比较模块，用于将生成的链接特征值与链接特征库存储的特征值进行比较，以判断出目标网站URL是否为重复URL。进一步的，所述拆解模块，用于：将所述目标网站URL拆解为六个字段，包括：主机名HOST字段、高层路径UPPERPATH字段、低层路径LOWERPATH字段、文件名FILENAME字段、文件后缀名FILEEXTENSION字段和请求QUERY字段。进一步的，所述拆解模块，具体用于：对HOST字段相同的URL路径进行同层级路径字符距离计算，层级间字符距离最小的层级对应字段为UPPERPATH字段，其余层级对应的字段为LOWERPATH字段。进一步的，所述分段处理模块，具体用于：对HOST字段和UPPERPATH字段进行哈希算法Hash处理，生成Hash特征值；对LOWERPATH字段和FILENAME字段进行逆正则处理，生成逆正则特征值；将FILEEXTENSION字段和QUERY字段直接作为其他特征值。进一步的，所述逆正则处理，具体用于：顺序针对字母和数字进行如下处理：将字母和数字替换为对应的元字符，若同一元字符连续出现多次，则在该元字符前显示该元字符出现的次数。进一步的，所述分段处理模块，具体用于：将Hash特征值、逆正则特征值和其他特征值共同组成链接特征值。进一步的，所述比较模块，用于：若生成的链接特征值与链接特征库存储的特征值匹配，则将所述目标网站URL判定为重复URL；若生成的链接特征值与链接特征库存储的特征值不匹配，则将所述目标网站URL判定为不重复URL，同时将链接特征值存储至链接特征库。采用上述技术方案，本专利技术至少具有下列优点：本专利技术所述网站URL去重扫描方法及装置，可以实现对爬行目标网站的URL拆解字段处理，并对拆解得到的字段进行分段处理，生成链接特征值，并与链接特征库中存储的特征值进行比较，以判断目标URL是否为重复页面，从而有效减少爬行工作强度，提高工作效率。附图说明图1为本专利技术第一实施例的网站URL去重扫描方法流程图；图2为本专利技术第二实施例的网站URL去重扫描装置组成结构示意图；图3为本专利技术第三实施例网站URL去重扫描具体方法示意图。具体实施方式为更进一步阐述本专利技术为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本专利技术进行详细说明如后。本专利技术第一实施例，一种面向网络新媒体的页面链接去重扫描方法，如图1所示，包括以下具体步骤：步骤S101，对目标网站URL进行字段拆解处理。具体的，步骤S101包括：根据爬行获得的目标网站URL进行字段拆解，将网站URL分为六个字段，包括：HOST(主机名)、UPPERPATH(高层路径)、LOWERPATH(低层路径)、FILENAME(文件名)、FILEEXTENSION(文件后缀名)和QUERY(请求)。上述UPPERPATH字段与LOWERPATH字段通过对HOST字段相同URL的PATH(路径)进行同层级路径字符距离计算获得，PATH层级间字符距离最小的层级为UPPERPATH字段，其余PATH层级为LOWERPATH字段。步骤S102，对拆解得到的字段进行分段处理，基于分段处理的结果生成链接特征值。具体的，步骤S102包括：1)对HOST字段和UPPERPATH字段进行Hash(哈希算法)处理，生成Hash特征值。2)对LOWERPATH字段和FILENAME字段进行逆正则处理生成逆正则特征值，具体方法如下：顺序判断字母和数字，将字母和数字替换为元字符，字母使用元字符s，数字使用元字符I，当同一元字符连续出现多次，在元字符前显示该元字符出现的次数。3)将FILEEXTENSION字段和QUERY字段直接作为其他特征值。4)将Hash特征值、逆正则特征值和其他特征值共同组成链接特征值。步骤S103，将生成的链接特征值与链接特征库存储的特征值进行比较，以判断出目标网站URL是否为重复URL。具体的，步骤S103包括：通过生成的链接特征值与链接特征库存储的特征值进行比较，若生成的链接特征值与链接特征库存储的特征值本文档来自技高网...

【技术保护点】
一种面向网络新媒体的页面链接去重扫描方法，其特征在于，包括：步骤一，对目标网站URL进行字段拆解处理；步骤二，对拆解得到的字段进行分段处理，基于分段处理的结果生成链接特征值；步骤三，将生成的链接特征值与链接特征库存储的特征值进行比较，以判断出目标网站URL是否为重复URL。

【技术特征摘要】
1.一种面向网络新媒体的页面链接去重扫描方法，其特征在于，包括：步骤一，对目标网站URL进行字段拆解处理；步骤二，对拆解得到的字段进行分段处理，基于分段处理的结果生成链接特征值；步骤三，将生成的链接特征值与链接特征库存储的特征值进行比较，以判断出目标网站URL是否为重复URL。2.根据权利要求1所述的面向网络新媒体的页面链接去重扫描方法，其特征在于，步骤一，具体包括：将所述目标网站URL拆解为六个字段，包括：主机名HOST字段、高层路径UPPERPATH字段、低层路径LOWERPATH字段、文件名FILENAME字段、文件后缀名FILEEXTENSION字段和请求QUERY字段。3.根据权利要求2所述的面向网络新媒体的页面链接去重扫描方法，其特征在于，所述UPPERPATH字段与LOWERPATH字段的拆解方式，包括：对HOST字段相同的URL路径进行同层级字符距离计算，层级间字符距离最小的层级对应字段为UPPERPATH字段，其余层级对应的字段为LOWERPATH字段。4.根据权利要求2所述的面向网络新媒体的页面链接去重扫描方法，其特征在于，在步骤二中，所述对拆解得到的字段进行分段处理，包括：对HOST字段和UPPERPATH字段进行哈希算法Hash处理，生成Hash特征值；对LOWERPATH字段和FILENAME字段进行逆正则处理，生成逆正则特征值；将FILEEXTENSION字段和QUERY字段直接作为其他特征值。5.根据权利要求4所述的面向网络新媒体的页面链接去重扫描方法，其特征在于，所述逆正则处理，包括：顺序针对字母和数字进行如下处理：将字母和数字替换为对应的元字符，若同一元字符连续出现多次，则在该元字符前显示该元字符出现的次数。6.根据权利要求4所述的面向网络新媒体的页面链接去重扫描方法，其特征在于，在步骤二中，所述基于分段处理的结果生成链接特征值，包括：将Hash特征值、逆正则特征值和其他特征值共同组成链接特征值。7.根据权利要求1～6中任一项所述的面向网络新媒体的页面链接去重扫描方法，其特征在于，步骤三，包括：若生成的链接特征值与链接特征库存储的特征值匹配，则将所述目标网站URL判定为重复URL；若生成的链接特征值与链接特征库存储的特征值不匹配，则将所述目标网站URL判定为不重复URL，同时将链接...

【专利技术属性】
技术研发人员：何晶，尹亚光，张伟，施玉海，
申请(专利权)人：国家新闻出版广电总局广播科学研究院，
类型：发明
国别省市：北京,11