一种数据爬取频率的调整方法及装置、存储介质和处理器制造方法及图纸

本申请公开了一种数据爬取频率的调整方法及装置、存储介质和处理器。该方法包括：通过爬虫平台对多个信源以第一爬取频率进行数据爬取；对每个信源根据爬取到的数据量进行排序；基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率，解决了相关技术中因为爬虫平台的数据爬取频率固定，对不同信源进行数据抓取时，造成爬虫平台资源浪费的问题。

A method of adjusting data crawling frequency and its device, storage medium and processor

【技术实现步骤摘要】
一种数据爬取频率的调整方法及装置、存储介质和处理器
本申请涉及数据处理领域，具体而言，涉及一种数据爬取频率的调整方法及装置、存储介质和处理器。
技术介绍
目前爬虫平台对各个信源的爬取频率是固定的，在录入信源时会设置一个参数——爬取间隔，之后信源每一次爬取都是固定时间间隔。一般来说，信源的爬取间隔都是默认3小时一次，并不会去修改，所以大多数信源都是3小时爬取一次。不管当前信源的质量如何，也不管当前信源产生的数据量多少，每个信源在爬虫平台中的爬取间隔都相等，显然是不合理的。例如：一个信源是一个网站，网站中的新闻一天才更新一次，若设置的爬取间隔为3小时一次，则会造成大量的资源浪费，让爬虫平台做很多次的无用功；或者说如果一个网站非常活跃，几分钟更新一次内容，那么我们设置的默认3小时爬取一次就有可能造成数据遗漏，因为信源中还有一个最大翻页数的配置，默认为5页，如果这3小时内网站更新超过5页，则会造成数据缺失。针对目前爬虫平台有几十万量级的信源，结合上述说法，当前的爬虫平台会有非常多的资源浪费以及信源抓取的数据缺失。针对相关技术中因为爬虫平台的数据爬取频率固定，对不同信源进行数据抓取时，造成爬虫平台资源浪费的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种数据爬取频率的调整方法及装置、存储介质和处理器，以解决相关技术中因为爬虫平台的数据爬取频率固定，对不同信源进行数据抓取时，造成爬虫平台资源浪费的问题。为了实现上述目的，根据本申请的一个方面，提供了一种数据爬取频率的调整方法。该方法包括：通过爬虫平台对多个信源以第一爬取频率进行数据爬取；对每个信源根据爬取到的数据量进行排序；基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率。进一步地，基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率包括：确定排序后每个信源所处的位置次序所处的位置范围，其中，所述位置范围是将信源爬取到的数据量排序后得到的位置次序按照预设规则分组后得到的，不同的位置范围对应调整信源的数据爬取的爬取频率不同；基于每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率。进一步地，通过爬虫平台对多个信源以第一爬取频率进行数据爬取之后，方法还包括：将对每个信源爬取到的数据信息存入数据库平台层；和/或，基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率之前，方法还包括：对每个信源爬取到的数据量进行抽取，将抽取出的数据存入数据库垂直层；计算每个信源在数据库垂直层中存储的数据量与在数据库平台层存储的数据量的比率；若每个信源的比率大于等于预设比率，则执行基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率的步骤。进一步地，若存在比率小于预设比率的目标信源，则判断目标信源是否在预先设置的信源库中；若目标信源在信源库中，则调整对目标信源的爬取频率为第二爬取频率，其中，第二爬取频率小于第一爬取频率；若目标信源不在信源库中，则触发提醒是否需要继续对目标信源进行数据爬取。进一步地，确定排序后每个信源所处的位置次序所处的位置范围，基于每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率包括：若目标信源所处的位置次序所处的位置范围为第一位置范围，调整对所述目标信源的爬取频率为第三爬取频率，其中，所述第三爬取频率小于所述第一爬取频率；若目标信源所处的位置次序所处的位置范围为第二位置范围，调整对所述目标信源的爬取频率为第四爬取频率，其中，所述第四爬取频率小于所述第一爬取频率且所述第四爬取频率大于所述第三爬取频率，其中，所述第二位置范围内的位置次序的最小值大于所述第一位置范围内的位置次序的最大值；若目标信源所处的位置次序所处的位置范围为第三位置范围，调整对所述目标信源的爬取频率为第五爬取频率，其中，所述第五爬取频率小于所述第一爬取频率且所述第五爬取频率大于所述第四爬取频率，其中，所述第三位置范围内的位置次序的最小值大于所述第二位置范围内的位置次序的最大值；若目标信源所处的位置次序所处的位置范围为第四位置范围，调整对所述目标信源的爬取频率为第六爬取频率，其中，所述第六爬取频率大于所述第一爬取频率，且所述第六爬取频率大于所述第三爬取频率，其中，所述第四位置范围内的位置次序的最小值大于所述第三位置范围内的位置次序的最大值。为了实现上述目的，根据本申请的另一方面，提供了一种数据爬取频率的调整装置。该装置包括：第一爬取单元，用于通过爬虫平台对多个信源以第一爬取频率进行数据爬取；排序单元，用于对每个信源根据爬取到的数据量进行排序；第一调整单元，用于基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率。进一步地，第一调整单元包括：确定子单元，用于确定排序后每个信源所处的位置次序所处的位置范围，其中，所述位置范围是将信源爬取到的数据量排序后得到的位置次序按照预设规则分组后得到的，不同的位置范围对应调整信源的数据爬取的爬取频率不同；调整子单元，用于根据每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率。进一步地，该装置还包括，存储单元，用于在通过爬虫平台对多个信源以第一爬取频率进行数据爬取之后，对每个信源爬取到的数据信息存入数据库平台层；和/或，抽取单元，用于在基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率之前，对每个信源爬取到的数据量进行抽取，将抽取出的数据存入数据库垂直层；计算单元，用于计算每个信源在数据库垂直层中存储的数据量与在数据库平台层存储的数据量的比率；第二调整单元，在每个信源的比率大于等于预设比率的情况下，执行根据排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率的步骤。通过本申请，采用以下步骤：通过爬虫平台对多个信源以第一爬取频率进行数据爬取；对每个信源根据爬取到的数据量进行排序；基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率，解决了相关技术中因为爬虫平台的数据爬取频率固定，对不同信源进行数据抓取时，造成爬虫平台资源浪费的问题，通过基于对信源爬取到的数据量，对信源的爬取频率进行调整，进而达到了减少了平台资源浪费，智能有效的进行数据爬取的效果。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例提供的一种数据爬取频率的调整方法的流程图；以及图2是根据本申请实施例提供的一种数据爬取频率的调整装置的示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本文档来自技高网...

【技术保护点】
1.一种数据爬取频率的调整方法，其特征在于，包括：/n通过爬虫平台对多个信源以第一爬取频率进行数据爬取；/n对每个信源根据爬取到的数据量进行排序；/n基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率。/n

【技术特征摘要】
1.一种数据爬取频率的调整方法，其特征在于，包括：
通过爬虫平台对多个信源以第一爬取频率进行数据爬取；
对每个信源根据爬取到的数据量进行排序；
基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率。


2.根据权利要求1所述的方法，其特征在于，基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率包括：
确定排序后每个信源所处的位置次序所处的位置范围，其中，所述位置范围是将信源爬取到的数据量排序后得到的位置次序按照预设规则分组后得到的，不同的位置范围对应调整信源的数据爬取的爬取频率不同；
基于每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率。


3.根据权利要求2所述的方法，其特征在于，
通过爬虫平台对多个信源以第一爬取频率进行数据爬取之后，所述方法还包括：将对每个信源爬取到的数据信息存入数据库平台层；和/或，
基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率之前，所述方法还包括：
对每个信源爬取到的数据量进行抽取，将抽取出的数据存入数据库垂直层；
计算每个信源在所述数据库垂直层中存储的数据量与在所述数据库平台层存储的数据量的比率；
若每个信源的所述比率大于等于预设比率，则执行基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率的步骤。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若存在所述比率小于所述预设比率的目标信源，则判断所述目标信源是否在预先设置的信源库中；
若所述目标信源在所述信源库中，则调整对所述目标信源的爬取频率为第二爬取频率，其中，所述第二爬取频率小于所述第一爬取频率；
若所述目标信源不在所述信源库中，则触发提醒是否需要继续对所述目标信源进行数据爬取。


5.根据权利要求2所述的方法，其特征在于，确定排序后每个信源所处的位置次序所处的位置范围，基于每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率包括：
若目标信源所处的位置次序所处的位置范围为第一位置范围，调整对所述目标信源的爬取频率为第三爬取频率，其中，所述第三爬取频率小于所述第一爬取频率；
若目标信源所处的位置次序所处的位置范围为第二位置范围，调整对所述目标信源的爬取频率为第四爬取频率，其中，所述第四爬取频率小于所述第一爬取频率且所述第四爬取频率大于所述第三爬取频率，其中，所述第二位置范围内的位置次序的最小值大于所述第一位...

【专利技术属性】
技术研发人员：陈发发，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11