网页数据爬取方法及装置制造方法及图纸

本发明专利技术公开了一种网页数据爬取方法及装置，涉及网络技术领域，主要目的在于实现对设置有身份验证的网站进行网页数据爬取的功能而发明专利技术。本发明专利技术的方法包括：确定待爬取网页的目标域名信息；从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；根据所述身份凭证对目标域名信息对应的网页进行数据爬取。本发明专利技术适用于对通过爬虫对网站中的数据进行爬取。

【技术实现步骤摘要】
网页数据爬取方法及装置
本专利技术涉及网络
，尤其涉及一种网页数据爬取方法及装置。
技术介绍
随着网名的逐步增多，网络中不同网站的访问量也逐步增多。通常，为了更为全面的获取到网站中数据，很多用户都喜欢通过网络爬虫来对网站中的数据进行爬取。其中，爬虫，通常被称为网络爬虫、网页蜘蛛或网络机器人。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。目前，在对网站中的数据进行爬取时，一般情况下爬虫是基于模仿用户的访问行为对网站中的页面按照一定次序进行数据的爬取。然而，在实际应用中，网络中的很多网站都设置有身份验证功能，当网站接收到访问请求时，会对访问者的身份进行验证，从而过滤掉无法通过验证的访问请求，由于爬虫仅仅是模拟用户的访问行为，并未具备身份凭证，因此，现有的爬虫在对此类具备身份验证的网站进行数据爬取时，由于未具备有身份凭证而无法通过身份验证，从而导致对该网站中数据的爬取失败。因此，如何实现对设置有身份验证的网站进行数据的爬取，成为了领域内亟待解决的问题。
技术实现思路
鉴于上述问题，本专利技术提供一种网页数据爬取方法及装置，主要目的在于实现对设置有身份验证的网站进行网页数据爬取的功能。为解决上述技术问题，第一方面，本专利技术提供了一种网页数据爬取方法，该方法包括：确定待爬取网页的目标域名信息；从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；根据所述身份凭证对目标域名信息对应的网页进行数据爬取。可选的，在所述从域名身份数据中，获取对应所述目标域名信息的身份凭证之前，所述方法还包括：注册网络监控接口程序；当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据，所述第一访问数据中包括所述身份凭证及域名信息，所述身份凭证包括身份标识及身份参数；根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储。可选的，在所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储之前，所述方法还包括：确定所述域名身份数据中是否存在所述域名信息及所述身份标识；所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储，包括：若确定所述域名身份数据中不存在所述域名信息及所述身份标识，则根据所述身份凭证中的身份标识、身份参数及域名信息构建所述域名身份数据，并将所述域名身份数据进行存储；若确定所述域名身份数据中存在所述域名信息及所述身份标识，则根据所述身份参数更新所述域名身份数据，并将所述域名身份数据进行存储。可选的，所述当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据包括：当检测到目标浏览器中发出请求信息时，通过所述网络监控接口程序获取所述请求信息，并从所述请求信息中获取对应所述请求信息的第一访问数据；和/或，当检测到目标浏览器中接收响应信息时，通过所述网络监控接口程序获取所述响应信息，并从所述响应信息中获取对应所述响应信息的第一访问数据；和/或，当检测到目标浏览器完成访问操作后，通过所述网络监控接口程序从浏览器预设位置中获取对应所述访问操作的第一访问数据。可选的，所述方法还包括：在爬取所述目标域名信息对应的网页时，获取第二访问数据，所述第二访问数据是爬取所述目标域名信息对应的网页时的访问数据，所述第二访问数据中包括所述目标域名信息及身份凭证；根据所述第二访问数据，确定所述域名身份数据中是否存在所述目标域名信息及所述身份凭证中的身份标识；若是，则根据所述第二访问数据更新所述域名身份数据；若否，则根据所述第二访问数据中的身份凭证及目标域名信息添加至所述域名身份数据中。可选的，所述在爬取所述目标域名信息对应的网页时，获取第二访问数据包括：当向目标域名信息对应的网页发出请求信息时，获取发出的请求信息，并从所述发出的请求信息中获取第二访问数据；和/或，当从所述目标域名信息对应的网页接收响应信息时，获取接收的响应信息，并从所述接收的响应信息中获取第二访问数据；和/或，当完成所述目标域名信息对应的网页的数据爬取时，从预置位置中获取对应所述数据爬取的第二访问数据。第二方面，本专利技术还提供了一种网页数据爬取装置，该装置包括：第一确定单元，用于确定待爬取网页的目标域名信息；第一获取单元，用于从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；爬取单元，用于根据所述身份凭证对目标域名信息对应的网页进行数据爬取。可选的，所述装置还包括：注册单元，用于注册网络监控接口程序；第二获取单元，用于检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据，所述第一访问数据中包括所述身份凭证及域名信息，所述身份凭证包括身份标识及身份参数；生成单元，用于根据所述身份凭证及域名信息生成域名身份数据，，并将所述域名身份数据进行存储。可选的，所述装置还包括：第二确定单元，用于确定所述域名身份数据中是否存在所述域名信息及所述身份标识；所述生成单元，包括：构建模块，用于若确定所述域名身份数据中不存在所述域名信息及所述身份标识，则根据所述身份凭证中的身份标识、身份参数及域名信息构建所述域名身份数据，并将所述域名身份数据进行存储；更新模块，用于若确定所述域名身份数据中存在所述域名信息及所述身份标识，则根据所述身份参数更新所述域名身份数据，并将所述域名身份数据进行存储。可选的，所述第二获取单元包括：第一获取模块，用于当用户在目标浏览器中发出请求信息时，通过所述网络监控接口程序获取所述请求信息，并从所述请求信息中获取对应所述请求信息的第一访问数据；第二获取模块，用于当用户在目标浏览器中接收响应信息时，通过所述网络监控接口程序获取所述响应信息，并从所述响应信息中获取对应所述响应信息的第一访问数据；第三获取模块，用于当用户在目标浏览器完成访问操作后，通过所述网络监控接口程序从浏览器预设位置中获取对应所述访问操作的第一访问数据。可选的，所述装置还包括：第三获取单元，用于在爬取所述目标域名信息对应的网页时，获取第二访问数据，所述第二访问数据是爬取所述目标域名信息对应的网页时的访问数据，所述第二访问数据中包括所述目标域名信息及身份凭证；第三确定单元，用于根据所述第二访问数据，确定所述域名身份数据中是否存在所述目标域名信息及所述身份凭证中的身份标识；更新单元，用于若确定所述域名身份数据中存在所述目标域名信息及所述身份凭证中的身份标识，则根据所述第二访问数据更新所述域名身份数据；添加单元，用于若确定所述域名身份数据中未存在所述目标域名信息及所述身份凭证中的身份标识，则根据所述第二访问数据中的本文档来自技高网...

【技术保护点】
1.一种网页数据爬取方法，其特征在于，包括：/n确定待爬取网页的目标域名信息；/n从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；/n根据所述身份凭证对目标域名信息对应的网页进行数据爬取。/n

【技术特征摘要】
1.一种网页数据爬取方法，其特征在于，包括：
确定待爬取网页的目标域名信息；
从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；
根据所述身份凭证对目标域名信息对应的网页进行数据爬取。


2.根据权利要求1所述的方法，其特征在于，在所述从域名身份数据中，获取对应所述目标域名信息的身份凭证之前，所述方法还包括：
注册网络监控接口程序；
当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据，所述第一访问数据中包括所述身份凭证及域名信息，所述身份凭证包括身份标识及身份参数；
根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储。


3.根据权利要求2所述的方法，其特征在于，在所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储之前，所述方法还包括：
确定所述域名身份数据中是否存在所述域名信息及所述身份标识；
所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储，包括：
若确定所述域名身份数据中不存在所述域名信息及所述身份标识，则根据所述身份凭证中的身份标识、身份参数及域名信息构建所述域名身份数据，并将所述域名身份数据进行存储；
若确定所述域名身份数据中存在所述域名信息及所述身份标识，则根据所述身份参数更新所述域名身份数据，并将所述域名身份数据进行存储。


4.根据权利要求2所述的方法，其特征在于，所述当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据包括：
当检测到目标浏览器中发出请求信息时，通过所述网络监控接口程序获取所述请求信息，并从所述请求信息中获取对应所述请求信息的第一访问数据；和/或，
当检测到目标浏览器中接收响应信息时，通过所述网络监控接口程序获取所述响应信息，并从所述响应信息中获取对应所述响应信息的第一访问数据；和/或，
当检测到目标浏览器完成访问操作后，通过所述网络监控接口程序从浏览器预设位置中获取对应所述访问操作的第一访问数据。


5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：<...

【专利技术属性】
技术研发人员：满悦，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11