一种页面数据获取方法及装置制造方法及图纸

本申请实施例提供一种页面数据获取方法及装置，所述方法适用于目标站点的任一页面，该方法包括：确定所述页面为非登录认证页面，通过所述页面的页面处理任务，获取所述页面中的交互元素；针对任一交互元素，基于对所述交互元素的触发，获取触发的数据获取请求和基于所述数据获取请求得到的请求响应；对所述数据获取请求和所述请求响应进行处理，确定所述页面的页面数据。上述方法能够获取更全面的页面数据，提高前端页面安全防护的力度。提高前端页面安全防护的力度。提高前端页面安全防护的力度。

【技术实现步骤摘要】
一种页面数据获取方法及装置


[0001]本申请涉及网络
，尤其涉及一种页面数据获取方法及装置。

技术介绍

[0002]随着计算机技术和网络技术的发展，前端页面领域因为其展示性和能与用户产生直接交互的性质，受到企业的高度重视。而前端页面的这些性质，也为攻击者提供了盗取企业数据、对系统进行破坏性攻击的入口，成为攻击者的目标。因此，由于前端漏洞导致的企业经济财产损失与日俱增。
[0003]目前，各行业的企业为了做好前端页面的安全防护，通过静态网页爬虫和动态网页爬虫获取页面数据，实现对网站的安全监测。但静态网页爬虫和动态网页爬虫获取的页面数据还远不够前端页面安全防护的需要。
[0004]因此，现在亟需一种页面数据获取方法及装置，能够获取更全面的页面数据，提高前端页面安全防护的力度。

技术实现思路

[0005]本申请实施例提供一种页面数据获取方法及装置，能够获取更全面的页面数据，提高前端页面安全防护的力度。
[0006]第一方面，本申请实施例提供一种页面数据获取方法，所述方法适用于目标站点的任一页面，该方法包括：确定所述页面为非登录认证页面，通过所述页面的页面处理任务，获取所述页面中的交互元素；针对任一交互元素，基于对所述交互元素的触发，获取触发的数据获取请求和基于所述数据获取请求得到的请求响应；对所述数据获取请求和所述请求响应进行处理，确定所述页面的页面数据。
[0007]上述方法中，针对网址信息中的任一页面，建立页面处理任务，确定该页面为非登录认证页面，通过页面的页面处理任务，获取该页面中的交互元素，针对任一交互元素，基于对该交互元素的触发，获取触发的数据获取请求和请求响应。相比于现有技术中根据动态网页爬虫和静态网页爬虫仅仅能获取到静态网页资源和动态网页资源来说，本申请可以触发前端页面的交互元素，获取交互元素的数据获取请求和请求响应。由于交互元素为前端页面与用户交互的元素。因此，数据获取请求和请求响应中的页面数据，更能体现页面的“接口”信息，更能体现前端页面的安全漏洞信息，以及页面的“健康”状况。如此，可以基于本申请中页面数据实现更安全的防护措施。
[0008]可选的，基于对所述交互元素的触发，获取触发的数据获取请求和基于所述数据获取请求得到的请求响应，包括：确定所述页面的页面DOM树，对所述页面DOM树进行遍历采集；从所述页面DOM树中采集到交互元素时，根据所述交互元素的元素类型，确定所述交互元素对应的模拟触发条件；对所述交互元素执行所述模拟触发条件，触发所述交互元素，从而得到所述数据获取请求和所述请求响应。
[0009]上述方法中，可以通过设置交互元素对应模拟触发条件的方式对交互元素触发。
且通过遍历页面的页面DOM树的方式，可以采集页面资源信息，且在遍历到交互元素时，可以触发交互元素获取对应的数据获取请求和请求响应。如此，保证页面数据的全面性。
[0010]可选的，所述页面为下级页面；通过所述页面的页面处理任务，获取所述页面中的交互元素之前，还包括：通过页面处理进程，从所述页面的上级页面中拦截页面跳转请求；根据所述页面跳转请求生成所述页面的页面处理任务。
[0011]上述方法中，目标站点中的页面可以分为上级页面和下级页面关系，上级页面可以在对应的元素被触发后跳转到下级页面。为了保证页面处理过程中，针对该页面的页面数据获取完整性，保证在该页面未处理完成时，不会跳转到该页面的下级页面。因此，可以通过拦截页面跳转请求的方式将该页面跳转到下级页面的动作拦截。另外，通过基于页面跳转请求生成页面处理任务的方式，可以使得页面处理进程在处理该页面的页面处理任务后，再获取其它任一未处理的页面处理任务进行处理。如此，可以保证目标站点中需要处理的页面均得到处理，不会造成遗漏，进一步保证目标站点的页面数据获取的完整性，若需要对目标站点的运行“健康”状况需要分析时，分析结果更准确。
[0012]可选的，根据所述页面跳转请求生成所述页面的页面处理任务之后，还包括：确定所述页面的页面处理任务的任务类型；根据所述任务类型确定所述页面的页面处理任务的处理优先级；按照所述处理优先级，将所述页面的页面处理任务加入所述目标站点注册的全局任务队列。
[0013]上述方法中，根据页面处理任务的处理优先级在全局任务队列进行排列。如此，可以将涉及安全数据越多的页面对应的任务类型，设置为处理优先级越高，可以加快对页面安全防护的重要数据获取的速度，提高页面数据获取质量。
[0014]可选的，对所述数据获取请求和所述请求响应进行处理，确定所述页面的页面数据，包括：确定所述全局任务队列中的所有页面处理任务处理完成，对各页面的数据处理请求和各页面的请求响应进行分析处理，确定所述目标站点的站点基础数据，所述站点基础数据包括总的url数、站点的内链数和外链数、站点url种类变化趋势、站点页面状态码信息、站点的资源类型分布，所述站点url种类变化趋势是根据历史各轮站点安全监测获取的页面数据统计得到的。
[0015]上述方法中，还可以在全局任务队列中的所有页面处理任务处理完成后，对各页面的数据处理请求和请求响应进行分析处理，获取目标站点的站点基础数据。如此，可以获取站点的安全漏洞信息、站点的“健康”状况，以及站点的资源变化趋势等。如此，便于站点的安全运维。
[0016]可选的，还包括：确定所述页面为登录认证页面，获取所述登录认证页面的可输入元素；根据所述可输入元素的元素类型，确定存在预设登录方法；根据所述预设登录方法，将预设元素值设置到对应的可输入元素，和/或识别所述登录认证页面中的验证元素值，将所述验证元素值设置到对应的可输入元素获取验证请求和基于所述验证请求得到的验证响应；对所述验证请求和所述验证响应进行处理，确定所述登录认证页面的页面数据。
[0017]上述方法中，通过设置登录认证页面的可输入元素的元素类型对应的预设登录方法，实现主动登录认证页面，完成登录认证页面的认证，减少人工操作，降低人工成本。
[0018]可选的，还包括：根据所述可输入元素的元素类型，确定不具有预设登录方法，则发起人工干预提示。
[0019]上述方法中，通过人工干预提示方式，提示用户需要人工介入。这里的人工干预提示方式可以是通过页面提示框或语音的方式提示，还可以通过配置的邮箱地址、手机号码等发送人工干预提示。保证人工干预提示的有效性，进一步，保证对于目标站点获取页面数据的可靠性。
[0020]可选的，发起人工干预提示之后，还包括：记录所述登录认证页面中可输入元素的输入元素值；根据所述输入元素值生成预设登录方法。
[0021]上述方法中，还可以根据人工输入登录认证页面中可输入元素的输入元素值生成预设登录方法。如此，针对同一个登录认证页面，只需要人工干预一次即可，在目标站点的周期性安全监测(针对目标站点周期性的获取页面数据)场景中，可以大大降低工作量，降低人工成本。
[0022]可选的，获取触发的数据获取请求之前，还包括：接收拦截请求配置，所述拦截请求配置中包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种页面数据获取方法，其特征在于，所述方法适用于目标站点的任一页面，包括：确定所述页面为非登录认证页面，通过所述页面的页面处理任务，获取所述页面中的交互元素；针对任一交互元素，基于对所述交互元素的触发，获取触发的数据获取请求和基于所述数据获取请求得到的请求响应；对所述数据获取请求和所述请求响应进行处理，确定所述页面的页面数据。2.如权利要求1所述的方法，其特征在于，基于对所述交互元素的触发，获取触发的数据获取请求和基于所述数据获取请求得到的请求响应，包括：确定所述页面的页面DOM树，对所述页面DOM树进行遍历采集；从所述页面DOM树中采集到交互元素时，根据所述交互元素的元素类型，确定所述交互元素对应的模拟触发条件；对所述交互元素执行所述模拟触发条件，触发所述交互元素，从而得到所述数据获取请求和所述请求响应。3.如权利要求1所述的方法，其特征在于，所述页面为下级页面；通过所述页面的页面处理任务，获取所述页面中的交互元素之前，还包括：通过页面处理进程，从所述页面的上级页面中拦截页面跳转请求；根据所述页面跳转请求生成所述页面的页面处理任务。4.如权利要求3所述的方法，其特征在于，根据所述页面跳转请求生成所述页面的页面处理任务之后，还包括：确定所述页面的页面处理任务的任务类型；根据所述任务类型确定所述页面的页面处理任务的处理优先级；按照所述处理优先级，将所述页面的页面处理任务加入所述目标站点注册的全局任务队列。5.如权利要求4所述的方法，其特征在于，对所述数据获取请求和所述请求响应进行处理，确定所述页面的页面数据，包括：确定所述全局任务队列中的所有页面处理任务处理完成，对各页面的数据处理请求和各页面的请求响应进行分析处理，确定所述目标站点的站点基础数据，所述站点基础数据包括总的url数、站点的内链数和外链数、站点url种类变化趋势、站点页面状态码信息、站点的资源类型分布，所述站点url种类变化趋势是根据历史各轮站点安全监测获取的页面数据统计得到...

【专利技术属性】
技术研发人员：杨丹涛，刘震，周骏，涂浩黎，熊庆昌，张亦弛，邹小飞，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：