【技术实现步骤摘要】
本专利技术涉及网络异常检测，特别涉及一种多线程的网站异常检测方法及终端。
技术介绍
1、随着互联网的快速发展和科技进步，教育领域的线上化得到了空前的应用。各大教育机构及政府单位，都纷纷将相关的教学资源搬到了线上。其中web作为核心的软件载体，将作品展现给用户。随着应用内容及功能的不断丰富，其业务场景及需要测试的内容范围变的非常大，但是作为教育产品，其应用所提供的资源可靠性及网站可访问性显得尤为重要，其相较一般应用的发布更为谨慎。但是往往越是好的产品，其对应的服务发布及运营运维的往往更是频繁，需要消耗的验证时间是个不小的投入，但又不得不执行。
2、目前市面上常规的异常检测手段除了以人工测试为主之外，自动化的方案主要有两种，包括通过编写web ui自动化脚本来进行覆盖以及通过获取网页的link去遍历扫描检测。其存在缺点如下：
3、缺点一，如果是通过web ui自动化的方式来编写，确实是能够定位到相关页面的异常，但是网站到后期功能繁多、资源过万，通过一个个人工地去编写脚本覆盖，工作量很大，而且后期维护工作投入不可控；如果是通过网页link去遍历检测，覆盖率相当有限，目前大多的网页跳转链接都是隐式链接(通过javascript内部方法跳转的地址，非通过<a>标签的href跳转的地址)，如果网站首页刚好都是隐式地址，则该方案将只能访问首页本身，没法扩展任一更多的网页地址。
4、缺点二、不管是写web自动化脚本，还是通过link来进行网页遍历，都会碰到一个执行效率的问题，如果网站的网页子链接过
5、缺点三，网页上的展现内容，受到服务端的稳定性因素影响，往往是概率性异常，其遍历检测的过程中，也许只是短暂性的错误，但是对应现有的常规手段而言，也许是能检测出过程中的异常断言，但是并不知道具体发生了什么，可能是某个依赖服务端异常，也可能是本地网络环境异常，等到报告结果出来的时候，已经恢复了现场，并不能及时分析出结果。
6、缺点四，link访问的方式，更多在于页面的加载完整性检测，最多只能确保内容加载正常，许多的网站错误都是基于一些前置的操作项，比如点击操作打开了某个窗口，才弹窗异常，此类问题，目前业内并没有公布什么通用的检测手段。
7、缺点五，通过link访问的方式，如果页面存在嵌套其他外部站点网页的情况，直接通过本主网址的网页域名去拼接出来的地址，将是一个无效的网址，那么请求必然是错误的，而这部分将成为测试噪点。
8、缺点六，许多网站的网页其实是一个动态内容，会包含许多动态链接，如果是爬虫过程中发现一个页面是异常网页，比如打不开的网址，这时候开发/测试人员其实也会无从下手排查，因为不知道这个路径是哪里来的。
9、缺点七，不管是写web自动化脚本，还是通过link来进行网页遍历的方式，都会碰到一个异常终止的问题，假设由于程序本身的服务稳定性或者其他因素导致程序中断，原来的网页解析进度会被终止，需要从头开始发起遍历执行，需要消耗这部分重复的解析时间投入。
10、缺点八，不同的网站针对游客的访问权限不一，有些游客并无法全面浏览，或者是功能操作限制，但是如果每个网页访问都需要登录操作的话，无疑会增加非常多的一个过程消耗时间。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种多线程的网站异常检测方法及终端，有效提高网页异常检测效率。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种多线程的网站异常检测方法，包括步骤：
4、s1、后台管理模块获取待测网站并配置基础信息；
5、s2、基于所述基础信息，定时构建网页检测任务并配置检测网页需要遍历的深度后下发至待消费队列；
6、s3、网页检测模块实时获取所述待消费队列的多个所述网页检测任务，并通过对应数量的线程根据各所述网页检测任务的所述基础信息和需要遍历的深度，进行网页异常检测及逐级网页地址解析；
7、s4、所述网页检测模块将检测结果和解析结果返回至所述后台管理模块。
8、为了解决上述技术问题，本专利技术采用的另一技术方案为：
9、一种多线程的网站异常检测终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种多线程的网站异常检测方法中的步骤。
10、本专利技术的有益效果在于：提供一种多线程的网站异常检测方法及终端，通过系统业务平台化管理将网页运行过程分为后台管理模块和网页检测模块两方面，其中后台管理模块作为整个系统中枢的核心，主要负责对待测网站进行基础信息配置和网页检测任务构建，针对每个网站配置专门的检测任务的构建频率和检测深度，再由网页检测模块进行相应的多线程检测及解析，一方面针对当前页面的内容进行判断是否存在异常，一方面解析出当前页面的所有可访问地址，并将结果返回至后台管理模块进行数据统计，从而在后台收到异常的检测结果时能及时响应处理，也能在最终检测完成时在后台看到整体的一个检测结果，有效提高网页异常检测效率。
本文档来自技高网...【技术保护点】
1.一种多线程的网站异常检测方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种多线程的网站异常检测方法，其特征在于，所述后台管理模块包括数据管理子模块，所述步骤S1具体为：
3.根据权利要求2所述的一种多线程的网站异常检测方法，其特征在于，所述系统启动时基本配置具体包括网页解析线程数配置、无头模式启用/禁用配置和页面超时时间配置；
4.根据权利要求3所述的一种多线程的网站异常检测方法，其特征在于，所述后台管理模块还包括构建管理子模块，所述步骤S2具体为：
5.根据权利要求4所述的一种多线程的网站异常检测方法，其特征在于，所述步骤S3具体为：
6.根据权利要求5所述的一种多线程的网站异常检测方法，其特征在于，所述步骤S32中对所述基础信息和所述网页遍历深度进行初始化，还包括：
7.根据权利要求5所述的一种多线程的网站异常检测方法，其特征在于，所述步骤S33还包括：
8.根据权利要求5所述的一种多线程的网站异常检测方法，其特征在于，所述后台管理模块还包括数据统计子模块，所述步骤S4具体为：p>
9.根据权利要求8所述的一种多线程的网站异常检测方法，其特征在于，所述步骤S4还包括：
10.一种多线程的网站异常检测终端，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一所述的一种多线程的网站异常检测方法中的步骤。
...【技术特征摘要】
1.一种多线程的网站异常检测方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种多线程的网站异常检测方法，其特征在于，所述后台管理模块包括数据管理子模块，所述步骤s1具体为：
3.根据权利要求2所述的一种多线程的网站异常检测方法，其特征在于，所述系统启动时基本配置具体包括网页解析线程数配置、无头模式启用/禁用配置和页面超时时间配置；
4.根据权利要求3所述的一种多线程的网站异常检测方法，其特征在于，所述后台管理模块还包括构建管理子模块，所述步骤s2具体为：
5.根据权利要求4所述的一种多线程的网站异常检测方法，其特征在于，所述步骤s3具体为：
6.根据权利要求5所述的一种多线程的网站异常检测...
【专利技术属性】
技术研发人员：刘德建，梁益冰，林武，宋全程，魏晖，陈宏，
申请(专利权)人：福建天晴在线互动科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。