异常流量的检测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种异常流量的检测方法、装置、计算机设备及存储介质，所述方法包括：对监控对象的历史流量数据进行筛选，获取目标流量数据，对目标流量数据进行回归分析，建立流量预测模型，使用该流量预测模型对监控对象的流量数据进行预测，获取在预设时间段内监控对象的流量数据的预测结果，再按照预设的统计方式对预测结果进行统计分析，得到监控对象的流量告警阈值，同时，当监控对象的实时流量数据大于流量告警阈值时，进一步获取监控对象的实时访问日志，若实时访问日志的响应时间大于响应时间阈值，则进行异常流量告警。本发明专利技术的实施例能够提高告警阈值的准确度，并结合服务的响应时间进行判断，从而提高异常流量检测的准确率。

Detection Method, Device, Computer Equipment and Storage Media of Abnormal Flow

【技术实现步骤摘要】
异常流量的检测方法、装置、计算机设备及存储介质
本专利技术涉及软件监控
，尤其涉及一种异常流量的检测方法、装置、计算机设备及存储介质。
技术介绍
在应对数量巨大的用户群体时，为了保证网站的服务端的服务器能够正常运行，为用户提供正常的访问服务，则需要对服务端的网络流量的异常情况进行监控，以便及时发现并解决服务端的异常问题，以免异常问题的扩大化，造成更大的损失，因此，对于服务端的网络流量状态的监控是必不可少的运维项目。目前，针对服务端的网络流量数据，主要是通过在监控系统中设置告警阈值进行预警的方式进行监控，例如，在监测点设置采集端，定期将流量数据收集并反馈至监控系统，若收集的网络流量数据超过该告警阈值，监控系统则发送告警提示给相关的运维人员。但是，监控系统的告警阈值一般是根据历史经验进行设置，根据历史经验设置的告警阈值的准确度不高，并且在到达告警阈值时，亦不能说明目前已影响到服务器正常运行，容易造成误判，因此，现有的网络流量监控方法中异常流量的检测准确率不高，导致不必要的告警邮件的发送，给工作人员增加工作负担。
技术实现思路
本专利技术实施例中提供一种异常流量的检测方法、装置、计算机设备及存储介质，以解决目前服务器的网络流量异常检测的准确率低的问题。一种异常流量的检测方法，包括：从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；对所述目标流量数据进行回归分析，建立流量预测模型；使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；按照预设的统计方式对所述预测结果进行统计分析，得到所述监控对象的流量告警阈值；获取所述监控对象的实时流量数据；若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。一种异常流量的检测装置，包括：样本筛选模块，用于从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；模型构建模块，用于对所述目标流量数据进行回归分析，建立流量预测模型；流量预测模块，用于使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；阈值设置模块，用于按照预设的统计方式对所述预测结果进行统计分析，得到所述监控对象的流量告警阈值；流量采集模块，用于获取所述监控对象的实时流量数据；日志查询模块，用于若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；异常告警模块，用于若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述异常流量的检测方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述异常流量的检测方法的步骤。上述异常流量的检测方法、装置、计算机设备及存储介质，通过对监控对象的历史流量数据进行筛选处理，获取目标流量数据，将异常的流量数据删除，得到监控对象在正常状态下的历史流量数据，并对目标流量数据进行回归分析，建立流量预测模型，使用流量预测模型对监控对象的流量数据进行预测，获取在预设时间段内监控对象的流量数据的预测结果，使得工作人员掌握能够掌握监控对象在未来的时间段内的流量数据的变化趋势，按照预设的统计方式对预测结果进行统计分析，得到监控对象的流量告警阈值，使得告警阈值的设置规范化，提高告警阈值的准确度，从而能够提高异常流量检测的准确率，同时，当监控对象的实时流量数据大于流量告警阈值时，进一步获取监控对象的实时访问日志，使用实时访问日志中的响应时间与预设的响应时间阈值进行进一步地对比，当响应时间大于预设的响应时间阈值时，进行异常流量告警，从而通过使用实时响应时间与响应时间阈值对比分析，排除因瞬时流量突变而出现的误告警情况，进一步提高异常流量检测的准确率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中异常流量的检测方法的一应用环境示意图；图2是本专利技术一实施例中异常流量的检测方法的一流程图；图3是本专利技术实施例中异常流量的检测方法中对实时流量数据和预测流量数据进行对比的一具体流程图；图4是本专利技术实施例中异常流量的检测方法中对历史流量数据进行筛选的一具体流程图；图5是本专利技术实施例中异常流量的检测方法中确定响应时间阈值的一具体流程图；图6是本专利技术实施例中异常流量的检测方法中计算响应时间阈值的一具体流程图；图7是本专利技术一实施例中异常流量的检测装置的一原理框图；图8是本专利技术一实施例中计算机设备的一示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请实施例提供的异常流量的检测方法，可应用在如图1的应用环境中，该应用环境包括监控对象、监控端和服务端，其中，监控端和监控对象之间通过网络进行连接，服务端和监控端之间通过网络进行连接。监控端对监控对象进行监控，服务端从监控端获取历史流量数据进行统计分析，设置流量告警阈值，并根据监控端监控到的实时流量数据和监控对象的请求响应时间进行异常流量告警检测。该监控对象具体可以是独立的服务器或者多个服务器组成的服务器集群，监控端具体可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。本专利技术实施例提供异常流量的检测方法应用于服务端。在一实施例中，图2示出本实施例中异常流量的检测方法的一流程图，该方法应用在图1中的服务端，用于对监控对象的异常流量进行检测和告警。如图2所示，该异常流量的检测方法包括步骤S10至步骤S70，详述如下：S10：从预设的流量信息库中获取监控对象的历史流量数据，并对历史流量数据进行筛选处理，获取目标流量数据。在本实施例中，监控对象是网站用于提供访问服务的服务器或者服务器集群，服务器集群是指服务商使用多个服务器集中进行同一种服务的方式，预设的流量信息库是服务端预先设置用于存储监控到的网络流量数据的数据库，网络流量是单位时间内服务器被请求访问的次数。具体地，服务端可以使用Ganglia或者Zabbix等监控工具对监控对象进行监控，服务端预先使用监控工具对监控对象的网络流量进行监控，并将监控得到的网络流量数据存储到预设的流量信息库中，得到历史流量数据，该历史流量数据包括服务器标识、监控本文档来自技高网...

【技术保护点】
1.一种异常流量的检测方法，其特征在于，所述异常流量的检测方法包括：从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；对所述目标流量数据进行回归分析，建立流量预测模型；使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；按照预设的统计方式对所述预测结果进行统计分析，得到所述监控对象的流量告警阈值；获取所述监控对象的实时流量数据；若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。

【技术特征摘要】
1.一种异常流量的检测方法，其特征在于，所述异常流量的检测方法包括：从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据；对所述目标流量数据进行回归分析，建立流量预测模型；使用所述流量预测模型对所述监控对象的流量数据进行预测，获取在预设时间段内所述监控对象的流量数据的预测结果；按照预设的统计方式对所述预测结果进行统计分析，得到所述监控对象的流量告警阈值；获取所述监控对象的实时流量数据；若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志，其中，所述实时访问日志包括访问请求和所述访问请求的响应时间；若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警。2.如权利要求1所述的异常流量的检测方法，其特征在于，在所述获取所述监控对象的实时流量数据之后，所述异常流量的检测方法还包括：根据所述实时流量数据的获取时间，从所述预测结果中，获取与所述实时流量数据对应的预测流量数据；计算所述实时流量数据与所述预测流量数据之间的偏差值；根据所述偏差值在预设的异常等级定义表中进行查询，确认所述监控对象的流量数据的异常等级，并根据所述异常等级对应的预设告警策略进行告警处理。3.如权利要求1或2所述的异常流量的检测方法，其特征在于，所述从预设的流量信息库中获取监控对象的历史流量数据，并对所述历史流量数据进行筛选处理，获取目标流量数据包括：从预设的流量信息库中获取所述监控对象的历史流量数据，其中，所述监控对象包括N台服务器，N为正整数，所述历史流量数据包括服务器标识和监控时间；将包含相同的所述服务器标识的历史流量数据保存到同一流量数据集中，得到N个所述流量数据集；针对每个所述流量数据集，按照所述历史流量数据的所述监控时间的时间顺序，对每个所述流量数据集中的所述历史流量数据进行排序，构建每台所述服务器的流量时序数据；根据N台所述服务器的流量时序数据，计算在同一时间下所述监控对象的流量特征数据，其中，所述流量特征数据包括最大流量值、最小流量值和平均流量值；获取满足预设的样本要求的所述流量特征数据作为所述目标流量数据。4.如权利要求1所述的异常流量的检测方法，其特征在于，在所述若所述实时流量数据大于所述流量告警阈值，则从预设的日志库中，获取所述监控对象的实时访问日志之后，并且在所述若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警之前，所述异常流量的检测方法还包括：获取所述实时访问日志中所述访问请求的访问类型，其中，所述访问类型包括静态资源请求和动态资源请求；若所述访问类型为所述静态资源请求，则将所述静态资源请求对应的响应时间阈值作为所述预设的响应时间阈值；若所述访问类型为所述动态资源请求，则将所述动态资源请求对应的响应时间阈值作为所述预设的响应时间阈值。5.如权利要求4所述的异常流量的检测方法，其特征在于，在所述若所述实时访问日志的所述响应时间大于预设的响应时间阈值，则进行异常流量告警之前，所述异常流量的检测方法还包括：从所述预设的日志库中，获取历史访问日志，其中，所述历史访问日志包括所述访问请求和所述访问请求的所述响应时间；检测所述历史访问日志中所述访问请求的访问类型，将所...

【专利技术属性】
技术研发人员：郑宇聪，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44