访问数据的监控方法及系统技术方案

本发明专利技术涉及一种访问数据的监控方法及系统。其中，所述访问数据的监控方法包括：在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息；根据各所述参数信息，生成对应的各日志信息；根据各所述日志信息进行可视化处理。本实施例的访问数据的监控方法，能够精确、全量、实时地处理客户端的访问数据。对由访问数据所生成的日志信息进行可视化处理，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。

【技术实现步骤摘要】

本专利技术涉及服务器领域，尤其涉及一种访问数据的监控方法及系统。
技术介绍
随着互联网使用的普及，网站架构越来越多的设计成RESTful风格的架构。因此，所产生的各个HTTP(HyperTextTransferProtocol，超文本传输协议)协议的接口承受越来越大的访问压力。其中，REST(RepresentationalStateTransfer)可以是一组架构约束条件和原则，满足这些约束条件和原则的应用程序或设计可以称为RESTful。目前，所产生的各个HTTP协议的接口访问量巨大，同时实现实时读写比较困难。主流处理方式有：例如，采用访问采样或心跳检测法，即随机采集很少的样本，作为对整体访问的概括。再例如，把所有数据写入如HDFS(HadoopDistributedFileSystem，分布式文件系统)系统，在需要获取数据时，再采用Map-Reduce(映射-归约)的方式离线计算。但采用访问采样或心跳检测法，容易以偏概全，无法做到完全精确，且监控的时间颗粒度无法自由调控。采用分布式文件存储虽然统计精确，但是计算耗时很长，无法做到实时监控，服务出现问题到解决问题所用周期过长。
技术实现思路
技术问题有鉴于此，本专利技术要解决的技术问题是，如何监控服务器的运行状态。解决方案为了解决上述技术问题，根据本专利技术的一实施例，提供了一种访问数据的监控方法，包括：在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息；根据各所述参数信息，生成对应的各日志信息；根据各所述日志信息进行可视化处理。为了解决上述技术问题，根据本专利技术的另一实施例，提供了一种访问数据的监控系统，包括：HTTP服务器，用于在接收到客户端的访问数据的情况下，获取与所述访问数据相关的各参数信息；队列服务器，与所述HTTP服务器相通信，用于存储所述HTTP服务器所获取的各所述参数信息；日志采集器，与所述队列服务器相通信，用于根据所述队列服务器所存储的各所述参数信息，生成对应的各日志信息；搜索服务器，与所述日志采集器相通信，用于存储所述日志采集器所生成的各所述日志信息；显示服务器，与所述搜索服务器相通信，用于根据所述搜索服务器所存储的各所述日志信息进行可视化处理。有益效果本实施例的访问数据的监控方法，能够精确、全量、实时地处理客户端的访问数据。对由访问数据所生成的日志信息进行可视化处理，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。进一步地，通过对日志信息的可视化处理，便于对日志信息中包括的各项数据的变化趋势进行分析，可以实现例如快速定位线上故障、预测未来服务器新增或者减少量等功能。根据下面参考附图对示例性实施例的详细说明，本专利技术的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本专利技术的示例性实施例、特征和方面，并且用于解释本专利技术的原理。图1示出根据本专利技术一实施例的访问数据的监控方法的流程图；图2示出根据本专利技术一实施例的访问数据的监控方法的另一流程图；图3示出根据本专利技术一实施例的访问数据的监控过程的示意图；图4示出根据本专利技术一实施例的搜索服务器的示意图；图5示出根据本专利技术一实施例的可视化图表(访问请求量)的示意图；图6示出根据本专利技术一实施例的可视化图表(客户端的远程IP地址)的示意图；图7示出根据本专利技术一实施例的可视化图表的(接口响应状态)示意图；图8示出根据本专利技术另一实施例的访问数据的监控方法的流程图；图9示出根据本专利技术另一实施例的访问数据的监控方法的另一流程图；图10示出根据本专利技术另一实施例的访问数据的监控方法的另一流程图；图11示出根据本专利技术另一实施例的访问数据的监控方法的流程图；图12示出根据本专利技术另一实施例的访问数据的监控方法的另一流程图；图13示出根据本专利技术一实施例的访问数据的监控装置的结构框图；图14示出根据本专利技术另一实施例的访问数据的监控方法的结构框图。具体实施方式以下将参考附图详细说明本专利技术的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本专利技术，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本专利技术同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本专利技术的主旨。实施例1图1示出根据本专利技术一实施例的访问数据的监控方法的流程图。如图1所示，所述访问数据的监控方法可以包括：在步骤S101中，在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息。在步骤S102中，根据各所述参数信息，生成对应的各日志信息。在步骤S103中，根据各所述日志信息进行可视化处理。本实施例的客户端可以包括各种类型的能够与服务器交互的设备(例如电脑、手机、平板电脑等)和软件(例如浏览器、应用程序等)，对此不作限定。本实施例不限定客户端访问服务器所产生的访问数据的具体类型。例如，访问数据可以包括客户端访问网页、视频、音频、图片或其他内容所产生的数据。作为本实施例的一个示例，用户可以在浏览器的搜索栏中输入网址例如http://www.youku.com/，以访问对应的网页。服务器在接收到需要访问网址http://www.youku.com/的网页访问请求的情况下，可以响应该网页访问请求并记录与该网页访问请求相关的各参数信息。其中，与访问数据相关的各参数信息可以包括例如IP地址(InternetProtocolAddress，互联网协议地址)、响应状态、服务名称等，对此不作限定。在实际应用过程中，可以根据分析需求，选择性地记录一种或多种参数信息。网络设备、系统及服务程序等，在运作时会产生日志信息。日志信息可以记载着日期、时间、使用者及动作等相关操作的描述，这些内容对系统的运营维持具有重要作用。本实施例不限定可视化处理的具体方式，例如可以将日志信息的统计结果通过表格、图形等可视化的形式进行展现。对日志信息进行可视化处理，可以更清楚地观察、分析日志信息包括的各项数据的变化趋势。进一步地，对可视化的日志信息包括的各项数据的变化趋势进行分析，可以实现例如快速定位线上故障、预测未来服务器新增或者减少量等功能。在一种可能的实现方式中，如图2所示，在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息(步骤S101)可以包括：在步骤S201中，HTTP服务器在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息。在步骤S202中，HTTP服务器将所获取的各所述参数信息写入队列服务器。本实施例的HTTP服务器(HttpServer)可以包括能够响应HTTP访问请求的各类服务器。其中，HTTP可以是客户端和服务器之间请求和应答的标准。进一步地，通过使用Web(网络)浏览器、网络爬虫或者其它的工具，客户端可以发起到服务器上指定端口的HTTP访问请求。应答的HTTP服务器将所存储的资源(例如HTML文件、视频、音本文档来自技高网...

【技术保护点】
一种访问数据的监控方法，其特征在于，包括：在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息；根据各所述参数信息，生成对应的各日志信息；根据各所述日志信息进行可视化处理。

【技术特征摘要】
1.一种访问数据的监控方法，其特征在于，包括：在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息；根据各所述参数信息，生成对应的各日志信息；根据各所述日志信息进行可视化处理。2.根据权利要求1所述的方法，其特征在于，在接收到客户端的访问数据的情况下，记录与所述访问数据相关的各参数信息，包括：超文本传输协议HTTP服务器在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息；HTTP服务器将所获取的各所述参数信息写入队列服务器。3.根据权利要求2所述的方法，其特征在于，HTTP服务器在接收到所述客户端的HTTP访问请求的情况下，获取与所述HTTP访问请求相关的各所述参数信息，包括：所述HTTP服务器在接收到所述HTTP访问请求的情况下，向所述客户端返回HTTP访问响应，并通过代码钩子获取与所述HTTP访问请求相关的各所述参数信息。4.根据权利要求2所述的方法，其特征在于，根据各所述参数信息，生成对应的各日志信息，包括：日志采集器从所述队列服务器获取各所述参数信息，并生成各所述参数信息对应的各所述日志信息；所述日志采集器将所生成的各所述日志信息写入搜索服务器。5.根据权利要求4所述的方法，其特征在于，根据各所述日志信息进行可视化处理，包括：显示服务器从所述搜索服务器获取各所述日志信息，并根据所获取的各所述日志信息生成可视化图表。6.根据权利要求2至5中任一项所述的方法，其特征在于，各所述参数信息包括以下至少一项：所述客户端的远程IP地址、所述HTTP服务器的当前IP地址、接口名称、接口响应状态、接口耗时、接口内存峰值和服务名称。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据各所述日志信息，获取预设时间段内的对HTTP服务器的调用峰值；在所述调用峰值超出第一范围的情况下，获取所述客户端对所述HTTP服务器的调用比例数据；在所述调用比例数据大于或等于第一阈值的情况下，确定所述客户端存在异常操作；或在所述调用比例数据小于第一阈值且大于或等于第二阈值的情况下，确定HTTP服务器存在异常；或在所述调用比例数据小于第二阈值的情况下，确定存在业务下线。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：对各所述日志信息进行多元回归分析，获取预设时间段内对所述客户端的访问的估计值；在所述估计值大于第三阈值的情况下，提示增加HTTP服务器的数量；或在所述估计值小于第四阈值的情况下，提示减少HTTP服务器的数量。9.一种访问数据的监控系统，其特征在于，包括：HTTP服务器，用于在接收到客户端的访问数据的情况下，获取与所述访问数据相关的各参数信息；队列服务器，与所述HTTP服务器相通信，用于存储所述HTTP服务器所获取的各所述参数信息；日志采集器，与所述队列服务器相通信，用于根据所述队列服务器所存储的...

【专利技术属性】
技术研发人员：王淀文，卢巍，杨忠伟，郝峰，顾思斌，潘柏宇，谢菲，
申请(专利权)人：合一网络技术北京有限公司，
类型：发明
国别省市：北京;11