日志处理方法、装置及系统制造方法及图纸

本申请公开了一种日志处理方法、装置及系统。其中，该方法包括：数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器。本申请通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总和计算，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的技术问题。

Log processing method, device and system

The invention discloses a log processing method, a device and a system. Among them, the method comprises: a data processing server receives the log information from the service server; data processing server log information is aggregated according to predetermined rules, get the summary results; and the data processing server will summarize the results back to the server. The application server to log information are collected through data processing, realizes the collection and calculation of distributed log information, not only to ensure the efficiency of the log of information processing, and can greatly reduce the log information. The performance of the business server's influence, to solve the technical problems seriously affect the processing performance of the server business a large number of log information related technology.

【技术实现步骤摘要】

本申请涉及数据处理领域，具体而言，涉及一种日志处理方法、装置及系统。
技术介绍
在数据检测和分析领域，经常会收集大量的用户行为、业务操作等数据，用于根据数据分析业务需求进行统计和分析，这种数据通常通过日志的形式存储于业务服务器上。业务服务器根据数据量每小时或每几个小时读取日志中的文本数据，并存储于数据表中，以便于后续的数据分析处理。业务服务器在完成一天或一定时间量的数据收集时，则会对当天、当周或当月的数据按照业务需求进行汇总计算，并存储于业务服务器的汇总结果表中。目前，有数据分析业务需求的系统一般都是大数据量，或者高实时性的系统，对业务服务器性能要求很高，特别是存在数据交互时，对磁盘的输入/输出(即I/O)压力很大，导致在系统进行日志读取或者汇总计算时，会严重影响业务服务器的性能。针对相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种日志处理方法、装置及系统，以解决相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题。为了实现上述目的，根据本申请的一个方面，提供了一种日志处理方法。该方法包括：数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器。进一步地，数据处理服务器将汇总结果返回给业务服务器包括：检测业务服务器是否处于空闲状态；以及在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。进一步地，数据处理服务器将汇总结果返回给业务服务器包括：数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。进一步地，数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果包括：数据处理服务器将接收到的日志信息进行存储；数据处理服务器判断存储的日志信息是否达到预设量；以及数据处理服务器在判断出存储的日志信息达到预设量时，按照预设规则对存储的日志信息进行汇总，得到汇总结果。进一步地，在数据处理服务器接收来自业务服务器的日志信息之前，该方法还包括：批量获取日志信息；对日志信息进行解析，得到日志解析结果；以及将日志解析结果发送至数据处理服务器。为了实现上述目的，根据本申请的另一方面，提供了一种日志处理装置。该装置包括：接收单元，用于使得数据处理服务器接收来自业务服务器的日志信息；汇总单元，用于使得数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及返回单元，用于使得数据处理服务器将汇总结果返回给业务服务器。进一步地，返回单元包括：检测模块，用于检测业务服务器是否处于空闲状态；以及第一返回模块，用于在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。进一步地，返回单元包括：第二返回模块，用于使得数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。为了实现上述目的，根据本申请的又一方面，提供了一种日志处理系统。该系统包括：业务服务器，用于将获取到的日志信息发送给数据处理服务器；以及数据处理服务器，用于接收来自业务服务器的日志信息，按照预设规则对日志信息进行汇总，得到汇总结果，并将汇总结果返回给业务服务器。进一步地，数据处理服务器还用于检测业务服务器是否处于空闲状态，其中，在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。本申请通过数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器，通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，进而达到了降低日志信息处理对业务服务器的性能的影响的效果。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请第一实施例的日志处理方法的流程图；图2是根据本申请第二实施例的日志处理方法的流程图；图3是根据本申请实施例的日志处理装置的示意图；以及图4是根据本申请实施例的日志处理系统的示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本申请实施例，提供了一种日志处理方法。图1是根据本申请第一实施例的日志处理方法的流程图，如图1所示，该方法包括如下的步骤S102至步骤S106：步骤S102，数据处理服务器接收来自业务服务器的日志信息。本申请实施例的数据处理服务可以是任意能够实现日志信息汇总分析的服务器，具体地，用户可以根据业务内容额外配置一台或是多台用于日志信息汇总和计算的服务器，该数据处理服务器能够与业务服务器进行数据通信，例如，接收业务服务器发送的数据以及向业务服务器发送数据等。本申请实施例的业务服务器可以具有获取日志信息、存储日志信息、解析日志信息、分析日志信息等业务处理功能。可选地，在数据处理服务器接收来自业务服务器的日志信息之前，该方法还包括：批量获取日志信息；对日志信息进行解析，得到日志解析结果；以及将日志解析结果发送至数据处理服务器。具体地，可以通过网络爬虫等爬取日志信息，并将日志信息存储于业务服务器的数据库中，业务服务器批量地从数据库中读取日志信息，例如，可以根据数据量每隔预设时间长度(例如，每隔1个小时)从数据库中读取日志信息，并对读取的日志信息进行解析，具体地可以通过日志处理程序对日志信息进行解析(例如，解析出日志信息中的IP地址、来源URL、访问时间等信息)，得到日志解析结果，并将日志解析结果直接发送给数据处理服务器。步骤S104，数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果。本申请实施例的预设规则为按照业务分析需求设置的规则，例如，可以是按照不同维度(例如，媒体维度、地域维度等)统计不同的指标的值(例如，用户访问数、用户数等指标)。具体地，如果当前需要分析不同地域的用户访问情况，此时数据处理服务器可以按照地域维度统计用户访问数，例如，分别统计北京、上海、广州等地区的用户访本文档来自技高网...

【技术保护点】
一种日志处理方法，其特征在于，包括：数据处理服务器接收来自业务服务器的日志信息；所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果；以及所述数据处理服务器将所述汇总结果返回给所述业务服务器。

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：数据处理服务器接收来自业务服务器的日志信息；所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果；以及所述数据处理服务器将所述汇总结果返回给所述业务服务器。2.根据权利要求1所述的方法，其特征在于，所述数据处理服务器将所述汇总结果返回给所述业务服务器包括：检测所述业务服务器是否处于空闲状态；以及在检测出所述业务服务器处于空闲状态时，将所述汇总结果返回给所述业务服务器。3.根据权利要求1所述的方法，其特征在于，所述数据处理服务器将所述汇总结果返回给所述业务服务器包括：所述数据处理服务器按照预设时间规则将所述汇总结果返回给所述业务服务器。4.根据权利要求1所述的方法，其特征在于，所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果包括：所述数据处理服务器将接收到的所述日志信息进行存储；所述数据处理服务器判断存储的日志信息是否达到预设量；以及所述数据处理服务器在判断出所述存储的日志信息达到所述预设量时，按照所述预设规则对所述存储的日志信息进行汇总，得到汇总结果。5.根据权利要求1所述的方法，其特征在于，在数据处理服务器接收来自业务服务器的日志信息之前，所述方法还包括：批量获取所述日志信息；对所述日志信息进行解析，得到日志解析结果；...

【专利技术属性】
技术研发人员：张良，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11