一种海量日志信息的处理方法技术

本发明专利技术公开了一种海量日志信息的处理方法，客户端对采集到的新增的日志信息进行过滤，能够减少传输日志信息时无效日志信息所占用的传输带宽，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，日志服务器将告警日志信息及时发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，并将非告警日志信息分别存储到不同的存储位置中，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率。

Method for processing massive log information

The invention discloses a method for processing a mass of log information, the client to filter the collected additional log information, log information transmission can reduce invalid transmission bandwidth occupied by the log information, the log information real-time transmission real-time to the server, the real-time low delay log information sent to the server. The cycle can effectively shorten the log information collection, log server will promptly send alarm information to the alarm log processing device, can satisfy the log information of alarm information in timely output requirements, and non alarm log information respectively stored in different storage locations, log information categories and to log information for operation the corresponding categories, making the log operating platform in the process of operation of the log information, according to the operation category To determine the storage location of the log information, can quickly and effectively shorten the processing time of the log data, improve processing efficiency.

【技术实现步骤摘要】

本专利技术涉及数据处理技术，尤其是涉及一种海量日志信息的处理方法。
技术介绍
对于业务支撑网运营管理系统来说，随着支撑网络和业务的复杂性和多元性逐渐加强，业务监控的粒度也越来越细，由此产生的服务日志信息量越来越多，特别是业务服务日志的数据量更大。一个通信运营商一天的业务服务日志可能会超过200G，而且这些业务服务日志分布在几十台服务器上。同时，业务监控中心对告警信息的实时性要求越来越高。如何快速完成日志的采集、提炼处理、存储、高效查询成为业务支撑网运营管理系统关注的重点。目前，针对日志信息的采集方法主要有两种方式来实现：采集方法一：集中处理服务器（或称为服务器）上的处理程序通过Telnet采集（即远程控制命令采集）分布在各个日志服务器上的日志信息，或者通过日志服务器上的代理程序将日志信息收集到集中处理服务器上；集中处理服务器上的处理程序根据日志提炼规则或者提炼逻辑进行日志的提炼处理。采集方法二：各个日志服务器（或称为客户端）对自身的日志数据进行净化处理，净化处理包括对日志信息的抽取、合并和保存等操作过程，并将净化处理后的日志数据上传到集中处理服务器，集中处理服务器将收到的日志数据文件根据时间周期合并为一个文件，进行提炼处理。现有技术针对日志信息的存储和操作通过以下两种方式来解决：存储和操作方法一：当日志信息提炼完成后，根据需要的要素保持到磁盘关系型数据库，通过SQL语句进行统计分析、告警信息过滤采集，通过标准SQL提供对外的查询；存储和操作方法二：当日志信息提炼后，保存到文件中，提供相关的通用接口，通过对文件全量的扫描，提供对外的统计处理服务。从上述采集方法中可以看出，现有的日志信息采集方法存在以下缺陷：采集方法一存在显著日志处理性能瓶颈，集中处理服务器采集到的各个日志服务器上的日志信息中包括大量无效的日志信息，传输这些无效的日志信息占用了大量的网络传输带宽，极大地影响了日志信息的采集速度和采集周期；更重要的是，随着业务日志达到一定规模，无效的日志信息对集中服务器处理压力就变得更为显著，这样就造成集中处理服务器上的处理逻辑越来越复杂，处理日志信息、输出日志信息中的告警信息的及时性得不到保证；采集方法二虽然在日志服务器上先对日志进行净化，净化处理包括抽取、合并和保存等操作过程，这就使得净化处理延长了日志信息采集的周期，同样极大地影响了日志信息的采集速度；以及在后续集中服务器对日志信息的存储查询处理中，输出日志信息中的告警信息的及时性得不到保证。从上述存储查询方法中可以看出，现有的存储操作方法存在以下缺陷：存储和操作方法一：将提炼处理后的日志信息保存在磁盘关系型数据库（比如Oracle）中，通过SQL语句对其中的海量数据进行检索和查询，对于复杂的数据分析场景，往往需要对多张大表做笛卡尔集合后再关联查询，造成等待响应的时间过长，无法满足对日志信息中的告警信息及时输出的要求；存储和操作方法二：处理后的数据保存在文件中，通常文件根据时间段来组织的。故后续的分析处理，一般会对一个文件全量进行扫描处理，显然查询和分析处理的效率比较低，也无法满足对日志信息中的告警信息及时输出的要求。可见，现有的针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的查询和统计处理的处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。
技术实现思路
本专利技术实施例提供一种海量日志信息的处理方法，包括：日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。根据本专利技术实施例的技术方案，在本专利技术实施例提供的用于日志信息采集的海量日志信息的处理方法中，日志客户端对采集到的新增的日志信息进行过滤，能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期；在本专利技术实施例提供的用于日志信息的存储的海量日志信息的处理方法中，日志服务器将告警日志信息及时发送给告警处理装置，能够快速地将告警信息发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述服务器的内存数据库或者文件系统，并且，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，并且关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率，从而能够解决现有技术中针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的操作处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明图1是本专利技术实施例提供的海量日志信息的处理方法的一工作流程图。具体实施方式以下结合附图对本专利技术的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1示出了本专利技术实施例提供的一种海量日志信息的处理方法的工作流程图，该方法应用于日志操作平台对日志服务器存储的日志信息进行操作，该方法包括：步骤101、日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；步骤102、根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；具体地，当操作请求的操作类别为统计操作时，确定操作请求所针对的日志信息的存储位置为关系型数据库；当操作请求的操作类型为实时查询操作时，确定操作请求所针对的日志信息的存储位置为日志服务器的内存数据库；当操作请求的操作类型为非实时查询操作时，确定操作请求所针对的日志信息的存储位置为文件系统；步骤103、根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。进一本文档来自技高网...

【技术保护点】
一种海量日志信息的处理方法，其特征在于，包括：日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。

【技术特征摘要】
1.一种海量日志信息的处理方法，其特征在于，包括：日志操作平台接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括关系型数据库、所述日志服务器的内存数据库或者文件系统；关系型数据库中存储针对统计操作的日志信息，日志服务器的内存数据库中存储针对实时查询操作的日志信息，文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。2.根据权利要求1所述的方法，其特征在于，根据操作类别判断查询请求所针对的日志信息的存储位置，具体包括：当操作请求的操作类别为统计操作时，确定操作请求所针对的日志信息的存储位置为关系型数据库；当操作请求的操作类型为实时查询操作时，确...

【专利技术属性】
技术研发人员：黎健生，梁远鸿，
申请(专利权)人：柳州龙辉科技有限公司，
类型：发明
国别省市：广西;45