日志处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术的实施例提供了一种日志处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：通过统一的日志格式规范对多个业务系统的日志进行处理；通过正则表达式对所述多个业务系统的日志进行匹配，获取所述日志的日志格式规范的信息，所述日志格式规范的信息包括日志产生时间、日志等级、业务系统标识以及服务器标识；基于所述日志的所述日志格式规范的信息建立所述日志的索引；基于所述日志的索引将所述日志存储到目标数据库。本发明专利技术实施例的技术方案能够使各个业务系统的日志统一化，便于批量处理日志，能够提高日志的查询效率。

Log Processing Method, Device, Electronic Equipment and Storage Media

The embodiment of the present invention provides a log processing method, device, electronic device and storage medium, and relates to the field of computer technology. The method includes: processing logs of multiple business systems through a unified log format specification; matching logs of the multiple business systems through regular expressions to obtain information of the log format specification, which includes log generation time, log level, business system identification and server identification; and The information of the log format specification described in the log establishes an index of the log, and stores the log to the target database based on the index of the log. The technical scheme of the embodiment of the present invention can unify the logs of various business systems, facilitate batch processing of logs, and improve the query efficiency of logs.

【技术实现步骤摘要】
日志处理方法、装置、电子设备及存储介质
本专利技术涉及计算机
，具体而言，涉及一种日志处理方法、日志处理装置、电子设备以及计算机可读存储介质。
技术介绍
随着互联网技术的发展，各个业务系统的用户越来越多，随着用户量的增加，业务系统产生了海量的业务日志，如何高效的对业务日志进行处理成为了关注的焦点。在现有的技术方案中，各个业务系统的服务器的数量很多，但是业务系统并没有统一的日志平台，业务系统产生的业务日志没有统一的规范，在查询日志时要一台一台服务器进行处理，难以进行批量处理和查询。因此，如何能够高效地进行批量日志处理成为亟待解决的技术问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术实施例的目的在于提供一种日志处理方法、日志处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术实施例的第一方面，提供了一种日志处理方法，包括：通过统一的日志格式规范对多个业务系统的日志进行处理；通过正则表达式对所述多个业务系统的日志进行匹配，获取所述日志的日志格式规范的信息，所述日志格式规范的信息包括日志产生时间、日志等级、业务系统标识以及服务器标识；基于所述日志的所述日志格式规范的信息建立所述日志的索引；基于所述日志的索引将所述日志存储到目标数据库。在本专利技术的一些示例性实施例中，基于前述方案，基于所述日志的所述日志格式规范的信息建立所述日志的索引，包括：从所述日志的所述日志格式规范的信息中选取所述日志产生时间、日志等级、业务系统标识以及服务器标识中的一个或多个字段；基于选取的一个或多个字段建立所述日志的一个或多个字段的索引。在本专利技术的一些示例性实施例中，基于前述方案，所述日志处理方法还包括：在接收到日志查询请求时，从所述日志查询请求中提取所述日志的一种或多种日志标识；基于所述一种或多种日志标识的数量确定采用的索引字段数；基于所述索引字段数以及所述日志的索引从所述目标数据库中查询对应的日志。在本专利技术的一些示例性实施例中，基于前述方案，所述日志处理方法还包括：在接收到日志聚合查询请求时，通过脚本程序对所述业务系统的多台服务器进行日志查询；对每台服务器的查询结果进行聚合查询，以对每个每台服务器的查询结果进行二次分析。在本专利技术的一些示例性实施例中，基于前述方案，所述日志处理方法还包括：从历史日志查询请求中提取查询过的语句和各项参数，将所述查询过的语句和各项参数保存为历史查询记录；在接收到所述日志查询请求时，基于所述历史查询记录对所述日志查询请求进行处理。在本专利技术的一些示例性实施例中，基于前述方案，所述目标数据库为HBASE数据库，所述日志的索引为所述HBASE数据库的行健。在本专利技术的一些示例性实施例中，基于前述方案，所述日志处理方法还包括：在接收到日志查询请求时，获取与所述日志查询请求对应的日志分析查询模板；基于所述日志分析查询模板以及所述索引从所述目标数据库中查询日志。根据本专利技术实施例的第二方面，提供一种日志处理装置，包括：统一处理单元，用于通过统一的日志格式规范对多个业务系统的日志进行处理；信息获取单元，用于通过正则表达式对所述多个业务系统的日志进行匹配，获取所述日志的日志格式规范的信息，所述日志格式规范的信息包括日志产生时间、日志等级、业务系统标识以及服务器标识；索引建立单元，用于基于所述日志的所述日志格式规范的信息建立所述日志的索引；存储单元，用于基于所述日志的索引将所述日志存储到目标数据库。根据本专利技术实施例的第三方面，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述第一方面所述的日志处理方法。根据本专利技术实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的日志处理方法。在本专利技术的一些实施例所提供的技术方案中，一方面，通过统一的日志格式规范对业务系统的日志进行处理，能够使各个业务系统的日志统一化，便于批量处理日志；另一方面，基于日志的日志格式规范的信息建立日志的索引，基于日志的索引将日志存储到目标数据库中，便于基于索引批量查询日志，能够提高日志的查询效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了根据本专利技术一些实施例的日志查询方法的流程示意图；图2示出了根据本专利技术的一些实施例建立日志的索引的流程示意图；图3示出了根据本专利技术的一些实施例进行日志查询的流程示意图；图4示出了根据本专利技术的一示例性实施例的日志查询装置的示意框图；图5示出了适于用来实现本专利技术实施例的电子设备的计算机系统的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本专利技术将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。图1示出了根据本专利技术一些实施例的日志查询方法的流程示意图，该日志查询方法应用于服务器端。参照图1所示，该日志查询方法可以包括步骤S110至步骤S140。接下来，将对图1的示例实施例中的日志查询方法进行详细的说明。参照图1所示，在步骤S110中，通过统一的日志格式规范对多个业务系统的日志进行处理。在示例实施例中，多个业务系统可以包括：保险业务系统、证券业务系统、金融业务系统。此外，业务系统还可以包括子业务系统，例如证券业务平台可以包括操盘子系统、对账子系统以及清算子系统等。在示例实施例中，日志格式规范包括：time:日志产生时间，ISO8601格式；level：日志等级，FATAL、ERROR、WARN、INFO、DEBUG；ser本文档来自技高网...

【技术保护点】
1.一种日志处理方法，其特征在于，包括：通过统一的日志格式规范对多个业务系统的日志进行处理；通过正则表达式对所述多个业务系统的日志进行匹配，获取所述日志的日志格式规范的信息，所述日志格式规范的信息包括日志产生时间、日志等级、业务系统标识以及服务器标识；基于所述日志的所述日志格式规范的信息建立所述日志的索引；基于所述日志的索引将所述日志存储到目标数据库。

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：通过统一的日志格式规范对多个业务系统的日志进行处理；通过正则表达式对所述多个业务系统的日志进行匹配，获取所述日志的日志格式规范的信息，所述日志格式规范的信息包括日志产生时间、日志等级、业务系统标识以及服务器标识；基于所述日志的所述日志格式规范的信息建立所述日志的索引；基于所述日志的索引将所述日志存储到目标数据库。2.根据权利要求1所述的日志处理方法，其特征在于，基于所述日志的所述日志格式规范的信息建立所述日志的索引，包括：从所述日志的所述日志格式规范的信息中选取所述日志产生时间、日志等级、业务系统标识以及服务器标识中的一个或多个字段；基于选取的一个或多个字段建立所述日志的一个或多个字段的索引。3.根据权利要求1所述的日志处理方法，其特征在于，所述日志处理方法还包括：在接收到日志查询请求时，从所述日志查询请求中提取所述日志的一种或多种日志标识；基于所述一种或多种日志标识的数量确定采用的索引字段数；基于所述索引字段数以及所述日志的索引从所述目标数据库中查询对应的日志。4.根据权利要求1所述的日志处理方法，其特征在于，所述日志处理方法还包括：在接收到日志聚合查询请求时，通过脚本程序对所述业务系统的多台服务器进行日志查询；对每台服务器的查询结果进行聚合查询，以对每个每台服务器的查询结果进行二次分析。5.根据权利要求3所述的日志处理方法，其特征在于，所述日志处理方法还包括：从历史日志查...

【专利技术属性】
技术研发人员：徐旭明，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44