一种日志查询的处理方法及装置制造方法及图纸

本发明专利技术实施例提供一种日志查询的处理方法及装置，所述方法包括：获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果；在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。所述装置执行上述方法。本发明专利技术实施例提供的日志查询的处理方法及装置，通过在日志处理集群中的每一个处理单元获取各自对应的日志查询结果的同时，对日志查询结果进行合并处理，能够提高日志查询处理的效率。

【技术实现步骤摘要】
一种日志查询的处理方法及装置
本专利技术实施例涉及数据处理
，具体涉及一种日志查询的处理方法及装置。
技术介绍
随着数据的日益增长，对日志查询的性能要求显得尤为重要。现有日志查询大都是单进程单核处理，对日志查询处理的效率比较低下。而随着计算机硬件的发展，CPU的核数，以及硬盘容量等都有得到了快速发展，但目前尚没有基于多CPU的核数的并行多进程的日志查询方法。因此，如何进行并行多进程的日志查询，从而提高日志查询处理的效率，成为亟须解决的问题。
技术实现思路
针对现有技术存在的问题，本专利技术实施例提供一种日志查询的处理方法及装置。第一方面，本专利技术实施例提供一种日志查询的处理方法，所述方法包括：获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果；在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。第二方面，本专利技术实施例提供一种日志查询的处理装置，所述装置包括：获取单元，用于获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果；合并单元，用于在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。第三方面，本专利技术实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果；在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果；在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。本专利技术实施例提供的日志查询的处理方法及装置，通过在日志处理集群中的每一个处理单元获取各自对应的日志查询结果的同时，对日志查询结果进行合并处理，能够提高日志查询处理的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例日志查询的处理方法流程示意图；图2为本专利技术实施例日志查询、合并处理的总体流程图；图3为本专利技术实施例对日志查询结果进行合并处理的流程图；图4为本专利技术实施例每一个Container获取日志查询结果的流程图；图5为本专利技术实施例日志查询的处理装置结构示意图；图6为本专利技术实施例提供的电子设备实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例日志查询的处理方法流程示意图，如图1所示，本专利技术实施例提供的一种日志查询的处理方法，包括以下步骤：S1：获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果。具体的，装置获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果。图2为本专利技术实施例日志查询、合并处理的总体流程图，如图2所示，日志查询请求(对应图2的日志查询条件)可以是用户输入的，日志处理集群中的每一个处理单元对应于图2中的每一个Container，具体的Container的预先配置，可以采用如下方式：获取日志查询所在设备的硬件信息；该硬件信息可以包括CPU的核数；配置与N个日志处理集群(N个Container)，N可以为小于等于所述核数的正整数。举例说明如下：可以在配置文件中指定Container1绑定CPU核数1、指定Container2绑定CPU核数2，其他不再赘述；多个Container可以同时进行日志录入、日志存储、日志查询，可以将日志存储在如图2所示的共享内存中，为了便于管理，还可以在日志录入时将Container绑定的CPU编号记录在日志中。解析结果可以包括日志查询请求的查询次数、日志查询请求的查询时间等，日志存储目录可以是存储在磁盘上的目录，图2中的共享内存不感知日志存储目录，每个日志存储目录对应有一个日志存储目录标识(即ID)，全局有序递增。参照图2，即Container1有对应的日志存储目录(存储于图2中的共享内存1)、以及日志查询结果(对应图2中的日志查询1)；Container2有对应的日志存储目录(存储于图2中的共享内存2)、以及日志查询结果(对应图2中的日志查询2)。S2：在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。具体的，装置在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。例如：各Container可以在将日志查询结果写入各自的共享内存的同时，从多个共享内存中读取日志查询结果并写入最终的结果集(对应于预设存储介质，可以包括指定大小的共享内存等)，当结果集写满时，可以进一步触发日志按时间排序，并根据最后一条日志设置全局Break_Time(对应于写入时间)，同时设置该Container(对应于最后写入的日志处理集群中的一个目标)日志合并结束标记以及该Container全局日志查询结束标记，继续读取除这个Container以外的剩余的Container中的日志查询结果，并采用下一条日志查询结果更新结果集的最后一条日志，并可以再次触发排序(可以通过排序的方式获取记录最后写入所述预设存储介质中的日志查询结果的写入时间)，并重复上述步骤，直至结束所有Container的日志查询查询或合并处理。该方法可以提前结束日志查询或日志合并过程，提高日志查询性能。举例说明如下：结果集一次存放10页(每页20-100条可配)的日志数据，若用户请求的页数在10页内，则直接从结果集中读取；若跨了10页，则触发新的查询。比如第一次查询第1页，则读取10页的数据，后序查询2-10页时，直本文档来自技高网...

【技术保护点】
一种日志查询的处理方法，其特征在于，包括：获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果；在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。

【技术特征摘要】
1.一种日志查询的处理方法，其特征在于，包括：获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请求，并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果；在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果。2.根据权利要求1所述的方法，其特征在于，所述解析结果包括：所述日志查询请求的查询次数；相应的，所述并根据解析结果读取各自对应的日志存储目录，以获取各自对应的日志查询结果，包括：查找所述查询次数对应的上一次日志查询记录的索引，并由所述索引生成对应的上一次日志存储目录；比较所述上一次日志存储目录和当前查询的所述日志存储目录，若比较结果满足预设条件，获取所述上一次日志存储目录的偏移，并从所述偏移开始读取当前查询的日志查询结果。3.根据权利要求1所述的方法，其特征在于，所述解析结果包括：所述日志查询请求的查询时间范围，并获取写入时间，所述写入时间是合并处理的日志查询结果写满预设存储介质时对应的时间；相应的，所述方法还包括：获取所述查询时间范围的所有日志，以及所述所有日志中的每一个日志对应的生成时间；在所有生成时间中获取与所述查询时间范围对应的终止时间最接近的目标生成时间；若所述目标生成时间早于所述写入时间，则直接结束获取日志查询结果；若所述目标生成时间晚于所述写入时间，则继续获取日志查询结果。4.根据权利要求1所述的方法，其特征在于，所述在获取所述日志查询结果的同时，对所述日志查询结果进行合并处理，以获取所有日志处理集群的最终日志查询结果，包括：当合并处理的日志查询结果写满预设存储介质时，记录最后写入所述预设存储介质中的日志查询结果的写入时间；在写入时间的同时，获取最后写入的日志处理集群中的一个目标，并对所述一个目标设置合并处理结束标记和日志查询结束标记；继续读取除所述一个目标以外的剩余日志处理集群的日志查询结果，并采用下一条日志查询结果更新所述预设存储介质中的最后一条日志，并再次触发记录最后写入所述预设存储介质中的日志查询结果的写入时间，直至结束所有日志处理集群的日志查询或合并处理。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取所述预设存储介质中的日志查询结果的第一条和最后一条日志在所述日志存储目录中的偏移，以及所述日志存储目录的标识；根据所述第一条日志的偏移和最后一条日志的偏移，以及所述标识，生成查找日志查询记录的索引。6.根据权利要求1所述的方法，其特征在于，所述日志处理集群的预先配置，包括：获取日志查询所在设备的硬件信息；所述硬件信息包括CPU的核数；配置N个日志处理集群；并将所述日志处理集群中的每一个作为一个容器container；每个所述container用于各自的日志查询，以及采用各自的共享内存存储各自的日志查询结果，其中，N为小于等于所述核数的正整数。7.一种日志查询的处理装置，其特征在于，包括：获取单元，用于获取日志查询请求；以使预先配置的日志处理集群中的每一个处理单元分别解析所述日志查询请...

【专利技术属性】
技术研发人员：王凯峰，王俏，王天凤，
申请(专利权)人：北京奇安信科技有限公司，
类型：发明
国别省市：北京,11