基于云平台的日志数据处理方法、装置以及服务端设备制造方法及图纸

本申请提供了一种基于云平台的日志数据处理方法、装置以及服务端设备，涉及数据处理技术领域，缓解了基于云平台的日志数据处理效率较低的技术问题。该方法包括：获取云平台的日志消息；基于日志消息进行哈希计算，得到哈希值；将哈希值传输至哈希值对应的指定通道；其中，每个通道对应一个哈希值范围；通过不同的通道分别对哈希值对应的日志数据进行处理，得到日志处理结果。

【技术实现步骤摘要】
基于云平台的日志数据处理方法、装置以及服务端设备
本申请涉及数据处理
，尤其是涉及一种基于云平台的日志数据处理方法、装置以及服务端设备。
技术介绍
随着物联网的快速发展，云平台技术得到了极大的推广和进步。企业为了提高生产效率，实现产业数字化转型等目的，会将企业设备的工况数据接入至云平台系统上，利用云平台或者开放接口获取处理后的数据。但是，在整个数据链路过程中，会产生大量的日志数据，导致日志数据的处理和存储过程消耗了系统的大部分资源，云平台的日志数据处理效率较低。
技术实现思路
本申请的目的在于提供一种基于云平台的日志数据处理方法、装置以及服务端设备，以缓解基于云平台的日志数据处理效率较低的技术问题。第一方面，本申请实施例提供了一种基于云平台的日志数据处理方法，所述方法包括：获取所述云平台的日志消息；基于所述日志消息进行哈希计算，得到哈希值；将所述哈希值传输至所述哈希值对应的指定通道；其中，每个所述通道对应一个哈希值范围；通过不同的所述通道分别对所述哈希值对应的日志数据进行处理，得到日志处理结果。在一个可能的实现中，所述基于所述日志消息进行哈希计算，得到哈希值的步骤，包括：对所述日志消息进行预设数据格式的解析，得到消息内容；对所述消息内容进行哈希计算，得到初步哈希值以及日志服务实例个数；对所述初步哈希值和所述日志服务实例个数进行取模运算，得到最终哈希值。在一个可能的实现中，所述将所述哈希值传输至所述哈希值对应的指定通道的步骤，包括：按照每个所述通道对应的所述哈希值范围，确定所述哈希值对应的指定通道；将所述哈希值传输至所述指定通道。在一个可能的实现中，所述通过不同的所述通道分别对所述哈希值对应的日志数据进行处理，得到日志处理结果的步骤，包括：通过不同的所述通道，分别将所述哈希值传输至所述通道对应的日志处理服务；利用不同的所述日志处理服务，分别对所述哈希值对应的日志数据进行处理，得到日志处理结果。在一个可能的实现中，所述利用不同的所述日志处理服务，分别对所述哈希值对应的日志数据进行处理，得到日志处理结果的步骤，包括：针对每个所述日志处理服务，对所述哈希值对应的日志数据进行分类归档、流式计算以及日志统计，得到日志处理结果。在一个可能的实现中，所述方法还包括：将多个所述日志处理服务对应的所述日志处理结果存储至数据库。在一个可能的实现中，所述方法还包括：接受客户端发送的日志检索请求；根据所述日志检索请求，将所述数据库中的所述日志检索请求对应的所述日志处理结果反馈至所述客户端，以使所述客户端对所述日志处理结果进行展示。第二方面，本申请实施例提供了一种基于云平台的日志数据处理装置，所述装置包括：获取模块，用于获取所述云平台的日志消息；计算模块，用于基于所述日志消息进行哈希计算，得到哈希值；传输模块，用于将所述哈希值传输至所述哈希值对应的指定通道；其中，每个所述通道对应一个哈希值范围；处理模块，用于通过不同的所述通道分别对所述哈希值对应的日志数据进行处理，得到日志处理结果。第三方面，本申请实施例提供了一种服务端设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。本申请实施例带来了以下有益效果：本申请实施例提供了一种基于云平台的日志数据处理方法、装置以及服务端设备，能够获取云平台的日志消息，然后基于日志消息进行哈希计算，得到哈希值，并将哈希值传输至哈希值对应的指定通道，其中，每个通道对应一个哈希值范围，最终通过不同的通道分别对哈希值对应的日志数据进行处理，得到日志处理结果。本方案中，利用获取的日志消息计算得到对应的哈希值，并根据不同的哈希值范围所对应的指定通道分别对日志数据进行处理，能够将不同的日志数据处理过程拆分成多个部分来实现，提高了云平台的日志数据的处理效率，而且还提升了日志系统的稳定性和容错性。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种基于云平台的日志数据处理方法的传统方案示意图；图2为本申请实施例提供的一种基于云平台的日志数据处理方法的流程示意图；图3为本申请实施例提供的一种基于云平台的日志数据处理方法示意图；图4为本申请实施例提供的一种基于云平台的日志数据处理方法的一种云平台日志处理流程图；图5为本申请实施例提供的一种基于云平台的日志数据处理方法的另一种云平台日志处理流程图；图6为本申请实施例提供的一种基于云平台的日志数据处理装置的结构示意图；图7示出了本申请实施例所提供的一种服务端设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。目前，如图1所示，处理云平台日志数据常采用的一种方案是将日志处理作为云平台的一种功能，其中日志的收集、处理等过程都由云平台来提供，则会导致日志与云平台之间耦合严重，存在安全隐患问题，而且当日志数量较大时，日志的存储以及处理过程会占用大量的云平台资源，降低了云平台系统整体的稳定性和效率，性能瓶颈比较明显。另一种方案是云平台将内部各个服务、中间件、系统等产生的日志数据，直接转发到独立的日志收集服务，然后通过不断地优化日志收集服务的性能来提供日志处理能力，但是此方案无法支持服务的水平扩展，而且当遇到高并发数据时(如双十一整点抢购场景)，利用日志服务并不能高效地动态调节系统资源，降低了系统的数据处理效率和稳定性，使云平台的日志数据处理效率较低。基于本文档来自技高网...

【技术保护点】
1.一种基于云平台的日志数据处理方法，其特征在于，所述方法包括：/n获取所述云平台的日志消息；/n基于所述日志消息进行哈希计算，得到哈希值；/n将所述哈希值传输至所述哈希值对应的指定通道；其中，每个所述通道对应一个哈希值范围；/n通过不同的所述通道分别对所述哈希值对应的日志数据进行处理，得到日志处理结果。/n

【技术特征摘要】
1.一种基于云平台的日志数据处理方法，其特征在于，所述方法包括：
获取所述云平台的日志消息；
基于所述日志消息进行哈希计算，得到哈希值；
将所述哈希值传输至所述哈希值对应的指定通道；其中，每个所述通道对应一个哈希值范围；
通过不同的所述通道分别对所述哈希值对应的日志数据进行处理，得到日志处理结果。


2.根据权利要求1所述的基于云平台的日志数据处理方法，其特征在于，所述基于所述日志消息进行哈希计算，得到哈希值的步骤，包括：
对所述日志消息进行预设数据格式的解析，得到消息内容；
对所述消息内容进行哈希计算，得到初步哈希值以及日志服务实例个数；
对所述初步哈希值和所述日志服务实例个数进行取模运算，得到最终哈希值。


3.根据权利要求1所述的基于云平台的日志数据处理方法，其特征在于，所述将所述哈希值传输至所述哈希值对应的指定通道的步骤，包括：
按照每个所述通道对应的所述哈希值范围，确定所述哈希值对应的指定通道；
将所述哈希值传输至所述指定通道。


4.根据权利要求3所述的基于云平台的日志数据处理方法，其特征在于，所述通过不同的所述通道分别对所述哈希值对应的日志数据进行处理，得到日志处理结果的步骤，包括：
通过不同的所述通道，分别将所述哈希值传输至所述通道对应的日志处理服务；
利用不同的所述日志处理服务，分别对所述哈希值对应的日志数据进行处理，得到日志处理结果。


5.根据权利要求4所述的基于云平台的日志数据处理方法，其特征在于，所述利用不同的所述日志处理服务，分别对所述哈希值对应的日...

【专利技术属性】
技术研发人员：张金涛，刘宇，潘永高，
申请(专利权)人：树根互联股份有限公司，
类型：发明
国别省市：广东;44