一种基于智慧安全管理平台的日志数据存储方法技术

本发明专利技术涉及电数字数据处理技术领域，具体涉及一种基于智慧安全管理平台的日志数据存储方法，该方法包括：获取连续时刻的智慧安全管理平台的日志数据，得到日志数据集合；对日志数据集合中的每个日志数据进行重要程度分析处理，得到日志数据对应的重要程度；根据日志数据集合中的各个日志数据对应的重要程度，对日志数据集合中的每个日志数据进行编码处理，得到日志数据对应的编码；根据日志数据集合中的各个日志数据对应的编码，对日志数据集合中的日志数据进行分类压缩存储。本发明专利技术通过对日志数据进行数据处理，解决了对日志数据进行压缩存储的效率低下的技术问题，提高了对日志数据进行压缩存储的效率，应用于日志数据的存储。存储。存储。

【技术实现步骤摘要】
一种基于智慧安全管理平台的日志数据存储方法


[0001]本专利技术涉及电数字数据处理
，具体涉及一种基于智慧安全管理平台的日志数据存储方法。

技术介绍

[0002]目前，越来越多的企业将安全管理作为企业管理的重要组成部分。并且安全管理成为了企业实现安全生产的有效手段，它旨在针对人们在生产过程中的安全问题，进行有关生产的决策、计划等活动，使得生产过程中人与机器相互协调，达到安全生产，所以在安全管理平台储存的日志数据至关重要，日志数据往往是监督安全生产的主要凭据。对于安全管理平台的日志数据存储，保证其准确且完整是安全管理平台的重要环节，但日志数据随着时间的推移往往不断壮大，所需的存储空间往往越来越大，存储空间过大往往会影响服务器的运行。
[0003]目前，对一段时间内的日志数据进行压缩存储时，往往采用常规的数据压缩存储方式，其中，常规的数据压缩存储方式可以为GZIP压缩存储方式。常规的数据压缩存储方式往往对各个日志数据一视同仁的进行存储，可能导致丢失重要的日志数据，并且，常规的数据压缩对于日志数据的适应能力欠缺，往往没有考虑各个日志数据的特殊性，往往影响日志数据的压缩效率，并且，可能会存储多个相同的日志数据，往往增加了存储空间的占用，往往增加了进行压缩存储的计算量，因此采用常规的数据压缩存储方式，对日志数据进行压缩存储的效率往往较低。

技术实现思路

[0004]本专利技术的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本专利技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]为了解决对日志数据进行压缩存储的效率低下的技术问题，本专利技术提出了一种基于智慧安全管理平台的日志数据存储方法。
[0006]本专利技术提供了一种基于智慧安全管理平台的日志数据存储方法，该方法包括：获取连续时刻的智慧安全管理平台的日志数据，得到日志数据集合；对所述日志数据集合中的每个日志数据进行重要程度分析处理，得到所述日志数据对应的重要程度；根据所述日志数据集合中的各个日志数据对应的重要程度，对所述日志数据集合中的每个日志数据进行编码处理，得到所述日志数据对应的编码；根据所述日志数据集合中的各个日志数据对应的编码，对所述日志数据集合中的日志数据进行分类压缩存储。
[0007]进一步的，所述对所述日志数据集合中的每个日志数据进行重要程度分析处理，得到所述日志数据对应的重要程度，包括：
对所述日志数据集合中的每个日志数据包括的各个字符串进行数据类型转换，将字符串转换为目标字符串，确定所述日志数据对应的目标日志数据，得到目标日志数据集合，其中，目标字符串对应的数据类型为数字型；根据所述目标日志数据集合，生成流式数据集合，其中，目标日志数据包括的各个目标字符串是同一时刻下不同参数对应的目标字符串，流式数据包括的各个目标字符串是不同时刻下相同参数对应的目标字符串；对于所述流式数据集合中的每个流式数据，根据所述流式数据包括的各个目标字符串，确定所述流式数据包括的每个目标字符串对应的异常程度和趋势度；根据各个目标字符串对应的异常程度，对每个目标字符串进行相关性分析，得到每个目标字符串对应的相关程度；对于所述目标日志数据集合中的每个目标日志数据，根据所述目标日志数据包括的各个目标字符串对应的趋势度和相关程度，确定所述目标日志数据对应的重要程度；对于所述日志数据集合中的每个日志数据，将所述日志数据对应的目标日志数据对应的重要程度，确定为所述日志数据对应的重要程度。
[0008]进一步的，所述根据所述流式数据包括的各个目标字符串，确定所述流式数据包括的每个目标字符串对应的异常程度和趋势度，包括：从所述流式数据中筛选出与所述目标字符串表征含义相同的目标字符串，作为相同字符串，得到所述目标字符串对应的相同字符串集合；根据所述目标字符串对应的相同字符串集合中相同字符串的数量，确定所述目标字符串对应的异常程度和趋势度。
[0009]进一步的，所述根据各个目标字符串对应的异常程度，对每个目标字符串进行相关性分析，得到每个目标字符串对应的相关程度，包括：根据预先设置的异常阈值和所述目标日志数据集合中的每个目标日志数据包括的各个目标字符串对应的异常程度，对所述目标日志数据包括的目标字符串进行分类，得到所述目标日志数据对应的正常字符串集合和异常字符串集合；对于所述目标日志数据集合中的每个目标日志数据对应的正常字符串集合，将所述目标日志数据对应的正常字符串集合中的每个正常字符串对应的相关程度，设置为0；对于所述目标日志数据集合中的每个目标日志数据对应的异常字符串集合，根据所述目标日志数据包括的目标字符串的数量和所述目标日志数据包括的异常字符串的数量，对每个异常字符串进行相关性分析，得到所述异常字符串对应的相关程度。
[0010]进一步的，所述根据所述目标日志数据包括的目标字符串的数量和所述目标日志数据包括的异常字符串的数量，对每个异常字符串进行相关性分析，得到所述异常字符串对应的相关程度，包括：将所述目标日志数据集合中与所述目标日志数据相邻的预设数目个目标日志数据，组合为所述目标日志数据对应的相邻日志数据集合；根据所述目标日志数据包括的目标字符串的数量、所述目标日志数据包括的异常字符串的数量、所述目标日志数据对应的相邻日志数据集合包括的目标字符串的数量、所述目标日志数据对应的相邻日志数据集合包括的异常字符串的数量、预先设置的第一权重和第二权重，确定所述目标日志数据对应的日志相关程度；
将所述目标日志数据对应的日志相关程度，确定为所述目标日志数据包括的异常字符串对应的相关程度。
[0011]进一步的，所述根据所述目标日志数据包括的目标字符串的数量和所述目标日志数据包括的异常字符串的数量，对每个异常字符串进行相关性分析，得到所述异常字符串对应的相关程度，包括：将所述目标日志数据集合中与所述目标日志数据相邻的预设数目个目标日志数据，组合为所述目标日志数据对应的相邻日志数据集合；从所述目标日志数据对应的相邻日志数据集合中筛选出与所述异常字符串表征含义相同的异常字符串，作为目标异常字符串，得到所述异常字符串对应的目标异常字符串集合；根据所述异常字符串对应的目标异常字符串集合中异常字符串的数量、所述异常字符串所在的目标日志数据包括的目标字符串的数量、所述异常字符串所在的目标日志数据包括的异常字符串的数量、所述异常字符串所在的目标日志数据对应的相邻日志数据集合包括的目标字符串的数量、所述异常字符串所在的目标日志数据对应的相邻日志数据集合包括的异常字符串的数量、预先设置的第三权重、第四权重和第五权重，确定所述异常字符串对应的相关程度。
[0012]进一步的，所述根据所述目标日志数据包括的各个目标字符串对应的趋势度和相关程度，确定所述目标日志数据对应的重要程度，包括：根据目标字符串对应的趋势度和相关程度，确定目标字符串对应的字符重要程度；根据所述目标日志数据包括的各个目标字符串对应的字符重要程度和预先设置的各个目标字符串对应的目标权重，确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智慧安全管理平台的日志数据存储方法，其特征在于，包括以下步骤：获取连续时刻的智慧安全管理平台的日志数据，得到日志数据集合；对所述日志数据集合中的每个日志数据进行重要程度分析处理，得到所述日志数据对应的重要程度；根据所述日志数据集合中的各个日志数据对应的重要程度，对所述日志数据集合中的每个日志数据进行编码处理，得到所述日志数据对应的编码；根据所述日志数据集合中的各个日志数据对应的编码，对所述日志数据集合中的日志数据进行分类压缩存储。2.根据权利要求1所述的一种基于智慧安全管理平台的日志数据存储方法，其特征在于，所述对所述日志数据集合中的每个日志数据进行重要程度分析处理，得到所述日志数据对应的重要程度，包括：对所述日志数据集合中的每个日志数据包括的各个字符串进行数据类型转换，将字符串转换为目标字符串，确定所述日志数据对应的目标日志数据，得到目标日志数据集合，其中，目标字符串对应的数据类型为数字型；根据所述目标日志数据集合，生成流式数据集合，其中，目标日志数据包括的各个目标字符串是同一时刻下不同参数对应的目标字符串，流式数据包括的各个目标字符串是不同时刻下相同参数对应的目标字符串；对于所述流式数据集合中的每个流式数据，根据所述流式数据包括的各个目标字符串，确定所述流式数据包括的每个目标字符串对应的异常程度和趋势度；根据各个目标字符串对应的异常程度，对每个目标字符串进行相关性分析，得到每个目标字符串对应的相关程度；对于所述目标日志数据集合中的每个目标日志数据，根据所述目标日志数据包括的各个目标字符串对应的趋势度和相关程度，确定所述目标日志数据对应的重要程度；对于所述日志数据集合中的每个日志数据，将所述日志数据对应的目标日志数据对应的重要程度，确定为所述日志数据对应的重要程度。3.根据权利要求2所述的一种基于智慧安全管理平台的日志数据存储方法，其特征在于，所述根据所述流式数据包括的各个目标字符串，确定所述流式数据包括的每个目标字符串对应的异常程度和趋势度，包括：从所述流式数据中筛选出与所述目标字符串表征含义相同的目标字符串，作为相同字符串，得到所述目标字符串对应的相同字符串集合；根据所述目标字符串对应的相同字符串集合中相同字符串的数量，确定所述目标字符串对应的异常程度和趋势度。4.根据权利要求2所述的一种基于智慧安全管理平台的日志数据存储方法，其特征在于，所述根据各个目标字符串对应的异常程度，对每个目标字符串进行相关性分析，得到每个目标字符串对应的相关程度，包括：根据预先设置的异常阈值和所述目标日志数据集合中的每个目标日志数据包括的各个目标字符串对应的异常程度，对所述目标日志数据包括的目标字符串进行分类，得到所述目标日志数据对应的正常字符串集合和异常字符串集合；对于所述目标日志数据集合中的每个目标日志数据对应的正常字符串集合，将所述目
标日志数据对应的正常字符串集合中的每个正常字符串对应的相关程度，设置为0；对于所述目标日志数据集合中的每个目标日志数据对应的异常字符串集合，根据所述目标日志数据包括的目标字符串的数量和所述目标日志数据包括的异常字符串的数量，对每个异常字符串进行相关性分析，得到所述异常字符串对应的相关程度。5.根据权利要求4所述的一种基于智慧安全管理平台的日志数据存储方法，其特征在于，所述根据所述目标日志数据包括的目标字符串的数量和所述目标日志数据包括的异常字符串的数量，对每个异常字符串进行相关性分析，得到所述异常字符串对应的相关程度，包括：将所述目标日志数据集合中与所述目标日志数据相邻的预设数目个目标日志数据，组合为所述目标...

【专利技术属性】
技术研发人员：王晓，潘淑芬，朱立科，姚军光，曲锐，吴振涛，庄群，孙宇，李建国，郭伟才，郭辉，赵雪芸，丁行硕，张超，
申请(专利权)人：青岛远洋船员职业学院，
类型：发明
国别省市：