一种基于点位解析的日志解析系统技术方案

本发明专利技术涉及数据解析领域，尤其涉及一种基于点位解析的日志解析系统，本发明专利技术通过数据获取模块监控日志数据库，以确定日志数据更新量的波动情况，以根据波动情况的不同，调用第一数据解析单元或第二数据解析单元，第一数据解析单元设置有比第二解析数据解析单元更短的解析点位间隔，以对日志数据进行抽样判定，以判定异常日志数据，本发明专利技术通过上述过程，对于更新量波动较大的时间段内的日志采取更短的解析点位间隔判定日志数据是否存在异常，减少漏判，并且，对于波动量较小的时间段内的日志采取较大的解析点位间隔，以在包括可靠性的前提下提高解析效率。提下提高解析效率。提下提高解析效率。

【技术实现步骤摘要】
一种基于点位解析的日志解析系统


[0001]本专利技术涉及数据解析领域，尤其涉及一种基于点位解析的日志解析系统。

技术介绍

[0002]随着信息技术的发展和数据挖掘的兴起，如何挖掘数据中的价值在业界备受关注。而机器或应用系统产生的海量日志中包含的系统的运行状态、用户操作行为等相关信息，蕴含着丰富的价值，所以日志数据受到越来越多的重视，现有技术中对于异常日志的解析和判定系统应运而生。
[0003]中国专利公开号：CN111309696A，公开了一种日志处理方法及装置、电子设备、可读介质，方法包括：获得未解析日志文件和未解析日志文件对应的终端设备的属性信息；判断未解析日志文件是否满足发送条件；若是，则依据未解析日志文件和终端设备的属性信息，生成并发送日志上报消息给管理装置，以使管理装置依据日志管理策略对未解析日志文件进行处理；否则，保存未解析日志文件至本地，并依据未解析日志文件的存储时间，处理未解析日志文件。保证能够将满足发送条件的未解析日志文件发送给管理装置进行处理，减轻日志处理装置的处理压力，提升对堆积的日志信息的处理效率；同时，保证保存至本地的日志文件能够被及时处理，减少存储空间被占用的情况，提升日志解析的效率。
[0004]但是，现有技术中还存在以下问题，现有技术中未考虑对较大数据量的日志进行异常解析时，日志生成量的波动与数据异常之间的关联，并对应的调整解析间隔，以提高对异常日志的判定效率。

技术实现思路

[0005]为解决现有技术中未考虑对较大数据量的日志进行异常解析时，日志生成量的波动与数据异常之间的关联，并对应的调整解析间隔，以提高对异常日志的判定效率的问题，本专利技术提供一种基于点位解析的日志解析系统，其包括：数据获取模块，其用以每隔预设的时间间隔从日志数据库中获取日志数据的更新量，并确定各时间间隔内的日志数据的更新量的波动状况；数据解析模块，其包括相互连接的第一数据解析单元、第二数据解析单元以及第三数据解析单元，所述第一数据解析单元内预设第一解析点位间隔，用以在更新量处于第一波动状况下时获取第一波动时间段，并根据所述第一解析点位间隔逐个调用所述第一波动时间段内的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；所述第二数据解析单元内预设第二解析点位间隔，用以在所述更新量处于第二波动状况下时获取第二波动时间段，基于所述更新量调整所述第二解析点位的间隔，并根据调整后的第二解析点位间隔逐个调用所述第二波动时间段的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；
其中，所述第一解析点位间隔大于所述第二解析点位间隔，所述第三数据解析单元用以在所述第一数据解析单元或/和所述第二数据解析单元判定日志数据出现异常时，根据异常日志数据对应的解析点位的连续性判定是否调用各解析点位之间的日志数据进行异常判定。
[0006]进一步地，所述数据获取模块还包括数据监控单元，用以根据公式(1)计算日志数据的波动离散量E，
ꢀꢀꢀ
(1)公式(1)中，n表示时间间隔的数量，其为大于1的整数，表示第i个时间间隔内的日志数据更新量，表示第i+1个时间间隔内的日志数据更新量。
[0007]进一步地，所述数据监控单元确定当前时间间隔内的日志数据的更新量Ee，并确定日志数据更新量平均值
△
E，并按照公式(2)计算更新量表征值E0，E0=|Ee
‑△
E|
ꢀꢀꢀ
(2)所述数据监控单元将所述更新量表征值E0与所述波动离散量E进行对比，以判定当前时间间隔内日志数据的更新量的波动情况，其中，若所述更新量表征值E0大于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第一波动状况；若所述更新量表征值E0小于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第二波动状况。
[0008]进一步地，所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第一波动状况时，获取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第一波动时间段；所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第二波动状况时，获取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第二波动时间段。
[0009]进一步地，所述第二数据解析单元根据第二波动时间段内日志数据的更新量表征值E0与所述波动离散量E的第一差值
△
E的大小确定对所述第二解析点位间隔的调整方式，对所述第二解析点位间隔进行调整，其中，第一调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔减小至第一间隔值；第二调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔减小至第二间隔值；第三调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔增加至第三间隔值；第四调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔增加至第四间隔值；其中，所述第二预设调整量大于所述第一预设调整量。
[0010]进一步地，所述第二数据解析单元内预设有差值对比参量，所述第一调整方式需
满足所述第一差值为负值，且所述第一差值的绝对值小于所述差值对比参量；所述第二调整方式需满足所述第一差值为负值，且所述第一差值的绝对值大于或等于所述差值对比参量；所述第三调整方式需满足所述第一差值为正值，且所述第一差值的绝对值小于所述差值对比参量；所述第四调整方式需满足所述第一差值为正值，且所述第一差值的绝对值大于或等于所述差值对比参量。
[0011]进一步地，所述第三数据解析单元确定所述第一数据解析单元以及第二数据解析单元判定日志数据出现异常时的解析点位，并判定是否需调用解析点位之间的日志数据，并判定已调用日志数据是否出现异常，其中，若所述第一数据解析单元连续判定第一预设数量的解析点位的日志数据出现异常，则所述第三数据解析单元调用所述第一数据解析单元判定出现异常的解析点位间的日志数据，并判定已调用日志数据是否出现异常；若所述第二数据解析单元连续判定第二预设数量的解析点位的日志数据出现异常时，则所述第三数据解析单元判定需调用所述第二数据解析单元判定出现异常的解析点位间的日志数据，并判定已调用日志数据是否出现异常；所述第一预设数量大于所述第二预设数量。
[0012]进一步地，所述数据解析模块还包括数据记录单元，其用以记录所述第一数据解析单元、第二数据解析单元以及第三数据解析单元所判定的异常日志数据，并记录各异常日志数据所生成的时间。
[0013]进一步地，所述第一数据解析单元以及第二数据解析单元均与样本数据库相连接，所述样本数据库内预存储有若干异常样本数据，所述第一数据解析单元或/和所述第二数据解析单元将日志数据与所述样本数据库内数据进行拟合，拟合过程包括，若存在任意解析点位的日志数据与所述样本数据库内的异常样本数据相同，则所述第一数据解析单元或/和所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点位解析的日志解析系统，其特征在于，包括：数据获取模块，其用以每隔预设的时间间隔从日志数据库中获取日志数据的更新量，并确定各时间间隔内的日志数据的更新量的波动状况；数据解析模块，其包括相互连接的第一数据解析单元、第二数据解析单元以及第三数据解析单元，所述第一数据解析单元内预设第一解析点位间隔，用以在更新量处于第一波动状况下时获取第一波动时间段，并根据所述第一解析点位间隔逐个调用所述第一波动时间段内的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；所述第二数据解析单元内预设第二解析点位间隔，用以在所述更新量处于第二波动状况下时获取第二波动时间段，基于所述更新量调整所述第二解析点位的间隔，并根据调整后的第二解析点位间隔逐个调用所述第二波动时间段的各解析点位的日志数据与异常样本数据库中的数据进行拟合，判定所述日志数据是否出现异常；其中，所述第一解析点位间隔大于所述第二解析点位间隔，所述第三数据解析单元用以在所述第一数据解析单元或/和所述第二数据解析单元判定日志数据出现异常时，根据异常日志数据对应的解析点位的连续性判定是否调用各解析点位之间的日志数据进行异常判定。2.根据权利要求1所述的基于点位解析的日志解析系统，其特征在于，所述数据获取模块还包括数据监控单元，用以根据公式(1)计算日志数据的波动离散量E，
ꢀꢀꢀ
(1)公式(1)中，n表示时间间隔的数量，其为大于1的整数，表示第i个时间间隔内的日志数据更新量，表示第i+1个时间间隔内的日志数据更新量。3.根据权利要求2所述的基于点位解析的日志解析系统，其特征在于，所述数据监控单元确定当前时间间隔内的日志数据的更新量Ee，并确定日志数据更新量平均值
△
E，并按照公式(2)计算更新量表征值E0，E0=|Ee
‑△
E|
ꢀꢀꢀ
(2)所述数据监控单元将所述更新量表征值E0与所述波动离散量E进行对比，以判定当前时间间隔内日志数据的更新量的波动情况，其中，若所述更新量表征值E0大于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第一波动状况；若所述更新量表征值E0小于所述波动离散量E，则所述数据监控单元判定所述更新量处于所述第二波动状况。4.根据权利要求1所述的基于点位解析的日志解析系统，其特征在于，所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第一波动状况时，获取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第一波动时间段；所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第二波动状况时，获
取所述当前时间间隔的起始时间节点以及结束时间节点，以基于所述起始时间节点以及结束时间节点确定第二波动时间段。5.根据权利要求3所述的基于点位解析的日志解析系统，其特征在于，所述第二数据解析单元根据第二波动时间段内日志...

【专利技术属性】
技术研发人员：葛贤钰，陈勇，雷春鸿，王俊根，
申请(专利权)人：西安纽扣软件科技有限公司，
类型：发明
国别省市：