一种日志压缩方法及装置制造方法及图纸

本申请实施例公开了一种日志压缩方法及装置，包括：在定时压缩时间到达时，确定输入输出接口的负载量；在负载量小于预设负载量阈值的情况下，获取待压缩日志文件；按照预设信息读取阈值和预设信息容量阈值依次从待压缩日志文件中读取待压缩信息，得到多个待压缩信息；依次压缩多个待压缩信息。依次压缩多个待压缩信息。依次压缩多个待压缩信息。

【技术实现步骤摘要】
一种日志压缩方法及装置


[0001]本申请涉及计算机
，尤其涉及一种日志压缩方法及装置。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，然而，由于金融行业的安全性、实时性要求，金融科技也对技术提出了更高的要求。金融科技领域下，操作系统被频繁使用，从而形成了海量日志文件，海量日志存储时对海量日志文件进行压缩处理，以降低海量日志对存储空降的消耗。
[0003]现有技术中，是定时0点就触发日志文件归档操作，将原始日志文件另存为新日志文件，并删除原始日志文件，然后对新日志文件进行压缩处理，在新日志文件的数量较多的情况下，会造成负载过高以及每秒读写操作次数过高的风险，从而降低日志文件压缩时的效率。

技术实现思路

[0004]为解决上述技术问题，本申请实施例期望提供一种日志压缩方法及装置，能够提高日志文件压缩时的效率。
[0005]本申请的技术方案是这样实现的：
[0006]本申请实施例提供一种日志压缩方法，所述日志压缩方法包括：
[0007]在定时压缩时间到达时，确定输入输出接口的负载量；
[0008]在所述负载量小于预设负载量阈值的情况下，获取待压缩日志文件；
[0009]按照预设信息读取阈值和预设信息容量阈值依次从所述待压缩日志文件中读取待压缩信息，得到多个待压缩信息；
[0010]依次压缩所述多个待压缩信息。
[0011]本申请实施例提供了一种日志压缩装置，所述装置包括：
[0012]确定单元，用于在定时压缩时间到达时，确定输入输出接口的负载量；
[0013]获取单元，用于在所述负载量小于预设负载量阈值的情况下，获取待压缩日志文件；
[0014]读取单元，用于按照预设信息读取阈值和预设信息容量阈值依次从所述待压缩日志文件中读取待压缩信息，得到多个待压缩信息；
[0015]压缩单元，用于依次压缩所述多个待压缩信息。
[0016]本申请实施例提供了一种日志压缩装置，所述装置包括：
[0017]存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的日志压缩的程序，当所述日志压缩的程序被执行时，通过所述处理器执行上述所述的日志压缩方法。
[0018]本申请实施例提供了一种存储介质，其上存储有计算机程序，应用于日志压缩装置，其特征在于，该计算机程序被处理器执行时实现上述所述的日志压缩方法。
[0019]本申请实施例提供了一种日志压缩方法及装置，日志压缩方法包括：在定时压缩时间到达时，确定输入输出接口的负载量；在负载量小于预设负载量阈值的情况下，获取待压缩日志文件；按照预设信息读取阈值和预设信息容量阈值依次从待压缩日志文件中读取待压缩信息，得到多个待压缩信息；依次压缩多个待压缩信息。采用上述方法实现方案，日志压缩装置根据输入输出接口的负载量来确定是否可以在定时压缩时间对待压缩日志文件执行压缩的过程，在待压缩日志文件较多、且可以在定时压缩时间可以对待压缩日志文件执行压缩的情况下，日志压缩装置可以利用按照预设信息读取阈值和预设信息容量阈值对待压缩日志文件中的待压缩信息间歇性执行压缩的过程，不会造成负载过高以及每秒读写操作次数过高的风险，从而提高待压缩日志文件压缩时的效率。
附图说明
[0020]图1为本申请实施例提供的一种现有技术中的日志压缩示意图；
[0021]图2为本申请实施例提供的一种现有技术中的日志压缩时间点示意图；
[0022]图3为本申请实施例提供的一种现有技术中的0点时服务器的输入输出(IO)负载情况示意图；
[0023]图4为本申请实施例提供的一种日志压缩方法流程图；
[0024]图5为本申请实施例提供的一种示例性的得到乱序后的待压缩日志文件的方法流程图；
[0025]图6为本申请实施例提供的一种示例性的乱序方式示意图；
[0026]图7为本申请实施例提供的一种示例性的日志压缩方法流程图；
[0027]图8为本申请实施例提供的一种示例性的日志压缩示意图；
[0028]图9为本申请实施例提供的一种示例性的日志压缩时间点示意图；
[0029]图10为本申请实施例提供的一种示例性的输入输出接口的负载量情况示意图；
[0030]图11为本申请实施例提供的一种日志压缩装置的组成结构示意图一；
[0031]图12为本申请实施例提供的一种日志压缩装置的组成结构示意图二。
具体实施方式
[0032]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0033]现有技术中，如图1所示，应用在运行过程中会生成的JAVA日志(Log4j)，在每天零点或者日志达文件到1G时，就触发日志文件归档操作(文件大小/时间触发归档)，将原来的xxx.log文件另存为xxx.log.2021
‑
06
‑
20.1.log.gz文件(重命名文件)，然后对重命名文件进行压缩(压缩文件)，并删除xxx.log，接下来再重新创建xxx.log并重新创建文件输出流继续日志写入。
[0034]如图2所示，定时0点就对各个容器生成的日志文件触发日志文件归档操作，将原始日志文件另存为新日志文件，并删除原始日志文件，然后对新日志文件进行压缩处理，在新日志文件的数量较多的情况下，多个容器会同时在0点对新日志文件进行压缩处理，并将新日志文件都写入磁盘中，导致0点时需要压缩的日志文件数量增加，会造成负载过高以及
每秒读写操作次数过高的风险，0点时服务器的输入输出(IO)负载情况如图3所示：0点时IO负载会急剧增加，1点左右的时候IO负载才能降下来。
[0035]实施例一
[0036]本申请实施例提供了一种信息处理方法，一种信息处理方法应用于日志压缩装置，图4为本申请实施例提供的一种信息处理方法流程图，如图4所示，信息处理方法可以包括：
[0037]S101、在定时压缩时间到达时，确定输入输出接口的负载量。
[0038]本申请实施例提供的一种信息处理方法适用于对待压缩日志文件进行压缩的场景下。
[0039]在本申请实施例中，日志压缩装置可以以各种形式来实施。例如，本申请中描述的日志压缩装置可以包括诸如手机、照相机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等装置，以及诸如数字TV、台式计算机、服务器等装置。
[0040]在本申请实施例中，定时压缩时间可以为24小时内的每一分钟；定时压缩时间也可以为预设时间段内的每一分钟；定时压缩时间还可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志压缩方法，其特征在于，所述方法包括：在定时压缩时间到达时，确定输入输出接口的负载量；在所述负载量小于预设负载量阈值的情况下，获取待压缩日志文件；按照预设信息读取阈值和预设信息容量阈值依次从所述待压缩日志文件中读取待压缩信息，得到多个待压缩信息；依次压缩所述多个待压缩信息。2.根据权利要求1所述的方法，其特征在于，所述按照预设信息读取阈值和预设信息容量阈值依次从所述待压缩日志文件中读取待压缩信息，得到多个待压缩信息，包括：按照所述预设信息读取阈值从所述待压缩日志文件中读取压缩信息，得到第一待压缩信息；在所述第一待压缩信息的信息容量大于或者等于所述预设信息容量阈值的情况下，停止从所述待压缩日志文件中读取压缩信息；在所述停止时长达到预设时长阈值的情况下，继续按照所述预设信息读取阈值和所述预设信息容量阈值依次从所述待压缩日志文件中读取待压缩信息，直至得到所述多个待压缩信息；所述多个待压缩信息中包括所述第一待压缩信息。3.根据权利要求2所述的方法，其特征在于，所述在所述停止时长达到预设时长阈值的情况下，继续按照所述预设信息读取阈值和所述预设信息容量阈值依次从所述待压缩日志文件中读取待压缩信息，直至得到所述多个待压缩信息之前，所述方法还包括：获取预设停止时长参数；根据所述预设停止时长参数和所述负载量确定所述预设时长阈值。4.根据权利要求1所述的方法，其特征在于，所述确定输入输出接口的负载量之后，所述按照预设信息读取阈值和预设信息容量阈值依次从所述待压缩日志文件中读取待压缩信息，得到多个待压缩信息之前，所述方法还包括：获取预设信息读取系数；根据所述预设信息读取系数和所述负载量确定所述预设信息读取阈值。5.根据权利要求1所述的方法，其特征在于，所述获取待压缩日志文件，包括：获取多个初始待压缩文件；对多个初始待压缩日志文件的压缩顺序进行乱序处理，得到多个乱序后的待压缩日志文件；并将所述多个乱序...

【专利技术属性】
技术研发人员：陈晓丹，殷凇，李宗波，邬秋元，杨永帮，张卓韬，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：