一种清理维护elasticsearch日志索引文件的方法及系统技术方案

本发明专利技术涉及计算机技术领域，公开了一种清理维护elasticsearch日志索引文件的方法及系统，本方法包括步骤：S1：将日志索引文件按照文件名称中的分类进行排序，并将优先级高的分类日志索引文件排在前面；S2：将步骤S1中排序后的日志索引文件按照日期再进行排序，并将日期早的日志索引文件排在前面；S3：按照预设第一删除流程，对步骤S2中不符合预设第一删除流程的日志索引文件进行筛选并删除。本方法通过按照预设的删除流程，将分类优先级低的日志数据尽量优先保留，以此确保elasticsearch使用的硬盘空间不会耗尽，维护正常日志数据存储的需要。要。要。

【技术实现步骤摘要】
一种清理维护elasticsearch日志索引文件的方法及系统


[0001]本专利技术涉及计算机
，尤其涉及一种清理维护elasticsearch日志索引文件的方法及系统。

技术介绍

[0002]ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，便于与企业应用进行集成，是当前流行的企业搜索引擎，能够满足实时搜索，稳定，可靠，快速等要求。但是，由于Elasticsearch底层实现的原因，当索引文件过大，需要大量删除索引时，需要很多索引文件的底层操作，造成了这一过程需要耗时比较长，往往对应用造成很大的影响。
[0003]在当前的IT运维领域，基于ELK(ElasticSearch+Logstash+Kibana)平台的日志分析和监控工具被越来越多的运维人员使用。由于该系统的特殊性与所监控的系统的规模，往往会有大量的日志文件产生，并对其时效性要求较高。因此在数据量比较大并且增量数据也很多的情况下，索引文件就会很大，就会给索引与查询带来性能上的影响并对存储空间造成了一定的压力。在查询日志的过程中，一般只关注近期的数据，历史数据可以删除。
[0004]Elasticsearch是常用的日志数据存储的计算机应用，所有通过其存储的日志数据，都记录在指定的文件中，该类文件被称为日志索引文件，而该类文件会占用硬盘空间。由于计算机硬盘空间容量有限，如不定期删除硬盘空间中的日志索引文件，最终会导致硬盘空间耗尽，Elasticsearch无法正常进行日志数据的存储。
[0005]目前的日志索引文件删除方法中，仅考虑将同日产生的日志数据存储在同一日志索引文件中，并以日志产生的日期来对日志索引文件名称进行命名。在删除日志索引文件时，定义了一个日期规则，删除当日N天前的日志索引文件。该方法没有对日志数据进行分类，可能导致更重要分类的日志数据被过早删除；另由于计算机应用输出日志数据时并不是性线产生的，而是由当日计算机应用被使用的频率决定，这会导致某日计算机应用使用频率过高，产生的日志数据很大，迅速将硬盘空间耗尽，进而导致Elasticsearch无法正常进行日志数据存储。

技术实现思路

[0006]针对上述现有技术的现状，本专利技术所要解决的技术问题在于提供一种清理维护elasticsearch日志索引文件的方法及系统，按照预设的删除流程，将分类优先级低的日志数据尽量优先保留，以此确保elasticsearch使用的硬盘空间不会耗尽，维护正常日志数据存储的需要。
[0007]本专利技术一种清理维护elasticsearch日志索引文件的方法及系统，具体的包括以下技术方案：
[0008]一种清理维护elasticsearch日志索引文件的方法，包括步骤：
[0009]S1：将日志索引文件按照文件名称中的分类进行排序，并将优先级高的分类日志
索引文件排在前面；
[0010]S2：将步骤S1中排序后的日志索引文件按照日期再进行排序，并将日期早的日志索引文件排在前面；
[0011]S3：按照预设第一删除流程，对步骤S2中不符合预设第一删除流程的日志索引文件进行筛选并删除；
[0012]S4：按照预设第二删除流程，对步骤S3中不符合预设第二删除流程的日志索引文件进行再次删除，直到实际硬盘空间剩余量比例值满足设置的硬盘空间剩余量比例值。
[0013]进一步地，所述预设第一删除流程为：保留当前日期日志索引文件以及前N天内的日志索引文件，N＝1,2,3
…
n。
[0014]进一步地，所述预设第二删除流程为：设置硬盘空间剩余量比例值，当实际硬盘空间剩余量比例值小于设置的硬盘空间剩余量比例值时，删除日志索引文件直到实际硬盘空间剩余量比例值等于设置的硬盘空间剩余量比例值。
[0015]进一步地，所述步骤S4包括：
[0016]S41：获取预设第二删除流程中设置的硬盘空间剩余量比例值，并将实际硬盘空间剩余量比例值与设置的硬盘空间剩余量比例值进行对比；
[0017]S42：当步骤S41中实际硬盘空间剩余量比例值小于设置的硬盘空间剩余量比例值时，则继续删除日志索引文件；
[0018]S43：当步骤S41中实际硬盘空间剩余量比例值大于或等于设置的硬盘空间剩余量比例值时，则中止删除日志索引文件，直到下一个执行周期。
[0019]进一步地，所述步骤S42包括：
[0020]S421：根据设置的硬盘空间剩余量比例值计算出要达到设置的硬盘空间剩余量比例值所需的硬盘空间剩余量比例，需要删除的日志索引文件占用的硬盘空间容量值；
[0021]S422：将步骤S2中排序后的日志索引文件按照容量大小再进行排序，并将容量大的日志索引文件排在前面；
[0022]S423：将步骤S422中已排序的日志索引文件按序筛选，直到筛选出的日志索引文件容量值大于等于步骤S421中计算出的需要删除的日志索引文件占用的硬盘空间容量值；
[0023]S424：将步骤S423中筛选出的日志索引文件进行删除。
[0024]一种清理维护elasticsearch日志索引文件的系统，包括：
[0025]第一排序模块：用于将日志索引文件按照文件名称中的分类进行排序，并将优先级高的分类日志索引文件排在前面；
[0026]第二排序模块：用于将第一排序模块中排序后的日志索引文件按照日期再进行排序，并将日期早的日志索引文件排在前面；
[0027]第一执行模块：按照预设第一删除流程，对第二排序模块中不符合预设第一删除流程的日志索引文件进行筛选并删除；
[0028]第二执行模块：按照预设第二删除流程，对第一执行模块不符合预设第二删除流程的日志索引文件进行再次删除，直到实际硬盘空间剩余量比例值满足设置的硬盘空间剩余量比例值。
[0029]进一步地，所述预设第一删除流程为：保留当前日期日志索引文件以及前N天内的日志索引文件，N＝1,2,3
…
n。
[0030]进一步地，所述预设第二删除流程为：设置硬盘空间剩余量比例值，当实际硬盘空间剩余量比例值小于设置的硬盘空间剩余量比例值时，删除日志索引文件直到实际硬盘空间剩余量比例值等于设置的硬盘空间剩余量比例值。
[0031]进一步地，所述第二执行模块包括：
[0032]对比单元：用于获取预设第二删除流程中设置的硬盘空间剩余量比例值，并将实际硬盘空间剩余量比例值与设置的硬盘空间剩余量比例值进行对比；
[0033]第一判断单元：当对比单元中实际硬盘空间剩余量比例值小于设置的硬盘空间剩余量比例值时，则继续删除日志索引文件；
[0034]第二判断单元：当对比单元中实际硬盘空间剩余量比例值大于或等于设置的硬盘空间剩余量比例值时，则中止删除日志索引文件，直到下一个执行周期。
[0035]进一步地，所述第一判断本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种清理维护elasticsearch日志索引文件的方法，其特征在于，包括步骤：S1：将日志索引文件按照文件名称中的分类进行排序，并将优先级高的分类日志索引文件排在前面；S2：将步骤S1中排序后的日志索引文件按照日期再进行排序，并将日期早的日志索引文件排在前面；S3：按照预设第一删除流程，对步骤S2中不符合预设第一删除流程的日志索引文件进行筛选并删除；S4：按照预设第二删除流程，对步骤S3中不符合预设第二删除流程的日志索引文件进行再次删除，直到实际硬盘空间剩余量比例值满足设置的硬盘空间剩余量比例值。2.根据权利要求1所述的清理维护elasticsearch日志索引文件的方法，其特征在于，所述预设第一删除流程为：保留当前日期日志索引文件以及前N天内的日志索引文件，N＝1,2,3
…
n。3.根据权利要求1所述的清理维护elasticsearch日志索引文件的方法，其特征在于，所述预设第二删除流程为：设置硬盘空间剩余量比例值，当实际硬盘空间剩余量比例值小于设置的硬盘空间剩余量比例值时，删除日志索引文件直到实际硬盘空间剩余量比例值等于设置的硬盘空间剩余量比例值。4.根据权利要求3所述的清理维护elasticsearch日志索引文件的方法，其特征在于，所述步骤S4包括：S41：获取预设第二删除流程中设置的硬盘空间剩余量比例值，并将实际硬盘空间剩余量比例值与设置的硬盘空间剩余量比例值进行对比；S42：当步骤S41中实际硬盘空间剩余量比例值小于设置的硬盘空间剩余量比例值时，则继续删除日志索引文件；S43：当步骤S41中实际硬盘空间剩余量比例值大于或等于设置的硬盘空间剩余量比例值时，则中止删除日志索引文件，直到下一个执行周期。5.根据权利要求4所述的清理维护elasticsearch日志索引文件的方法，其特征在于，所述步骤S42包括：S421：根据设置的硬盘空间剩余量比例值计算出要达到设置的硬盘空间剩余量比例值所需的硬盘空间剩余量比例，需要删除的日志索引文件占用的硬盘空间容量值；S422：将步骤S2中排序后的日志索引文件按照容量大小再进行排序，并将容量大的日志索引文件排在前面；S423：将步骤S422中已排序的日志索引文件按序筛选，直到筛选出的日志索引文件容量值大于等于步骤S421中计算出的需要删除的日志索引文件占用的硬盘空间容量值；S424：将步骤S423中筛选出的日志索引文件进行删除。6.一种清理维护elasticsearch日志索引文件的系...

【专利技术属性】
技术研发人员：俞建东，
申请(专利权)人：宁波柠清信息科技有限公司，
类型：发明
国别省市：