System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种索引文件处理方法和系统技术方案_技高网

一种索引文件处理方法和系统技术方案

技术编号:40482446 阅读:15 留言:0更新日期:2024-02-26 19:16
本申请公开了一种索引文件处理方法和系统,该方法包括:获取审计日志,所述审计日志是对数据库进行审计生成的日志文件;针对审计日志文件创建全文索引,生成用于进行全文索引的索引文件;在创建索引文件时,记录创建全文索引的信息,所述创建全文索引的信息包括所述索引文件包括的审计日志文件的数量;在满足预先配置的条件时,对预定时间段内生成的索引文件进行融合,所述融合用于将多个索引文件进行合并,合并之后的索引文件数量小于合并之前的索引文件的数量。通过本申请解决了相关技术中索引文件多而操作系统对进程打开的文件数量有限制所导致的打开索引文件失败的问题,从而能够保证索引文件的正常打开,降低进行全文查询时的失败概率。

【技术实现步骤摘要】

本申请涉及到数据处理领域,具体而言,涉及一种索引文件处理方法和系统


技术介绍

1、全文搜索技术能够进行全文检索,但是并不是所有情况都适用于全文检索,还可以使用数据库搜索来进行。全文检索是数据库的有力补充,全文检索并不能替代数据库在应用系统中的作用。当应用系统的数据以大量的文本信息为主时,采用全文检索技术可以极大的提升应用系统的价值。

2、数据库搜索,如果搜索范围包括全部正文数据,往往性能很低,用户响应时间长(分钟级,经常超时);而全文检索可以在0.x秒(毫秒级)的时间内将结果反馈给用户;数据库搜索,一个用户在搜索,往往影响其他用户的对应用系统进行操作;全文检索可以同时支持多个用户并发搜索,其他对应用系统进行操作的用户不受影响;数据库搜索很难实现多个关键字的复合搜索;而全文检索可以实现多个关键词的复合搜索,包括 “和(and)”、“或(or)”、“否(not)” 等; 数据库搜索难于对结果进行相关度排序,当检索结果多时,用户往往难于找到最恰当的文档;而全文检索通过统计的研究成果,可以将文档进行相关度排序后,再返回给用户,提高用户的效率全文检索还可以对检索结果的数据进行聚类分析,增进用户对数据分布情况的了解;全文检索需要用户定期执行建立索引的动作,比直接使用数据库搜索增加了维护的工作;优秀的全文检索系统支持按照文档的不同字段分配不同的检索权重,根据应用的不同动态的改变结果的排序。

3、在进行数据库审计的时候,会生成审计日志。对于审计日志而言,一方面需要将审计日志入库,另一方面,还需要为审计日志创建全文索引。在每次创建全文索引时都会生成一组独立的索引文件。数据库审计会有如下特点:有时用户的审计量不大,但会持续有流量,这样的话审计日志和索引占用的空间不大,磁盘上可以存很长时间的在线日志及索引,时间跨度大,很可能是好几年。在这种场景下,索引文件会非常多。在查询审计日志时,如果时间跨度大,打开的索引文件会非常多,而操作系统对进程打开的文件数是有限制的,此时可能会打开某个索引文件失败,导致查询失败。


技术实现思路

1、本申请实施例提供了一种索引文件处理方法和系统,以至少解决相关技术中索引文件多而操作系统对进程打开的文件数量有限制所导致的打开索引文件失败的问题。

2、根据本申请的一个方面,提供了一种索引文件处理方法和系统,包括:获取审计日志,其中,所述审计日志是对数据库进行审计生成的日志文件;针对审计日志文件创建全文索引,生成用于进行全文索引的索引文件;在创建索引文件时,记录创建全文索引的信息,其中,所述创建全文索引的信息包括所述索引文件包括的审计日志文件的数量;在满足预先配置的条件时,对预定时间段内生成的索引文件进行融合,其中,所述融合用于将多个索引文件进行合并,合并之后的索引文件数量小于合并之前的索引文件的数量。

3、进一步地,对预定时间段内生成的索引文件进行融合包括:预先配置第一周期和第二周期,其中,所述第一周期是以分钟为单位的时间周期,所述第二周期是以小时为单位的时间周期;对于所述第一周期内的索引文件进行融合,生成至少一个第一融合索引文件;对于所述第二周期内的第一融合索引文件进行融合,其中,所述第一周期小于所述第二周期。

4、进一步地,所述第一周期为n分钟,所述第一周期小于60分钟,所述第二周期为m小时,所述第二周期大于1小时,小于24小时。

5、进一步地,对预定时间段生成的索引文件进行融合包括:对所述审计日志按照第三周期进行归档入库,其中,所述第三周期内的审计日志会放在一个分区表文件中,所述审计日志对应的索引文件放置在于所述审计日志相同的文件目录下;在对所述审计日志进行归档时,对归档的审计日志对应的索引文件进行融合;在进行融合之后,更新索引的记录。

6、进一步地,所述第三周期是24小时。

7、根据本申请的另一个方面,还提供了一种索引文件处理系统,包括:获取模块,用于获取审计日志,其中,所述审计日志是对数据库进行审计生成的日志文件;创建模块,用于针对审计日志文件创建全文索引,生成用于进行全文索引的索引文件;记录模块,用于在创建索引文件时,记录创建全文索引的信息,其中,所述创建全文索引的信息包括所述索引文件包括的审计日志文件的数量;融合模块,用于在满足预先配置的条件时,对预定时间段内生成的索引文件进行融合,其中,所述融合用于将多个索引文件进行合并,合并之后的索引文件数量小于合并之前的索引文件的数量。

8、进一步地,所述融合模块用于:预先配置第一周期和第二周期,其中,所述第一周期是以分钟为单位的时间周期,所述第二周期是以小时为单位的时间周期;对于所述第一周期内的索引文件进行融合,生成至少一个第一融合索引文件;对于所述第二周期内的第一融合索引文件进行融合,其中,所述第一周期小于所述第二周期。

9、进一步地,所述第一周期为n分钟,所述第一周期小于60分钟,所述第二周期为m小时,所述第二周期大于1小时,小于24小时。

10、进一步地,所述融合模块用于:对所述审计日志按照第三周期进行归档入库,其中,所述第三周期内的审计日志会放在一个分区表文件中,所述审计日志对应的索引文件放置在于所述审计日志相同的文件目录下;在对所述审计日志进行归档时,对归档的审计日志对应的索引文件进行融合;在进行融合之后,更新索引的记录。

11、进一步地,所述第三周期是24小时。

12、在本申请实施例中,采用了获取审计日志,其中,所述审计日志是对数据库进行审计生成的日志文件;针对审计日志文件创建全文索引,生成用于进行全文索引的索引文件;在创建索引文件时,记录创建全文索引的信息,其中,所述创建全文索引的信息包括所述索引文件包括的审计日志文件的数量;在满足预先配置的条件时,对预定时间段内生成的索引文件进行融合,其中,所述融合用于将多个索引文件进行合并,合并之后的索引文件数量小于合并之前的索引文件的数量。通过本申请解决了相关技术中索引文件多而操作系统对进程打开的文件数量有限制所导致的打开索引文件失败的问题,从而能够保证索引文件的正常打开,降低进行全文查询时的失败概率。

本文档来自技高网...

【技术保护点】

1.一种索引文件处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对预定时间段内生成的索引文件进行融合包括:

3.根据权利要求2所述的方法,其特征在于,所述第一周期为N分钟,所述第一周期小于60分钟,所述第二周期为M小时,所述第二周期大于1小时,小于24小时。

4.根据权利要求1所述的方法,其特征在于,对预定时间段生成的索引文件进行融合包括:

5.根据权利要求4所述的方法,其特征在于,所述第三周期是24小时。

6.一种索引文件处理系统,其特征在于,包括:

7.根据权利要求6所述的系统,其特征在于,所述融合模块用于:

8.根据权利要求7所述的系统,其特征在于,所述第一周期为N分钟,所述第一周期小于60分钟,所述第二周期为M小时,所述第二周期大于1小时,小于24小时。

9.根据权利要求6所述的系统,其特征在于,所述融合模块用于:

10.根据权利要求9所述的系统,其特征在于,所述第三周期是24小时。

【技术特征摘要】

1.一种索引文件处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对预定时间段内生成的索引文件进行融合包括:

3.根据权利要求2所述的方法,其特征在于,所述第一周期为n分钟,所述第一周期小于60分钟,所述第二周期为m小时,所述第二周期大于1小时,小于24小时。

4.根据权利要求1所述的方法,其特征在于,对预定时间段生成的索引文件进行融合包括:

5.根据权利要求4所述的方法,其特征在于,所述第三周...

【专利技术属性】
技术研发人员:杨海峰王光伦
申请(专利权)人:北京安华金和科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1