一种MPP数据库的审计方法及装置制造方法及图纸

技术编号:37721978 阅读:21 留言:0更新日期:2023-06-02 00:21
本申请提供一种MPP数据库的审计方法及装置。应用于数据处理服务器,包括:获取目标数据库的审计日志数据的状态;当审计日志数据处于正常状态时,采用预先构建的ELK架构对审计日志数据进行处理,以得到审计日志数据中的异常语句,ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件;向用户展示异常语句。本申请通过采用上述方法,解决StarRocks组件缺少较好的监控审计功能,不能对存在误删、慢查询等情况的语句实现可追溯,并保持集群的稳定性和数据的安全性的问题。性和数据的安全性的问题。性和数据的安全性的问题。

【技术实现步骤摘要】
一种MPP数据库的审计方法及装置


[0001]本申请涉及数据处理的
,特别是一种MPP数据库的审计方法及装置。

技术介绍

[0002]数据库审计是指以安全事件为中心,以全面审计和精确审计为基础,实时记录网络上的数据库活动,对数据库操作进行细粒度审计的合规性管理,对数据库遭受到的风险行为进行实时告警。它通过对用户访问数据库行为的记录、分析和汇报,来帮助用户事后生成合规报告、事故追根溯源,同时通过大数据搜索技术提供高效查询审计报告,定位事件原因,以便日后查询、分析、过滤,实现加强内外部数据库网络行为的监控与审计,提高数据资产安全。
[0003]其中,StarRocks 是一种极速全场景 MPP数据库,同时兼容 MySQL 5.7 协议和 MySQL 生态。针对数据库中的执行语句,StarRocks缺少较好的监控审计功能。而随着各类业务使用数据库的场景越来越多,对权限管理和审计功能越发重视,这就要求需要对存在误删、慢查询等情况的语句实现可追溯,以保持集群的稳定性和数据的安全性。
[0004]目前,亟需一种MPP数据库的审计方法及装置来解决相关技术中存在的问题。

技术实现思路

[0005]本申请提供了一种MPP数据库的审计方法及装置,用于解决StarRocks数据库缺少较好的监控审计功能,不能保持集群的稳定性和数据的安全性的问题。
[0006]本申请第一方面提供一种MPP数据库的审计方法,应用于数据处理服务器,方法包括:获取目标数据库的审计日志数据的状态;当审计日志数据处于正常状态时,采用预先构建的ELK架构对审计日志数据进行处理,以得到审计日志数据中的异常语句,ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件;向用户展示异常语句。
[0007]本申请通过采用上述方法,完善StarRocks数据库的审计功能,及时找到数据库中的异常语句,以便于用户后续进行追踪、修改,提高了StarRocks集群的稳定性和数据的安全性。
[0008]可选的,目标数据库包括至少一个FE节点,获取目标数据库的审计日志数据的状态具体包括:向FE节点的配置文件中添加开启审计日志配置,以便于获得FE节点的审计日志文件;检测审计日志文件的状态,审计日志文件的状态为目标数据库的审计日志数据的状态。
[0009]本申请通过采用上述方法,通过获取FE节点的审计日志文件,根据FE节点的审计日志文件确定审计日志数据的状态。
[0010]可选的,ELK架构采用预设数量的linux服务器构建。
[0011]可选的,采用预先构建的ELK架构对审计日志数据进行处理,以得到审计日志数据中的异常语句,具体包括:采用Logstash组件对审计日志数据进行解析处理,得到已解析审计日志数据;采用ElastSearch组件对已解析审计日志数据进行解析验证,以便于验证解析
处理的结果是否达到预设要求;当解析处理的结果达到预设要求时,采用Kibana组件获取审计日志数据中的异常语句。
[0012]本申请通过采用上述方法,在预先构建的ELK架构中对审计日志数据进行处理,同时在采用Kibana组件获取审计日志数据中的异常语句之前,采用ElastSearch组件对已解析审计日志数据进行解析验证,提高了获取异常语句的准确度。
[0013]可选的,采用Logstash组件对审计日志数据进行解析处理,得到已解析审计日志数据,具体包括:通过Logstash组件获取审计日志文件的审计日志,并将审计日志添加进审计日志数据中;使用预设正则表达式对审计日志数据进行解析处理,得到已解析审计日志数据,预设正则表达式根据审计日志的格式设定。
[0014]本申请通过采用上述方法,通过Logstash组件获取审计日志文件的审计日志,并将审计日志添加进审计日志数据中;使用预设正则表达式对审计日志数据进行解析处理,得到已解析审计日志数据。
[0015]可选的,当解析处理的结果达到预期要求时,采用Kibana组件获取审计日志数据中的异常语句之前,方法还包括:将已解析审计日志数据写入ElastSearch组件,获取成功写入ElastSearch组件的数据量占已解析审计日志数据的占比;当占比大于或等于预设占比时,确定解析处理的结果达到预期要求。
[0016]本申请通过采用上述方法,确定成功写入ElastSearch组件的数据量占已解析审计日志数据的占比达到预设占比时,再采用Kibana组件获取审计日志数据中的异常语句,提高了获取异常语句时的准确率。
[0017]可选的,审计日志数据的语句类型包括DDL以及DML。
[0018]本申请第二方面提供一种MPP数据库的审计装置,装置为数据处理服务器,数据处理服务器包括获取单元、处理单元以及展示单元;获取单元,用于获取目标数据库的审计日志数据的状态;处理单元,用于当审计日志数据处于正常状态时,采用预先构建的ELK架构对审计日志数据进行处理,以得到审计日志数据中的异常语句,ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件;展示单元,用于向用户展示异常语句。
[0019]可选的,目标数据库包括至少一个FE节点,获取单元包括配置添加子单元以及状态检测子单元;配置添加子单元,向FE节点的配置文件中添加开启审计日志配置,以便于获得FE节点的审计日志文件;状态检测子单元,检测审计日志文件的状态,审计日志文件的状态为目标数据库的审计日志数据的状态。
[0020]可选的,处理单元具体包括解析子单元、验证子单元以及处理子单元;解析子单元,用于采用Logstash组件对审计日志数据进行解析处理,得到已解析审计日志数据;验证子单元,用于采用ElastSearch组件对已解析审计日志数据进行解析验证,以便于验证解析处理的结果是否达到预设要求;处理子单元,用于当解析处理的结果达到预设要求时,采用Kibana组件获取审计日志数据中的异常语句。
[0021]可选的,解析子单元包括日志添加模块以及日志解析模块;日志添加模块,用于通过Logstash组件获取审计日志文件的审计日志,并将审计日志添加进审计日志数据中;日志解析模块,用于使用预设正则表达式对审计日志数据进行解析处理,得到已解析审计日志数据,预设正则表达式根据审计日志的格式设定。
[0022]可选的,获取单元还包括结果判断子单元;解析判断子单元,用于将已解析审计日
志数据写入ElastSearch组件,获取成功写入ElastSearch组件的数据量占已解析审计日志数据的占比;当占比大于或等于预设占比时,确定解析处理的结果达到预期要求。
[0023]本申请第三方面提供一种电子设备,电子设备包括处理器、存储器、用户接口及网络接口,存储器用于存储指令,用户接口和网络接口用于给其他设备通信,处理器用于执行存储器中存储的指令,以使电子设备执行上述中任意一项的方法。
[0024]本申请第四方面提供一种计算机可读存储介质,计算机可读存储介质本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种MPP数据库的审计方法,其特征在于,应用于数据处理服务器,所述方法包括:获取所述目标数据库的审计日志数据的状态;当所述审计日志数据处于正常状态时,采用预先构建的ELK架构对所述审计日志数据进行处理,以得到所述审计日志数据中的异常语句,所述ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件;向用户展示所述异常语句。2.根据权利要求1所述的方法,其特征在于,所述目标数据库包括至少一个FE节点,所述获取所述目标数据库的审计日志数据的状态具体包括:向所述FE节点的配置文件中添加开启审计日志配置,以便于获得所述FE节点的审计日志文件;检测所述审计日志文件的状态,所述审计日志文件的状态为所述目标数据库的审计日志数据的状态。3.根据权利要求1所述的方法,其特征在于,所述ELK架构采用预设数量的linux服务器构建。4.根据权利要求2所述的方法,其特征在于,所述采用预先构建的ELK架构对所述审计日志数据进行处理,以得到所述审计日志数据中的异常语句,具体包括:采用所述Logstash组件对所述审计日志数据进行解析处理,得到已解析审计日志数据;采用所述ElastSearch组件对所述已解析审计日志数据进行解析验证,以便于验证所述解析处理的结果是否达到预设要求;当所述解析处理的结果达到所述预设要求时,采用所述Kibana组件获取所述审计日志数据中的异常语句。5.根据权利4所述的方法,其特征在于,所述采用所述Logstash组件对所述审计日志数据进行解析处理,得到已解析审计日志数据,具体包括:通过所述Logstash组件获取所述审计日志文件的审计日志,并将所述审计日志添加进所述审计日志数据中;使用预设正则表达式对所述审计日志数据进行解析处理,得到所述已解析审计日志数据,所述预设正则表达式根据所述审计...

【专利技术属性】
技术研发人员:陈聪
申请(专利权)人:企知道科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1