本发明专利技术公开了数据库分析领域的一种基于数据库的检测分析方法及装置,包括采集模块、预处理模块、分类模块、分析模块和结果展示模块,该基于数据库的检测分析方法及装置,通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据,并从各类数据中提取特征,包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征,对指标历史数据进行预处理,并通过分类模块创建后续不同分支,针对不同类型的指标进行合理的建模,通过用户订阅告警信息,对异常错误进行根因诊断,并通过结果展示模块自动生成诊断报告,并对其根因进行详细的了解,便于用户对错误信息进行定位、确认和处理。用户对错误信息进行定位、确认和处理。
【技术实现步骤摘要】
一种基于数据库的检测分析方法及装置
[0001]本专利技术涉及数据库分析
,具体为一种基于数据库的检测分析方法及装置。
技术介绍
[0002]数据库是存放数据的仓库,它的存储空间很大,可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放,是有一定的规则的,否则查询的效率会很低。当今世界是一个充满着数据的互联网世界,充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多,比如出行记录、消费记录、浏览的网页、发送的消息等等,除了文本类型的数据,图像、音乐、声音都是数据,数据库是一个按数据结构来存储和管理数据的计算机软件系统。数据库的概念实际包括两层意思:(1)数据库是一个实体,它是能够合理保管数据的“仓库”,用户在该“仓库”中存放要管理的事务数据,“数据”和“库”两个概念结合成为数据库;(2)数据库是数据管理的新方法和技术,它能更合适的组织数据、更方便的维护数据、更严密的控制数据和更有效的利用数据,数据库作为最重要的基础软件,是确保计算机系统稳定运行的基石,其包括关系型数据库和非关系型数据库,其区别在于储存方式、结构、规范、扩展方式、查询方式、规范化、事务性、读写性能、授权方式等。
[0003]在数据库中存在一些数据性错误,而缺少系统开发经验的用户无法通过错误信息来定位所存在的问题,而通过其他系统开发人员来进行操作时,容易导致机密数据泄漏,难以对异常数据产生的错误进行有效的解决,为此我们提出了一种基于数据库的检测分析方法及装置。
技术实现思路
[0004]本专利技术的目的在于提供一种基于数据库的检测分析方法及装置,以解决上述
技术介绍
中提出了在数据库中存在一些数据性错误,而缺少系统开发经验的用户无法通过错误信息来定位所存在的问题,而通过其他系统开发人员来进行操作时,容易导致机密数据泄漏,难以对异常数据产生的错误进行有效的解决的问题。
[0005]为实现上述目的,本专利技术提供如下技术方案:一种基于数据库的检测分析装置,包括采集模块、预处理模块、分类模块、分析模块和结果展示模块;
[0006]采集模块用于采集数据库指标数据和提取数据特征;
[0007]分类模块用于进行指标分类,便于后续进行不同手段的建模;
[0008]分析模块用于对异常数据进行检测分析,并进行根因诊断;
[0009]结果展示模块用于生成诊断报告。
[0010]本专利技术还提供一种基于数据库的检测分析方法,其特征在于:包括如下步骤:
[0011]S1:对数据库指标历史数据进行预处理,包括缺失数值填充,数据的平滑和聚合过程;
[0012]S2:通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系
统日志和记录数据,并从各类数据中提取特征,包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征;
[0013]S3:通过分类模块创建后续不同分支,针对不同类型的指标进行建模;
[0014]S4:最终通过结果展示模块自动生成诊断报告。
[0015]优选的,S2中还包括进行根因分类和根因扩展进行根因诊断。
[0016]优选的,根因分类包括特征预处理、特征筛选、算法分类、根因排序部分,根因扩展是基于根因类别进行相关信息的深入挖掘,具体包括SQL行为分析、专家规则、指标关联、维度下钻和日志分析。
[0017]优选的,S3中所述指标表现为梳理触发告警场景
‑
>模拟复现场景
‑
>根因分析和诊断
‑
>改进计划
‑
>验收改进质量
‑
>梳理触发告警场景”的闭环方法。
[0018]与现有技术相比,本专利技术的有益效果是:该基于数据库的检测分析方法及装置,通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据,并从各类数据中提取特征,包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征,对指标历史数据进行预处理,并通过分类模块创建后续不同分支,针对不同类型的指标进行合理的建模,通过用户订阅告警信息,对异常错误进行根因诊断,并通过结果展示模块自动生成诊断报告,使用户能够及时的定位错误信息,并对其根因进行详细的了解,便于用户对错误信息进行定位、确认和处理。
具体实施方式
[0019]下面将对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0020]本专利技术提供了一种基于数据库的检测分析装置,包括采集模块、预处理模块、分类模块、分析模块和结果展示模块;
[0021]采集模块用于采集数据库指标数据和提取数据特征;
[0022]分类模块用于进行指标分类,便于后续进行不同手段的建模;
[0023]分析模块用于对异常数据进行检测分析,并进行根因诊断;
[0024]结果展示模块用于生成诊断报告。
[0025]本专利技术还提供一种基于数据库的检测分析方法,其特征在于:包括如下步骤:
[0026]S1:对数据库指标历史数据进行预处理,包括缺失数值填充,数据的平滑和聚合过程;
[0027]S2:通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据,并从各类数据中提取特征,包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征;
[0028]S3:通过分类模块创建后续不同分支,针对不同类型的指标进行建模;
[0029]S4:最终通过结果展示模块自动生成诊断报告。
[0030]其中,S2中还包括进行根因分类和根因扩展进行根因诊断。
[0031]其中,根因分类包括特征预处理、特征筛选、算法分类、根因排序部分,根因扩展是
基于根因类别进行相关信息的深入挖掘,具体包括SQL行为分析、专家规则、指标关联、维度下钻和日志分析。
[0032]其中,S3中所述指标表现为梳理触发告警场景
‑
>模拟复现场景
‑
>根因分析和诊断
‑
>改进计划
‑
>验收改进质量
‑
>梳理触发告警场景”的闭环方法。
[0033]综上所述,本专利技术通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据,并从各类数据中提取特征,包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征,对指标历史数据进行预处理,并通过分类模块创建后续不同分支,针对不同类型的指标进行合理的建模,通过用户订阅告警信息,对异常错误进行根因诊断,并通过结果展示模块自动生成诊断报告,使用户本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于数据库的检测分析装置,其特征在于:包括采集模块、预处理模块、分类模块、分析模块和结果展示模块;采集模块用于采集数据库指标数据和提取数据特征;分类模块用于进行指标分类,便于后续进行不同手段的建模;分析模块用于对异常数据进行检测分析,并进行根因诊断;结果展示模块用于生成诊断报告。2.一种基于数据库的检测分析方法,其特征在于:包括如下步骤:S1:对数据库指标历史数据进行预处理,包括缺失数值填充,数据的平滑和聚合过程;S2:通过采集模块采集数据库性能指标、数据库状态抓取、系统指标、硬件问题、系统日志和记录数据,并从各类数据中提取特征,包括算法提取的时序特征、文本特征以及利用数据库知识提取的领域特征;S3:通过分类模块创建后续不同分支,针对不同类型的指标进行建模;S4:最终通过结果展示模块自动生成诊断报告。3.根据权利要求2所述的一...
【专利技术属性】
技术研发人员:张鹏,张洪岭,李灿,
申请(专利权)人:合肥长月科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。