【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据质量分析方法、系统、终端及计算机可读存储介质。
技术介绍
1、目前，现有技术中，数据质量问题分析包括但不限于信息原因、流程原因、技术原因和人员原因：信息原因为指数据规范性异常，包括数据标准异常、数据质量规则异常、变化频度异常等；流程原因为指信息系统处理流程和人工操作流程设置不当，包括数据的创建、传递、装载、使用、维护和稽核等流程；技术原因为指数据处理各技术环节的异常，包括数据校验规则设计不当、数据源接入不当、数据存储能力有限等，主要涉及数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等环节；人员原因为指人员及管理机制不足，包括人员培训缺失、数据责任人不明确、激励与反馈机制不足等。但现有的对数据质量问题分析的过程中会使用监控分析工具，基于监控分析工具产生的结果数据以报表的形式实现的，使得数据可读性较差，并且基于人工设置的预警阈值，会降低数据预警的准确性和时更性较差的问题，从而降低数据质量精确性。
2、因此，现有技术还有待于改进和发展。
技术实现思路
1、本专利技术的主要目的在于提供一种数据质量分析方法、系统及计算机可读存储介质，旨在解决现有技术中数据进行分析时，数据报送质量差，数据质量分析结果的准确性低的问题。
2、为实现上述目的，本专利技术提供一种数据质量分析方法，所述数据质量分析方法包括如下步骤：
3、获取数据库的数据质量检测规则，根据所述数据质量检测规则对预设数据质量规则进行筛选，得到目标数据
4、获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据所述目标数据质量规则对所述目标规划集合进行校验，得到检测结果；
5、根据预设告警规则对所述检测结果进行解析，生成业务数据质量告警信息，对所述业务数据告警信息进行分析，生成数据质量监控分析报告。
6、可选地，所述获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据目标数据质量规则对所述目标规划集合进行校验，得到检测结果，具体包括：
7、获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到多个规划集合，根据预设评分等级对所述多个规划集合进行筛选，得到目标规划集合；
8、根据所述目标数据质量规则对所述目标规划集合进行校验，得到经过校验的业务数据和规则校验信息；
9、根据经过校验的业务数据和所述规则校验信息确定数据描述指标状态；
10、根据经过校验的业务数据、所述规则校验信息和所述数据描述指标状态生成检测结果。
11、可选地，所述的数据质量分析方法，其中，所述获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据目标数据质量规则对所述目标规划集合进行校验，得到检测结果，之后还包括：
12、根据所述规则校验信息和所述检测结果生成评估报表，并提示当前用户对所述评估报表中不合格数据进行纠正。
13、可选地，所述的数据质量分析方法，其中，所述根据所述规则校验信息和所述检测结果生成评估报表，并提示当前用户对所述评估报表中不合格数据进行纠正，具体包括：
14、根据所述规则校验信息和所述检测结果对所述业务数据进行评分；
15、根据所述评分确定所述业务数据的质量问题，将所述评分和所述质量问题输出到所述评估报表；
16、根据所述评估报表提示当前用户对所述评估报表中不合格数据进行纠正处理。
17、可选地，所述的数据质量分析方法，其中，所述根据预设告警规则对所述检测结果进行解析，生成业务数据质量告警信息，对所述业务数据告警信息进行分析，生成数据质量监控分析报告，之前还包括：
18、获取业务数据的指标进行配置，得到指标配置表；
19、对所述指标配置表中的指标配置信息和所述检测结果进行计算得到指标值，并根据所述指标值在预设时间范围内的变化数据，生成指标数据质量报告。
20、可选地，所述的数据质量分析方法，其中，所述根据预设告警规则对所述检测结果进行解析，生成业务数据质量告警信息，对所述业务数据告警信息进行分析，生成数据质量监控分析报告，具体包括：
21、根据预设告警规则对所述检测结果进行解析，生成所述业务数据质量告警信息；
22、对所述业务数据质量告警信息进行特征信息提取，得到业务结果特征信息；
23、将所述业务数据和所述业务结果特征信息进行融合分析，得到业务数据的分析结果；
24、若所述分析结果满足告警条件，则生成数据质量监控分析报告。
25、可选地，所述的数据质量分析方法，其中，所述数据质量分析方法还包括：
26、根据所述评估报表构建元数据分析模型；
27、根据所述元数据分析模型对所述业务数据的路径节点进行定位，将所述路径节点和所述业务数据进行关联，建立多个关联数据表。
28、此外，为实现上述目的，本专利技术还提供一种数据质量分析系统，其中，所述数据质量分析系统：
29、数据质量规则筛选模块，用于获取数据库的数据质量检测规则，根据所述数据质量检测规则对预设数据质量规则进行筛选，得到目标数据质量规则；
30、业务数据校验模块，用于获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据所述目标数据质量规则对所述目标规划集合进行校验，得到检测结果；
31、分析报告生成模块，用于根据预设告警规则对所述检测结果进行解析，生成业务数据质量告警信息，对所述业务数据告警信息进行分析，生成数据质量监控分析报告。
32、此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有数据质量分析程序，所述数据质量分析程序被处理器执行时实现如上所述的数据质量分析方法的步骤。
33、本专利技术中获取数据库的数据质量检测规则，根据所述数据质量检测规则对预设数据质量规则进行筛选，得到目标数据质量规则；获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据所述目标数据质量规则对所述目标规划集合进行校验，得到检测结果；根据预设告警规则对所述检测结果进行解析，生成业务数据质量告警信息，对所述业务数据告警信息进行分析，生成数据质量监控分析报告。本专利技术通过规则筛选、数据划分、校验、告警解析、分析用于监控数据库中的数据质量情况，生成质量监控分析报告，提高数据分析精确度改善数据质量。
本文档来自技高网...【技术保护点】
1.一种数据质量分析方法，其特征在于，所述数据质量分析方法包括：
2.根据权利要求1所述的数据质量分析方法，其特征在于，所述获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据目标数据质量规则对所述目标规划集合进行校验，得到检测结果，具体包括：
3.根据权利要求2所述的数据质量分析方法，其特征在于，所述获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据目标数据质量规则对所述目标规划集合进行校验，得到检测结果，之后还包括：
4.根据权利要求3所述的数据质量分析方法，其特征在于，所述根据所述规则校验信息和所述检测结果生成评估报表，并提示当前用户对所述评估报表中不合格数据进行纠正，具体包括：
5.根据权利要求1所述的数据质量分析方法，其特征在于，所述根据预设告警规则对所述检测结果进行解析，生成业务数据质量告警信息，对所述业务数据告警信息进行分析，生成数据质量监控分析报告，之前还包括：
6.根据权利要求1所述的数据质量分析方法，其特
7.根据权利要求3所述的数据质量分析方法，其特征在于，所述数据质量分析方法还包括：
8.一种数据质量分析系统，其特征在于，所述数据质量分析系统包括：
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据质量分析程序，所述数据质量分析程序被所述处理器执行时实现如权利要求1-7任一项所述的数据质量分析方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有数据质量分析程序，所述数据质量分析程序被处理器执行时实现如权利要求1-7任一项所述的数据质量分析方法的步骤。
...【技术特征摘要】
1.一种数据质量分析方法，其特征在于，所述数据质量分析方法包括：
2.根据权利要求1所述的数据质量分析方法，其特征在于，所述获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据目标数据质量规则对所述目标规划集合进行校验，得到检测结果，具体包括：
3.根据权利要求2所述的数据质量分析方法，其特征在于，所述获取用户输入到数据库的业务数据，根据预设的质量检测计划对所述业务数据进行划分，得到目标规划集合，根据目标数据质量规则对所述目标规划集合进行校验，得到检测结果，之后还包括：
4.根据权利要求3所述的数据质量分析方法，其特征在于，所述根据所述规则校验信息和所述检测结果生成评估报表，并提示当前用户对所述评估报表中不合格数据进行纠正，具体包括：
5.根据权利要求1所述的数据质量分析方法，其特征在于，所述根据预设告警规则对所述检测结果进行解析，生成业务数据质量告警信息，对...
【专利技术属性】
技术研发人员：李光耀，张静，刘攀，钟书峘，杨光，刘建辉，杨昊，冯俊杰，汤恩德，朱国忠，
申请(专利权)人：深圳市燃气集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。