一种基于动态sql实现的数据质量管理方法及系统技术方案

本发明专利技术公开了一种基于动态sql实现的数据质量管理方法及系统，属于数据管理领域，本发明专利技术要解决的技术问题为如何实现高效、灵活、低成本的数据质量的动态自动化管理，技术方案为：该方法采用B/S架构，通过后台配置数据源，检验规则动态生成SQL并执行；具体步骤如下：S1、新建被管理的数据源；S2、设置数据质量的检核规则；S3、验证检核规则是否顺利执行；S4、添加检核规则的执行频率；S5、输出检核结果。该系统包括新建模块、设置模块、验证模块、添加模块及输出模块；新建模块用于新建被管理的数据源；设置模块用于设置数据质量的检核规则；验证模块用于验证检核规则是否顺利执行；添加模块用于添加检核规则的执行频率；输出模块用于输出检核结果。

A data quality management method and system based on dynamic SQL

【技术实现步骤摘要】
一种基于动态sql实现的数据质量管理方法及系统
本专利技术涉及数据管理领域，具体地说是一种基于动态sql实现的数据质量管理方法及系统。
技术介绍
数据质量管理(DataQualityManagement)，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。信息时代，数据已经慢慢成为一种资产，数据质量成为决定资产优劣的一个重要方面。人们在积累了海量数据的同时，对数据质量的管理工作也越来越繁重。当前市场的数据质量管理工具大多属于高度定制开发，根据自身数据结构定制专有的后台应用。但是存在以下三个问题：1)作者需要在后台输入命令行，有较高的技术门槛要求；2)技术人员通常与业务人员分离，双方需要消耗大量时间在统一业务口径、设置数据检查点等工作；3)兼容性很差，每个行业的数据结构不同，管理工具都需要定制开发。故如何实现高效、灵活、低成本的数据质量的动态自动化管理是目前急需解决的技术问题。专利号为CN109522318A的专利文献公开了一种数据质量管理方法及系统，该方法包括：对数据观测指标进行配置，获得指标配置表，其中，数据观测指标表征数据报送中的关注点；对指标配置表中的指标配置信息，对数据观测指标进行计算获得指标值，并根据指标值在预设时间范围内的变化数据，生成指标数据质量报告；确定监管报送数据的主题，对每个主题进行数据分析，获得主题化的数据质量报告；根据指标值，确定预警阈值，对数据观测指标进行预警处理，获得预警信息；根据指标数量质量报告、主题化的数据质量报告和预警信息，生成数据质量监控分析报告。该技术方法侧重于数据指标的告警分析，但是不能实现高效、灵活、低成本的数据质量的动态自动化管理。专利号为CN106547765A的专利文献公开了一种基于SQL的数据库管理方法，该方法包括：接收用户输入的SQL语句；对所述接收的SQL语句进行处理，生成带有逻辑结构的动态化SQL脚本；根据所述带有逻辑结构的动态化SQL脚本对数据库中的数据库对象进行更新。该技术方案可直接根据该带有逻辑结构的动态化SQL脚本对数据库进行更新，提高数据库更新效率，但是不能实现高效、灵活、低成本的数据质量的动态自动化管理。
技术实现思路
本专利技术的技术任务是提供一种基于动态sql实现的数据质量管理方法及系统，来解决如何实现高效、灵活、低成本的数据质量的动态自动化管理的问题。本专利技术的技术任务是按以下方式实现的，一种基于动态sql实现的数据质量管理方法，该方法采用B/S架构，无需安装客户端，通过后台配置数据源，检验规则动态生成SQL并执行，实现高效、灵活、低成本的数据质量管理；具体步骤如下：S1、新建被管理的数据源；S2、设置数据质量的检核规则；S3、验证检核规则是否顺利执行；S4、添加检核规则的执行频率；S5、输出检核结果。作为优选，所述步骤S1中新建被管理的数据源的具体步骤如下：S101、选择数据库类型，并在文本框输入数据源的IP地址、实例名、用户名、密码；S102、选择被管理的数据对象的集合，保存被管理的数据对象的集合，连接信息通过JDBC接口向数据库请求，判断是否连接成功：①、若连接成功，则数据源被保存，完成数据源的新建；②、若连接不成功，则重新执行步骤S101。更优地，所述数据源包括检核表和对照表。作为优选，所述步骤S2中设置数据质量的检核规则的具体步骤如下：S201、打开新建的数据源；S202、选择检核表和对照表；S203、选择检核表的被检核字段，并选择对照表的被检核字段；S204、保存选中信息；S205、将选中信息自动生成SQL语句，完成数据质量检核规则的设置。作为优选，所述步骤S2中设置数据质量的检核规则时，评估数据的完整性、一致性、准确性和及时性；完整性：检查数据的记录和信息是否完整、是否存在缺失情况；一致性：检查数据的记录是否符合规范、是否与前后及其它数据集保持统一；准确性：检查数据中记录的信息和数据是否准确、是否存在异常或者错误信息；及时性：检查数据从产生到能够查看的时间间隔，即数据的延时时长。更优地，所述步骤S205中完成数据质量检核规则的设置后，创建任务调度规则，用于调度执行数据质量的检核规则，并验证检核规则是否顺利执行。更优地，所述创建任务调度规则时，通过任务调度负责设定检核规则的自动执行频率，检核规则的执行频率是日执行、周执行或月执行。作为优选，所述步骤S3中验证检核规则是否顺利执行的具体步骤如下：S301、勾选已经保存成功的检核规则，执行该检核规则；S302、通过JDBC接口请求数据库执行检核规则的SQL语句，并判断数据库执行是否成功：①、若数据库执行成功，则将结果返回；②、若数据库执行出错或未执行，则返回报错信息。作为优选，所述步骤S5中输出检核结果的基本信息包括检核数据条数、检核出问题的数据条数、问题检核率及检核时间；检核结果的明细信息是检核出问题的数据每个字段的信息；最后一次执行输出的检核结果将会覆盖前一次执行时输出的检核结果。一种基于动态sql实现的数据质量管理系统，该系统包括，新建模块，用于新建被管理的数据源；设置模块，用于设置数据质量的检核规则；验证模块，用于验证检核规则是否顺利执行；添加模块，用于添加检核规则的执行频率；输出模块，用于输出检核结果。本专利技术的基于动态sql实现的数据质量管理方法及系统具有以下优点：(一)本专利技术通过后台配置数据源，检验规则动态生成SQL并执行，实现了高效、灵活、低成本的数据质量管理；(二)本专利技术通过新建被管理的数据源、设置数据质量的检核规则、验证检核规则是否顺利执行、添加检核规则的执行频率、输出检核结果五个步骤，可以自动完成数据的质量管理；(三)本专利技术采用B/S架构，无需安装客户端，简化了客户端电脑载荷，减轻了系统维护与升级的成本和工作量；(四)本专利技术相对于传统由客户端手动管理数据质量方式来说，可以节省人力资源成本，实现自动化监控数据质量，无需人工操作；(五)本专利技术通过创建网页，并在网页界面进行下拉、勾选的方式进行检核规则的设置，操作简单，对专业技能要求较低。附图说明下面结合附图对本专利技术进一步说明。附图1为基于动态sql实现的数据质量管理系统工作过程的流程框图。具体实施方式参照说明书附图和具体实施例对本专利技术的一种基于动态sql实现的数据质量管理方法及系统作以下详细地说明。实施例1：本专利技术的基于动态sql实现的数据质量管理方法,该方法采用B/S架构，无需安装客户端，通过后台配置数据源本文档来自技高网...

【技术保护点】
1.一种基于动态sql实现的数据质量管理方法，其特征在于，该方法采用B/S架构，无需安装客户端，通过后台配置数据源，检验规则动态生成SQL并执行，实现高效、灵活、低成本的数据质量管理；具体步骤如下：/nS1、新建被管理的数据源；/nS2、设置数据质量的检核规则；/nS3、验证检核规则是否顺利执行；/nS4、添加检核规则的执行频率；/nS5、输出检核结果。/n

【技术特征摘要】
1.一种基于动态sql实现的数据质量管理方法，其特征在于，该方法采用B/S架构，无需安装客户端，通过后台配置数据源，检验规则动态生成SQL并执行，实现高效、灵活、低成本的数据质量管理；具体步骤如下：
S1、新建被管理的数据源；
S2、设置数据质量的检核规则；
S3、验证检核规则是否顺利执行；
S4、添加检核规则的执行频率；
S5、输出检核结果。


2.根据权利要求1所述的基于动态sql实现的数据质量管理方法，其特征在于，所述步骤S1中新建被管理的数据源的具体步骤如下：
S101、选择数据库类型，并在文本框输入数据源的IP地址、实例名、用户名、密码；
S102、选择被管理的数据对象的集合，保存被管理的数据对象的集合，连接信息通过JDBC接口向数据库请求，判断是否连接成功：
①、若连接成功，则数据源被保存，完成数据源的新建；
②、若连接不成功，则重新执行步骤S101。


3.根据权利要求2所述的基于动态sql实现的数据质量管理方法，其特征在于，所述数据源包括检核表和对照表。


4.根据权利要求1所述的基于动态sql实现的数据质量管理方法，其特征在于，所述步骤S2中设置数据质量的检核规则的具体步骤如下：
S201、打开新建的数据源；
S202、选择检核表和对照表；
S203、选择检核表的被检核字段，并选择对照表的被检核字段；
S204、保存选中信息；
S205、将选中信息自动生成SQL语句，完成数据质量检核规则的设置。


5.根据权利要求1或4所述的基于动态sql实现的数据质量管理方法，其特征在于，所述步骤S2中设置数据质量的检核规则时，评估数据的完整性、一致性、准确性和及时性；
完整性：检查数据的记录和信息是否完整、是否存在缺失情况；
一致性：检查数据的记录是否符合规...

【专利技术属性】
技术研发人员：尹洪义，魏金磊，杨继伟，
申请(专利权)人：浪潮云信息技术有限公司，
类型：发明
国别省市：山东;37