【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据质量检测处理方法和装置。
技术介绍
1、随着计算机技术的不断向前发展，存储能力提升和复杂算法演进，大数据时代悄然而至，网络数据剧增，信息系统中充斥着海量的、多结构的、多维度的数据资源。大数据价值得到社会全面重视和认可，如何挖掘数据价值已成为各研究领域和各行业应用领域最为关心的问题，低质量的数据不仅无法体现数据价值，而且可能会与实际情况背道而驰，反而起到副作用。
2、现有的数据质量检测往往是只针对某一类型的数据库，对其中表、字段做质量检测，并需要编写对应的sql(structured query language，结构化查询语言)，当需求发生变化时，需要重新编写，导致检测繁琐、效率低下，无法应用到海量、异构的数据资源。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种数据质量检测处理方法和装置，至少能够解决现有技术中sql语句不具备普适性，导致数据质量检测效率低的现象。
2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据质量检测处理方法，包括：
3、接收数据质量检测任务，获取所述数据质量检测任务中的入参参数、结果处理策略、规则模版的标识；其中，入参参数包括数据库参数；
4、调用结构化查询语句sql解析转换引擎，将所述规则模版中的sql语句，转换为适配于数据库的sql语句，并填充所述入参参数，得到可执行sql语句；
5、加载数据库连接工具以连接至数据库，运行所述可执行
6、可选的，所述入参参数还包括表参数、字段参数、条件参数；
7、在所述接收数据质量检测任务之前，所述方法还包括：
8、接收数据质量检测请求，触发显示数据质量检测任务配置界面，接收在数据质量检测任务配置界面中选择的数据库和一个或多个规则模版、以及输入的条件参数和结果处理策略；
9、显示所述数据库下的所有表，接收对其中一个或多个表的选择操作，显示每个表下的所有字段，进而接收对其中一个或多个字段的选择操作；
10、基于选择的数据库、一个或多个表、每个表下一个或多个字段、条件参数、结果处理策略、一个或多个规则模版的标识，生成数据质量检测任务。
11、可选的，所述方法还包括：接收对数据质量检测规则模版的配置操作；其中，规则模版包括规则名称、规则分类、规则sql语句、sql语句的入参和出参，入参包括以占位符形式表示的库表参数、字段参数和条件参数，出参用于映射检测结果。
12、可选的，在所述接收对数据质量检测规则模版的配置操作之后，所述方法还包括：
13、对每个规则模版中的sql语句，配置入参参数，使用解析器解析每个sql语句，以分析每个sql语句的逻辑是否可执行成功。
14、可选的，所述接收数据质量检测任务，还包括：
15、在执行etl作业的过程中，响应于对数据质量检测的选择操作，根据etl作业产生的数据所存储的数据库、表、字段，确定数据质量检测任务集合，接收对其中一个数据质量检测任务的选择操作。
16、可选的，所述调用结构化查询语句sql解析转换引擎，将所述规则模版中的sql语句，转换为适配于数据库的sql语句，并输入所述入参参数，得到可执行sql语句，包括：
17、响应于数据库为特定数据库，将所述入参参数输入所述规则模版中的sql语句，得到可执行sql语句；
18、响应于数据库非特定数据库，调用结构化查询语句sql解析转换引擎，将所述规则模版中的sql语句，转换为适配于数据库的sql语句，并输入所述入参参数，得到可执行sql语句。
19、为实现上述目的，根据本专利技术实施例的另一方面，提供了一种数据质量检测处理装置，包括：
20、接收模块，用于接收数据质量检测任务，获取所述数据质量检测任务中的入参参数、结果处理策略、规则模版的标识；其中，入参参数包括数据库参数；
21、sql解析执行引擎模块，用于调用结构化查询语句sql解析转换引擎，将所述规则模版中的sql语句，转换为适配于数据库的sql语句，并填充所述入参参数，得到可执行sql语句；
22、加载数据库连接工具以连接至数据库，运行所述可执行sql语句，得到检测结果，根据所述结果处理策略处理所述检测结果，以根据处理结果进行相应操作。
23、可选的，所述入参参数还包括表参数、字段参数、条件参数；
24、所述装置还包括配置模块，用于：
25、接收数据质量检测请求，触发显示数据质量检测任务配置界面，接收在数据质量检测任务配置界面中选择的数据库和一个或多个规则模版、以及输入的条件参数和结果处理策略；
26、显示所述数据库下的所有表，接收对其中一个或多个表的选择操作，显示每个表下的所有字段，进而接收对其中一个或多个字段的选择操作；
27、基于选择的数据库、一个或多个表、每个表下一个或多个字段、条件参数、结果处理策略、一个或多个规则模版的标识，生成数据质量检测任务。
28、可选的，所述装置还包括规则模板模块，用于：
29、接收对数据质量检测规则模版的配置操作；其中，规则模版包括规则名称、规则分类、规则sql语句、sql语句的入参和出参，入参包括以占位符形式表示的库表参数、字段参数和条件参数，出参用于映射检测结果。
30、可选的，所述规则模板模块，还用于：
31、对每个规则模版中的sql语句，配置入参参数，使用解析器解析每个sql语句，以分析每个sql语句的逻辑是否可执行成功。
32、可选的，还包括etl作业任务模块，用于：
33、在执行etl作业的过程中，响应于对数据质量检测的选择操作，根据etl作业产生的数据所存储的数据库、表、字段，确定数据质量检测任务集合，接收对其中一个数据质量检测任务的选择操作。
34、可选的，所述sql解析执行引擎模块，用于：
35、响应于数据库为特定数据库，将所述入参参数输入所述规则模版中的sql语句，得到可执行sql语句；
36、响应于数据库非特定数据库，调用结构化查询语句sql解析转换引擎，将所述规则模版中的sql语句，转换为适配于数据库的sql语句，并输入所述入参参数，得到可执行sql语句。
37、为实现上述目的，根据本专利技术实施例的再一方面，提供了一种数据质量检测处理电子设备。
38、本专利技术实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据质量检测处理方法。
39、为实现上述目的，根据本专利技术实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时本文档来自技高网...
【技术保护点】
1.一种数据质量检测处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述入参参数还包括表参数、字段参数、条件参数；
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在所述接收对数据质量检测规则模版的配置操作之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述接收数据质量检测任务，还包括：
6.根据权利要求1所述的方法，其特征在于，所述调用结构化查询语句SQL解析转换引擎，将所述规则模版中的SQL语句，转换为适配于数据库的SQL语句，并输入所述入参参数，得到可执行SQL语句，包括：
7.一种数据质量检测处理装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，所述入参参数还包括表参数、字段参数、条件参数；
9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括规则模板模块，用于：
10.根据权利要求7所述的装置，其特征在于，还包括ETL作业任务模块，用于：<...
【技术特征摘要】
1.一种数据质量检测处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述入参参数还包括表参数、字段参数、条件参数；
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在所述接收对数据质量检测规则模版的配置操作之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述接收数据质量检测任务，还包括：
6.根据权利要求1所述的方法，其特征在于，所述调用结构化查询语句sql解析转换引擎，将所述规则模版中的sql语句，转换为适配于数据库的sql语句，并输入所述入参参数，得到可执行sql语句，包括：
7.一种数据质量检测处理装置，其特征在于，包括...
【专利技术属性】
技术研发人员：严志凌，饶梦文，隋建龙，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。