辅助检查数据的方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于大数据技术领域，提供了辅助检查数据的方法、装置、终端设备及存储介质，方法包括：获取待检查数据和待检查数据的元数据；确定元数据对应的数据检查类型，并确定元数据的数据检查类型对应的数据检查项，数据检查类型包含多个数据检查项；基于数据检查项生成数据检查脚本；执行数据检查脚本，对待检查数据进行数据检查，得到待检查数据的第一检查结果。实现对具有相同元数据的待检查数据配置相同的数据检查项，而无需针对每一个待检查数据单独配置数据检查项，提高了数据检查项的可重用性，以及减少反复配置数据检查项的工作量，提高数据检查效率。提高数据检查效率。提高数据检查效率。

【技术实现步骤摘要】
辅助检查数据的方法、装置、终端设备及存储介质


[0001]本申请属于大数据
，尤其涉及辅助检查数据的方法、装置、终端设备及存储介质。

技术介绍

[0002]随着互联网络的迅速发展，网络上的数据量越来越多，海量数据形成的大数据的存储和分析是各企业的宝贵财富。其中，大数据的数据质量管理成为企业必须面对的问题，是数据存储和分析的前提。在进行数据质量管理时，需要保障数据的及时性、准确性、完整性，从而确保企业各种业务数据的质量。
[0003]目前，很多企业主要依赖应用程序的数据质量检查功能来检查数据质量，根据数据质量检查功能中的检查规则对数据进行日常检查和预警。但是现有质量检查功能针对每个待检查数据单独配置检查规则，而没有考虑各个待检查数据之间的检查规则的可复用性，所以需要重复配置检查规则，这样就会增加反复配置检查规则的工作量，最终导致数据质量的检查效率降低。

技术实现思路

[0004]本申请实施例提供了辅助检查数据的方法、装置、终端设备及存储介质，可以解决当前数据质量检查功能重复配置检查规则的问题。
[0005]第一方面，本申请实施例提供了一种辅助检查数据的方法，包括：
[0006]获取待检查数据和待检查数据的元数据；
[0007]确定元数据对应的数据检查类型，并确定元数据的数据检查类型对应的数据检查项，数据检查类型包含多个数据检查项；
[0008]基于所述数据检查项生成数据检查脚本；
[0009]执行所述数据检查脚本对所述待检查数据进行数据检查，得到所述待检查数据的第一检查结果。
[0010]本申请实施例通过获取待检查数据和待检查数据的元数据，确定元数据对应的数据检查类型，并确定元数据的数据检查类型对应的数据检查项，从而可以预先对每个元数据配置对应的数据检查标准(即数据检查类型)，以及预先配置每个数据检查标准对应的多个数据检查条件(即数据检查项)，进而实现对具有相同元数据的待检查数据配置相同的数据检查项，而无需针对每一个待检查数据单独配置数据检查项，提高了数据检查项的可重用性，以及减少反复配置数据检查项的工作量，提高数据检查效率；进一步地，将数据检查项生成为待检查数据的数据检查脚本，基于数据检查脚本，对待检查数据进行数据检查，得到待检查数据的第一检查结果，从而实现数据检查项对待检查数据进行辅助检查，进而可以根据第一检查结果检查待检查数据的及时性、准确性和完整性。
[0011]第二方面，本申请实施例提供了一种辅助检查数据的装置，包括：
[0012]获取模块，用于获取待检查数据和待检查数据的元数据；
[0013]确定模块，用于确定元数据对应的数据检查类型，并确定元数据的数据检查类型对应的数据检查项，数据检查类型包含多个数据检查项；
[0014]生成模块，用于基于所述数据检查项生成数据检查脚本；
[0015]检查模块，用于执行所述数据检查脚本对所述待检查数据进行数据检查，得到所述待检查数据的第一检查结果。
[0016]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的检查数据质量的方法。
[0017]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的辅助检查数据的方法。
[0018]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的辅助检查数据的方法。
[0019]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0020]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请一实施例提供的系统示意图；
[0022]图2是本申请一实施例提供的辅助检查数据的方法的流程示意图；
[0023]图3是本申请另一实施例提供的辅助检查数据的方法的流程示意图；
[0024]图4是本申请另一实施例提供的辅助检查数据的方法的流程示意图；
[0025]图5是本申请实施例提供的辅助检查数据的装置的结构示意图；
[0026]图6是本申请实施例提供的终端设备的结构示意图。
具体实施方式
[0027]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0028]应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0029]还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0030]如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下
文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0031]另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0032]在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0033]如
技术介绍
相关记载，现有质量检查功能针对每个待检查数据单独配置检查规则，而没有考虑各个待检查数据之间的检查规则的可重用性。例如，对于两个数据表中的待检查数据“手机号码”，数据表A和数据表B中的“手机号码”的检查规则均是“手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种辅助检查数据的方法，其特征在于，包括：获取待检查数据和所述待检查数据的元数据；确定所述元数据对应的数据检查类型，并确定所述元数据的数据检查类型对应的数据检查项，所述数据检查类型包含多个所述数据检查项；基于所述数据检查项生成数据检查脚本；执行所述数据检查脚本对所述待检查数据进行数据检查，得到所述待检查数据的第一检查结果。2.如权利要求1所述的辅助检查数据的方法，其特征在于，所述元数据包括表元数据和字段元数据；相应地，所述确定所述元数据对应的数据检查类型，并确定所述元数据的数据检查类型对应的数据检查项，包括：根据所述字段元数据与所述数据检查类型的预设对应关系，确定所述字段元数据对应的数据检查类型；确定所述字段元数据对应的数据检查类型中与所述表元数据对应的数据检查项。3.如权利要求1所述的辅助检查数据的方法，其特征在于，所述基于所述数据检查项生成数据检查脚本，包括：获取所述数据检查项对应的预设程序文本；将所述待检查数据的元数据写入所述预设程序文本，生成所述待检查数据的所述数据检查脚本。4.如权利要求1所述的辅助检查数据的方法，其特征在于，所述数据检查脚本包含多个数据检查子脚本；相应地，所述执行所述数据检查脚本对所述待检查数据进行数据检查，得到所述待检查数据的第一检查结果，包括：执行所述数据检查脚本，根据多个所述数据检查子脚本，依次对所述待检查数据进行数据检查；若首次出现所述待检查数据不符合所述数据检查子脚本对应的所述数据检查项，或，所述数据检查脚本中的所有所述数据检查子脚本执行结束，则所述数据检查脚本执行结束，得到所述待检查数据的第一检查结果。5.如权利要求4所述的辅助检查数据的方法，其特征在于，所述执行所述数据检查脚本，根据多个所述数据检查子脚本，依次对所述待检查数据进行数据检查，包括：以工作流的方式依次执行所述数据检查脚本中的多个所述数据检查子脚本；针对每个所述数据检查子脚本...

【专利技术属性】
技术研发人员：汪涛，王正亭，
申请(专利权)人：平安证券股份有限公司，
类型：发明
国别省市：