数据识别方法、装置、计算机可读存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种数据识别方法、装置、计算机可读存储介质及电子设备。涉及金融科技领域或其他领域，该方法包括：获取多个数据表所对应的检查类型；基于检查类型，从多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合中包含的每个目标数据表中的待检查数据；对每个目标数据表集合对应的待检查数据进行组合，得到每个目标数据表集合对应的多个数据单元；基于与检查类型对应的检查规则，对每个数据单元进行评分，得到与每个数据单元对应的单元分数；基于单元分数，识别多个数据表中所包含的异常数据。本发明专利技术解决了现有技术通过人工识别异常数据造成的识别效率低的技术问题。的技术问题。的技术问题。

【技术实现步骤摘要】
数据识别方法、装置、计算机可读存储介质及电子设备


[0001]本专利技术涉及金融科技领域或其他领域，具体而言，涉及一种数据识别方法、装置、计算机可读存储介质及电子设备。

技术介绍

[0002]在现有的数据监管场景(如：非法资金转移监管场景)中，相关金融机构通常通过人工检查业务、客户、交易等数据的完整性以及与原核心系统数据的一致性，以识别出异常数据。这种方式一方面具有人力成本高，数据识别效率低下的问题，另一方面容易产生错检、漏检的现象，且不易于直观的反应出金融机构存在的数据问题。
[0003]针对现有技术通过人工识别异常数据造成的识别效率低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种数据识别方法、装置、计算机可读存储介质及电子设备，以至少解决现有技术通过人工识别异常数据造成的识别效率低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种数据识别方法，包括：获取多个数据表所对应的检查类型，其中，检查类型表征了对多个数据表进行检查的检查指标；基于检查类型，从多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合中包含的每个目标数据表中的待检查数据，其中，相同目标数据表集合中的目标数据表之间具有关联关系，待检查数据的数据类型与检查类型所需要检查的数据的数据类型相同；对每个目标数据表集合对应的待检查数据进行组合，得到每个目标数据表集合对应的多个数据单元；基于与检查类型对应的检查规则，对每个数据单元进行评分，得到与每个数据单元对应的单元分数；基于单元分数，识别多个数据表中所包含的异常数据。
[0006]进一步地，数据识别方法还包括：获取多个数据表对应的检查范围；基于检查类型和检查范围，从多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合中包含的每个目标数据表中的待检查数据。
[0007]进一步地，数据识别方法还包括：确定每个目标数据表集合中对应于相同的主键值的待检查数据；将每个目标数据表集合中对应于相同的主键值的待检查数据进行组合，得到每个目标数据表集合对应的多个数据单元。
[0008]进一步地，数据识别方法还包括：对目标数据单元进行数据完整性检查，得到与目标数据单元对应的第一初始分数，其中，目标数据单元为多个数据单元中的任意一个数据单元；对目标数据单元进行数据合规性检查，得到与目标数据单元对应的第二初始分数；对目标数据单元进行数据相关性检查，得到与目标数据单元对应的第三初始分数；基于目标数据单元对应的第一初始分数、第二初始分数以及第三初始分数确定目标数据单元对应的单元分数。
[0009]进一步地，数据识别方法还包括：获取目标数据单元中对应于相同字段的字段值；
检测对应于相同字段的字段值是否相同，得到第一检查结果；检测目标数据单元所对应的数据表中是否缺失与该目标数据单元对应的待检查数据，得到第二检查结果；基于第一检查结果和第二检查结果，确定第三初始分数。
[0010]进一步地，数据识别方法还包括：从多个单元分数中确定第一目标单元分数，其中，第一目标单元分数小于预设分数；确定与第一目标单元分数对应的数据单元为异常数据。
[0011]进一步地，数据识别方法还包括：在获取多个数据表所对应的检查类型之前，从多个数据表所包含的数据中，确定数据长度和/或数据类型不满足预设条件的目标数据；从多个数据表中删除目标数据。
[0012]根据本专利技术实施例的另一方面，还提供了一种数据识别装置，包括：获取模块，用于获取多个数据表所对应的检查类型，其中，检查类型表征了对多个数据表进行检查的检查指标，多个数据表具有关联关系；第一确定模块，用于基于检查类型，从多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合中包含的每个目标数据表中的待检查数据，其中，相同目标数据表集合中的目标数据表之间具有关联关系，待检查数据的数据类型与检查类型所需要检查的数据的数据类型相同；组合模块，用于对每个目标数据表集合对应的待检查数据进行组合，得到每个目标数据表集合对应的多个数据单元；评分模块，用于基于与检查类型对应的检查规则，对每个数据单元进行评分，得到与每个数据单元对应的单元分数；识别模块，用于基于单元分数，识别多个数据表中所包含的异常数据。
[0013]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的数据识别方法。
[0014]根据本专利技术实施例的另一方面，还提供了一种电子设备，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的数据识别方法。
[0015]在本专利技术实施例中，采用基于与检查类型对应的检查规则自动检查数据表，并基于检查结果自动识别异常数据的方式，通过获取多个数据表所对应的检查类型，然后基于检查类型，从多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合中包含的每个目标数据表中的待检查数据，接着对每个目标数据表集合对应的待检查数据进行组合，得到每个目标数据表集合对应的多个数据单元，并基于与检查类型对应的检查规则，对每个数据单元进行评分，得到与每个数据单元对应的单元分数，从而基于单元分数，识别多个数据表中所包含的异常数据。其中，检查类型表征了对多个数据表进行检查的检查指标，相同目标数据表集合中的目标数据表之间具有关联关系，待检查数据的数据类型与检查类型所需要检查的数据的数据类型相同。
[0016]在上述过程中，通过基于检查类型，从多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合对应的待检查数据，实现了对多个数据表中数据的有效筛选，避免了对所有数据均进行检查时存在无效检查的问题。进一步地，通过将每个目标数据表集合对应的待检查数据组合成多个数据单元，实现了对目标数据表的表内容的切割和整理，从而便于确定数据表中的异常数据。更进一步地，通过基于检查规则，对每个数据单
元进行评分，实现了对每个数据单元的异常程度的准确确定，通过基于评分得到的单元分数识别异常数据，提高了识别异常数据的识别效率，避免了通过人工检查数据造成的人工成本高、识别效率低的问题。
[0017]由此可见，本申请所提供的方案达到了基于与检查类型对应的检查规则自动检查数据表，并基于检查结果自动识别异常数据的目的，从而实现了提高异常数据的识别效率的技术效果，进而解决了现有技术通过人工识别异常数据造成的识别效率低的技术问题。
附图说明
[0018]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0019]图1是根据本专利技术实施例的一种可选的数据识别方法的示意图；
[0020]图2是根据本专利技术实施例的一种可选的数据识别方法的示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据识别方法，其特征在于，包括：获取多个数据表所对应的检查类型，其中，所述检查类型表征了对所述多个数据表进行检查的检查指标；基于所述检查类型，从所述多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合中包含的每个目标数据表中的待检查数据，其中，相同目标数据表集合中的目标数据表之间具有关联关系，所述待检查数据的数据类型与所述检查类型所需要检查的数据的数据类型相同；对所述每个目标数据表集合对应的待检查数据进行组合，得到每个目标数据表集合对应的多个数据单元；基于与所述检查类型对应的检查规则，对每个数据单元进行评分，得到与所述每个数据单元对应的单元分数；基于所述单元分数，识别所述多个数据表中所包含的异常数据。2.根据权利要求1所述的方法，其特征在于，基于所述检查类型，从所述多个数据表中筛选出至少一个目标数据表集合，并确定每个目标数据表集合中包含的每个目标数据表中的待检查数据，包括：获取所述多个数据表对应的检查范围；基于所述检查类型和所述检查范围，从所述多个数据表中筛选出所述至少一个目标数据表集合，并确定所述每个目标数据表集合中包含的每个目标数据表中的待检查数据。3.根据权利要求1或2所述的方法，其特征在于，对所述每个目标数据表集合对应的待检查数据进行组合，得到每个目标数据表集合对应的多个数据单元，包括：确定所述每个目标数据表集合中对应于相同的主键值的待检查数据；将所述每个目标数据表集合中对应于相同的主键值的待检查数据进行组合，得到所述每个目标数据表集合对应的多个数据单元。4.根据权利要求3所述的方法，其特征在于，基于与所述检查类型对应的检查规则，对每个数据单元进行评分，得到与所述每个数据单元对应的单元分数，包括：对目标数据单元进行数据完整性检查，得到与所述目标数据单元对应的第一初始分数，其中，所述目标数据单元为所述多个数据单元中的任意一个数据单元；对所述目标数据单元进行数据合规性检查，得到与所述目标数据单元对应的第二初始分数；对所述目标数据单元进行数据相关性检查，得到与所述目标数据单元对应的第三初始分数；基于所述目标数据单元对应的第一初始分数、第二初始分数以及第三初始分数确定所述目标数据单元对应的单元分数。5.根据权利要求4所述的方法，其特征在于，对所述目标数据单元进行数据相...

【专利技术属性】
技术研发人员：张钰，刘爽，李偲伟，姚蕊，
申请(专利权)人：工银科技有限公司，
类型：发明
国别省市：