一种数据稽核方法及装置制造方法及图纸

本申请公开了一种数据稽核方法及装置，将数据生产方生产的业务实体数据存储于目标数据仓库。将数据消费方数据库中存储的业务消费数据导入目标数据仓库，生成元数据表，业务消费数据对应有目标数据字段。将目标数据仓库中存储的目标数据字段对应的业务实体数据导入维度表。对元数据表和维度表进行表格操作，获得业务清洗表和业务脏数据表。业务清洗表的数据为元数据表与维度表中的相同数据，业务脏数据表的数据为元数据表中除相同数据以外的数据。获取数据消费方数据库中的业务脏数据，业务脏数据为所述业务脏数据表中的数据。如此，本申请结合目标数据仓库分层体系设计了以上的数据稽核流程，该流程能够自动化执行，降低了人工稽核的成本。了人工稽核的成本。了人工稽核的成本。

【技术实现步骤摘要】
一种数据稽核方法及装置


[0001]本申请涉及数据处理
，尤其涉及一种数据稽核方法及装置。

技术介绍

[0002]数据生产方用于生产数据，数据消费方用于获得并使用数据生产方生产的数据。当数据消费方获得的数据和数据生产方生产的数据不同时，表示数据消费方的数据消费失败，这会使得后续数据消费方对数据的使用出现异常。基于此，需要对数据消费方获得的数据进行数据稽核。
[0003]目前，可采用人工的方式进行数据稽核。即，通过人工的方式对数据进行一一对比核查。但是，需要稽核的数据的数据量可能非常大，人工稽核数据会导致人工成本耗费大。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种数据稽核方法及装置，能够自动实现数据稽核，降低人工成本。
[0005]为了实现上述目的，本申请提供的技术方案如下：
[0006]本申请提供一种数据稽核方法，所述方法包括：
[0007]将数据生产方生产的业务实体数据存储于目标数据仓库中；
[0008]将数据消费方数据库中存储的业务消费数据导入所述目标数据仓库，生成元数据表；所述业务消费数据通过读取所述业务实体数据获得；所述业务消费数据对应有目标数据字段；
[0009]将所述目标数据仓库中存储的所述目标数据字段对应的业务实体数据导入维度表；
[0010]对所述元数据表和所述维度表进行表格操作，获得业务清洗表和业务脏数据表；所述业务清洗表的数据为所述元数据表与所述维度表中的相同数据，所述业务脏数据表的数据为所述元数据表中除所述相同数据以外的数据；
[0011]获取所述数据消费方数据库中的业务脏数据；所述业务脏数据为所述业务脏数据表中的数据。
[0012]可选地，所述表格操作包括表格内连接操作和表格外连接操作；所述对所述元数据表和所述维度表进行表格操作，获得业务清洗表和业务脏数据表，包括：
[0013]利用所述表格内连接操作获取所述元数据表和所述维度表中的相同数据，并利用所述表格外连接操作获取所述维度表中除所述相同数据之外的数据；
[0014]由所述相同数据以及对应的目标数据字段组成业务清洗表，并由所述维度表中除所述相同数据之外的数据以及对应的目标数据字段组成业务脏数据表。
[0015]可选地，所述方法还包括：
[0016]基于所述目标数据仓库存储的所述业务实体数据，对所述数据消费方数据库中的业务脏数据进行数据修正。
[0017]可选地，所述业务脏数据表包括至少一条业务脏数据以及每条所述业务脏数据对应的数据标识；所述基于所述目标数据仓库存储的所述业务实体数据，对所述数据消费方数据库中的业务脏数据进行数据修正，包括：
[0018]将所述数据消费方数据库中的各条所述业务脏数据写入离线数据处理队列中进行遍历；
[0019]在遍历每条所述业务数据时，基于所述业务脏数据对应的数据标识，获取所述目标数据仓库中存储的所述数据标识对应的业务实体数据；
[0020]基于所述数据标识对应的业务实体数据对所述业务脏数据进行数据修正。
[0021]可选地，所述方法还包括：
[0022]获取所述业务脏数据表的属性信息，将所述业务脏数据表以及所述业务脏数据表的属性信息进行可视化监控；所述业务脏数据表的属性信息包括以下一种或多种：
[0023]所述业务脏数据表中的业务脏数据的数据量、所述业务脏数据的类型、所述业务脏数据的消费时间。
[0024]可选地，所述目标数据仓库为离线分析型数据仓库。
[0025]本申请还提供一种数据稽核装置，所述装置包括：
[0026]存储单元，用于将数据生产方生产的业务实体数据存储于目标数据仓库中；
[0027]生成单元，用于将数据消费方数据库中存储的业务消费数据导入所述目标数据仓库，生成元数据表；所述业务消费数据通过读取所述业务实体数据获得；所述业务消费数据对应有目标数据字段；
[0028]导入单元，用于将所述目标数据仓库中存储的所述目标数据字段对应的业务实体数据导入维度表；
[0029]第一获取单元，用于对所述元数据表和所述维度表进行表格操作，获得业务清洗表和业务脏数据表；所述业务清洗表的数据为所述元数据表与所述维度表中的相同数据，所述业务脏数据表的数据为所述元数据表中除所述相同数据以外的数据；
[0030]第二获取单元，用于获取所述数据消费方数据库中的业务脏数据；所述业务脏数据为所述业务脏数据表中的数据。
[0031]可选地，所述装置还包括：
[0032]修正单元，用于基于所述目标数据仓库存储的所述业务实体数据，对所述数据消费方数据库中的业务脏数据进行数据修正。
[0033]本申请还提供一种电子设备，包括：
[0034]一个或多个处理器；
[0035]存储装置，其上存储有一个或多个程序，
[0036]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一所述的数据稽核方法。
[0037]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如任一所述的数据稽核方法。
[0038]通过上述技术方案可知，本申请具有以下有益效果：
[0039]本申请提供了一种数据稽核方法及装置，将数据生产方生产的业务实体数据存储于目标数据仓库中。通过读取业务实体数据，数据消费方获得业务消费数据并存储于数据
消费方数据库中。将数据消费方数据库中的业务消费数据导入目标数据仓库，生成元数据表。该业务消费数据对应有目标数据字段。进而，再将目标数据仓库中存储的目标数据字段对应的业务实体数据导入维度表。对元数据表和维度表进行表格操作，获得业务清洗表和业务脏数据表。业务清洗表的数据为元数据表与维度表中的相同数据，业务脏数据表的数据为元数据表中除相同数据以外的数据，该数据即为业务脏数据。获取数据消费方数据库中的业务脏数据后，完成数据稽核。如此，本申请利用目标数据仓库的元数据表、维度表、业务清洗表等表格，设计了以上的业务消费数据的数据稽核流程，能够得到数据消费方数据库中的业务脏数据。该数据稽核流程能够自动执行，可降低人工稽核数据的成本。
附图说明
[0040]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本申请实施例提供的一种示例性应用场景的示意图；
[0042]图2为本申请实施例提供的一种数据稽核方法的流程图；
[0043]图3为本申请实施例提供的一种数据仓库分层体系的示意图；
[0044]图4为本申请实施例提供的另一种数据稽核方法的流程图；
[0045]图5为本申请实施例提供的一种数据稽核装置的结构示意图；...

【技术保护点】

【技术特征摘要】
1.一种数据稽核方法，其特征在于，所述方法包括：将数据生产方生产的业务实体数据存储于目标数据仓库中；将数据消费方数据库中存储的业务消费数据导入所述目标数据仓库，生成元数据表；所述业务消费数据通过读取所述业务实体数据获得；所述业务消费数据对应有目标数据字段；将所述目标数据仓库中存储的所述目标数据字段对应的业务实体数据导入维度表；对所述元数据表和所述维度表进行表格操作，获得业务清洗表和业务脏数据表；所述业务清洗表的数据为所述元数据表与所述维度表中的相同数据，所述业务脏数据表的数据为所述元数据表中除所述相同数据以外的数据；获取所述数据消费方数据库中的业务脏数据；所述业务脏数据为所述业务脏数据表中的数据。2.根据权利要求1所述的方法，其特征在于，所述表格操作包括表格内连接操作和表格外连接操作；所述对所述元数据表和所述维度表进行表格操作，获得业务清洗表和业务脏数据表，包括：利用所述表格内连接操作获取所述元数据表和所述维度表中的相同数据，并利用所述表格外连接操作获取所述维度表中除所述相同数据之外的数据；由所述相同数据以及对应的目标数据字段组成业务清洗表，并由所述维度表中除所述相同数据之外的数据以及对应的目标数据字段组成业务脏数据表。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述目标数据仓库存储的所述业务实体数据，对所述数据消费方数据库中的业务脏数据进行数据修正。4.根据权利要求3所述的方法，其特征在于，所述业务脏数据表包括至少一条业务脏数据以及每条所述业务脏数据对应的数据标识；所述基于所述目标数据仓库存储的所述业务实体数据，对所述数据消费方数据库中的业务脏数据进行数据修正，包括：将所述数据消费方数据库中的各条所述业务脏数据写入离线数据处理队列中进行遍历；在遍历每条所述业务数据时，基于所述业务脏数据对应的数据标识，获取所述目标数据仓库中存储的所述数据标识对应的业务实体数据；基于所述数据标识对应的业务实体数据对所述业务脏数据进行数据修正。5.根...

【专利技术属性】
技术研发人员：赵岗，
申请(专利权)人：上海众源网络有限公司，
类型：发明
国别省市：