【技术实现步骤摘要】
本申请涉及数据校验，特别是涉及一种数据校验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、随着业务的发展，信息系统的数量和信息系统所要处理的数据量急剧增加，同时也积累了大量的统计分析报表的需求，因此，需要统一的统计口径。
2、传统技术中，通过维护人员采用正向单元测试的方式进行数据的一致性校验，首先，针对不同的统计数据，维护人员以人工方式编写测试脚本，模拟各种输入条件，运行etl（extract-transform-load，数据仓库）任务，并使用断言（assertions）验证检测数据是否符合预期，进而确定被验证数据的数据一致性。
3、然而，目前的传统技术中，由于数据量的急剧增长，导致数据一致性测试的效率较低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种数据校验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种数据校验方法，包括：
3、获取待校验数据，基于所述待校验数据的数据类型确定所述待校验数据对应的校验优先级；
4、根据所述校验优先级将待校验数据划分为多个待校验数据集；
5、基于各所述待校验数据集对应的校验优先级，确定各所述待校验数据集对应的目标校验机制，并基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的目标校验策略；
6、根据各所述待校验数据集对应的所述目标校验机制以及所述目标校验策略，对各
7、在其中一个实施例中，所述获取待校验数据，包括：
8、获取各系统的候选数据；
9、根据所述候选数据的数据形式和数据源在所述候选数据中确定待校验数据。
10、在其中一个实施例中，所述根据所述校验优先级将待校验数据划分为多个待校验数据集，包括：
11、根据所述待校验数据对应的风险级别和数据源确定各所述待校验数据的校验优先级；
12、基于所述校验优先级和各预设优先级阈值对各所述待校验数据进行划分，得到多个校验优先级的待校验数据集。
13、在其中一个实施例中，所述基于各所述待校验数据集对应的校验优先级，确定各所述待校验数据集对应的目标校验机制，包括：
14、根据所述待校验数据集的校验优先级确定所述待校验数据集的校验顺序；
15、根据所述校验顺序和预设数据校验指标维度确定各所述待校验数据集对应的目标校验机制。
16、在其中一个实施例中，所述目标校验机制包括校验方法和所述校验方法对应的校验次序；所述根据所述校验顺序和预设数据校验指标维度确定各所述待校验数据集对应的目标校验机制，包括：
17、根据所述校验顺序中的校验机制标识与预设数据较远指标维度中的所述校验机制标识之间的匹配关系，确定所述待校验数据集对应的所述校验方法和各所述校验方法对应的所述校验次序。
18、在其中一个实施例中，所述校验机制包括数据迁移测试、数据仓库测试、报表测试和模型查询风控类系统测试；测试类型、数据形式、数据范围、数据关联关系和历史数据延续性分别对应一个校验机制。
19、在其中一个实施例中，基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的目标校验策略，包括：
20、当第一目标校验机制包括数据内容一致性校验和数据格式一致性校验时，基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的第一目标校验策略；
21、当第一目标校验机制包括数据格式一致性校验时，基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的第二目标校验策略；所述第一目标校验策略中的校验频次、深度、范围大于第二目标校验策略。
22、在其中一个实施例中，所述根据各所述待校验数据集对应的所述目标校验机制以及所述目标校验策略，对各所述待校验数据进行数据一致性校验，得到数据校验结果之后，所述方法还包括：
23、将所述校验结果中的异常结果进行存储；
24、根据所述异常结果对应的数据源、校验策略和预设报告模版生成数据校验报告。
25、第二方面，本申请还提供了一种数据校验装置，包括：
26、获取模块，用于获取待校验数据，基于所述待校验数据的数据类型确定所述待校验数据对应的校验优先级；
27、划分模块，用于根据所述校验优先级将待校验数据划分为多个待校验数据集；
28、确定模块，用于基于各所述待校验数据集对应的校验优先级，确定各所述待校验数据集对应的目标校验机制，并基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的目标校验策略；
29、校验模块，用于根据各所述待校验数据集对应的所述目标校验机制以及所述目标校验策略，对各所述待校验数据进行数据一致性校验，得到数据校验结果。
30、在其中一个实施例中，所述获取模块具体用于获取各系统的候选数据；
31、根据所述候选数据的数据形式和数据源在所述候选数据中确定待校验数据。
32、在其中一个实施例中，所述划分模块具体用于根据所述待校验数据对应的风险级别和数据源确定各所述待校验数据的校验优先级；
33、基于所述校验优先级和各预设优先级阈值对各所述待校验数据进行划分，得到多个校验优先级的待校验数据集。
34、在其中一个实施例中，所述确定模块具体用于根据所述待校验数据集的校验优先级确定所述待校验数据集的校验顺序；
35、根据所述校验顺序和预设数据校验指标维度确定各所述待校验数据集对应的目标校验机制。
36、在其中一个实施例中，所述目标校验机制包括校验方法和所述校验方法对应的校验次序；所述确定模块具体用于根据所述校验顺序中的校验机制标识与预设数据较远指标维度中的所述校验机制标识之间的匹配关系，确定所述待校验数据集对应的所述校验方法和各所述校验方法对应的所述校验次序。
37、在其中一个实施例中，所述校验机制包括数据迁移测试、数据仓库测试、报表测试和模型查询风控类系统测试；测试类型、数据形式、数据范围、数据关联关系和历史数据延续性分别对应一个校验机制。
38、在其中一个实施例中，所述确定模块具体用于当第一目标校验机制包括数据内容一致性校验和数据格式一致性校验时，基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的第一目标校验策略；
39、当第一目标校验机制包括数据格式一致性校验时，基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的第二目标校验策略；所述第一目标校验策略中的校验频次、深度、范围大于第二目标校验策略。
40、在其中一个实施例中，所述装置还包括：
41、存储模块，用于将所述校验结果中的异常结果进行存储；
42、生成模块，用于根据所本文档来自技高网...
【技术保护点】
1.一种数据校验方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取待校验数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述校验优先级将待校验数据划分为多个待校验数据集，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于各所述待校验数据集对应的校验优先级，确定各所述待校验数据集对应的目标校验机制，包括：
5.根据权利要求4所述的方法，其特征在于，所述目标校验机制包括校验方法和所述校验方法对应的校验次序；所述根据所述校验顺序和预设数据校验指标维度确定各所述待校验数据集对应的目标校验机制，包括：
6.根据权利要求1或4所述的方法，其特征在于，所述校验机制包括数据迁移测试、数据仓库测试、报表测试和模型查询风控类系统测试；测试类型、数据形式、数据范围、数据关联关系和历史数据延续性分别对应一个校验机制。
7.根据权利要求1所述的方法，其特征在于，所述基于校验机制与预设校验策略的对应关系，确定各所述待校验数据集对应的目标校验策略，包括：
8.根据权利要
9.一种数据校验装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据校验方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取待校验数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述校验优先级将待校验数据划分为多个待校验数据集，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于各所述待校验数据集对应的校验优先级，确定各所述待校验数据集对应的目标校验机制，包括：
5.根据权利要求4所述的方法，其特征在于，所述目标校验机制包括校验方法和所述校验方法对应的校验次序；所述根据所述校验顺序和预设数据校验指标维度确定各所述待校验数据集对应的目标校验机制，包括：
6.根据权利要求1或4所述的方法，其特征在于，所述校验机制包括数据迁移测试、数据仓库...
【专利技术属性】
技术研发人员：王永强，王壮，杨洋，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。