【技术实现步骤摘要】
本专利技术涉及数据检查，具体的说是一种多个子业务平台的数据检查核对方法及工具。
技术介绍
1、在部级、省级、地市级垂直管理的行业中，省级建立了省集中的数据库，部级单位需要对各个省(市)级单位的业务数据进行采集抽取，对当前子业务系统分布较多，各省级单位网络及应用环境各不相同，数据抽取情况较为复杂，需要一套方便有效的数据检查核对方法，验证部级单位数据抽取结果的准确性，现有可以采用的数据校验方式有以下两种。
2、1、基于中间件的传输技术。
3、mq、mt等中间件传输数据，可以利用中间件自带消息队列统计功能，统计数据传输条数。但一方面mq等中间件消息传递为异步形式，当遇到网络延迟等异常情况，队列中的消息还未能落盘部级系统时，数据检查核对结果是存在异常的。
4、2、基于现有etl工具的数据传输统计。
5、etl负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中。目前使用的绝大多数etl工具是自有数据传输统计功能的，但etl工具有以下主要缺点：需远程连接目标数据库，安全要求较高的项目不推荐使用；运维部署成本高；需要实施人员对实施人员的技能要求较高。
技术实现思路
1、数据是由多省级子业务系统并行抽取到行业部级平台，无论是mq消息中间件，还是etl工具，目前仅能统计单个省级上传的数据量，但在行业部级数据库中，所有省级数据都汇聚到同一个表中，无法通过现有工具进行统计，并且工
2、第一方面，本专利技术的一种多个子业务平台的数据检查核对方法，解决上述技术问题采用的技术方案如下：
3、一种多个子业务平台的数据检查核对方法，其包括如下步骤：
4、s1、实施人员在业务平台配置数据核对参数，业务平台数据库根据配置的参数对对应子业务平台的业务数据进行核对统计；
5、s2、实施人员通过业务平台提供的数据查询及核对页面选择与配置参数一致的核对数据，并发送请求给核对数据所属的子业务平台；
6、s3、子业务平台根据请求查询目标数据表并进行核对统计，核对统计结果发送给子业务平台所属的业务平台；
7、s4、在业务平台，对业务平台数据库的核对统计结果与子业务平台发送的核对统计结果进行匹配，同时，校验数据量行数与关键业务数据字段合计值是否相同；
8、s5、在匹配结果和校验结果一致时，通过业务平台的页面展示匹配结果和校验结果，在匹配结果和校验结果不一致时，重新根据配置的参数从数据库中抽取业务数据进行核对统计。
9、可选的，实施人员在业务平台配置数据核对参数，配置的参数包括核对表名、指定核对业务字段、核对业务时间字段；
10、实施人员通过业务平台提供的数据查询及核对页面选择与配置参数一致的核对数据，选择的核对数据包含所属子业务平台、数据表对象、数据时间范围。
11、可选的，执行步骤s2时，实施人员通过业务平台加密请求后发送给核对数据所属的子业务平台；
12、执行步骤s3时，子业务平台首先解密请求，随后根据请求内容查询目标数据表并进行核对统计，再后加密核对统计结果后发送给子业务平台所属的业务平台；
13、业务平台对其子业务平台发送过来的加密核对统计结果进行解密，并写入业务平台数据库；
14、执行步骤s4时，对业务平台数据库的核对统计结果与写入业务平台数据库的核对统计结果进行匹配，同时，校验数据量行数与关键业务数据字段合计值是否相同。
15、进一步可选的，执行步骤s2和步骤s3的过程中，使用rsa非对称算法加密请求和核对统计结果，使用预置的rsa密钥对加密的请求和核对统计结果进行解密；
16、加密数据和解密数据通过mq消息中间件进行传送。
17、第二方面，本专利技术的一种多个子业务平台的数据检查核对工具，解决上述技术问题采用的技术方案如下：
18、一种多个子业务平台的数据检查核对工具，其包括：
19、参数配置模块，用于在业务平台配置数据核对参数，并将配置的参数写入业务平台数据库；
20、页面处理模块，用于提供数据查询及核对页面，实施人员通过页面查询模块提供的数据查询及核对页面选择与配置参数一致的核对数据，并发送请求；
21、请求发送模块，用于将请求发送给核对数据所属的子业务平台；
22、查询统计模块，用于在子业务平台根据请求查询目标数据表并进行核对统计，核对统计结果发送给子业务平台所属的业务平台；
23、核对统计模块，用于根据配置参数，对业务平台数据库中对应子业务平台的业务数据进行核对统计；
24、匹配校验模块，用于在业务平台对核对统计模块的核对统计结果与查询统计模块发送的核对统计结果进行匹配，同时，校验数据量行数与关键业务数据字段合计值是否相同；
25、页面展示模块，用于在匹配结果和校验结果一致时展示匹配校验模块输出的匹配结果及校验结果；
26、数据补抽模块，用于在匹配结果和校验结果不一致时重新根据配置的参数从数据库中抽取业务数据，并将抽取数据发送至核对统计模块进行核对统计。
27、可选的，所涉及参数配置模块配置的参数包括核对表名、指定核对业务字段、核对业务时间字段；
28、实施人员通过页面查询模块提供的数据查询及核对操作选择与配置参数一致的核对数据，选择的核对数据包含所属子业务平台、数据表对象、数据时间范围。
29、可选的，所涉及请求发送模块加密请求后发送给核对数据所属的子业务平台；
30、查询统计模块首先解密请求，随后根据请求内容查询目标数据表并进行核对统计，再后加密核对统计结果后发送给子业务平台所属的业务平台；
31、数据检查核对工具还包括解密入库模块；解密入库模块对统计加密模块发送的核对统计结果进行解密，并写入业务平台数据库；匹配校验模块在业务平台对核对统计模块的核对统计结果与写入数据进行匹配，同时，校验数据量行数与关键业务数据字段合计值是否相同。
32、进一步可选的，所涉及请求发送模块使用rsa非对称算法对页面处理模块发送的请求进行加密，加密后的请求通过mq消息中间件发送给核对数据所属的子业务平台；
33、查询统计模块接收请求发送模块发送的请求后，首先使用预置的rsa密钥进行解密，随后根据解密内容查询目标数据表并进行核对统计，再后使用rsa非对称算法对核对统计结果进行加密，加密后的核对统计结果通过mq消息中间件发送给子业务平台所属的业务平台；
34、解密入库模块接收查询统计模块发送的核对统计结果后，使用预置的rsa密钥进行解本文档来自技高网...
【技术保护点】
1.一种多个子业务平台的数据检查核对方法，其特征在于,包括如下步骤：
2.根据权利要求1所述的一种多个子业务平台的数据检查核对方法，其特征在于，实施人员在业务平台配置数据核对参数，配置的参数包括核对表名、指定核对业务字段、核对业务时间字段；
3.根据权利要求1所述的一种多个子业务平台的数据检查核对方法，其特征在于，执行步骤S2时，实施人员通过业务平台加密请求后发送给核对数据所属的子业务平台；
4.根据权利要求3所述的一种多个子业务平台的数据检查核对方法，其特征在于，执行步骤S2和步骤S3的过程中，使用RSA非对称算法加密请求和核对统计结果，使用预置的RSA密钥对加密的请求和核对统计结果进行解密；
5.一种多个子业务平台的数据检查核对工具，其特征在于,其包括：
6.根据权利要求5所述的一种多个子业务平台的数据检查核对工具，其特征在于，所述参数配置模块配置的参数包括核对表名、指定核对业务字段、核对业务时间字段；
7.根据权利要求5所述的一种多个子业务平台的数据检查核对工具，其特征在于，所述请求发送模块加密请求后发
8.根据权利要求7所述的一种多个子业务平台的数据检查核对工具，其特征在于，所述请求发送模块使用RSA非对称算法对页面处理模块发送的请求进行加密，加密后的请求通过MQ消息中间件发送给核对数据所属的子业务平台；
...【技术特征摘要】
1.一种多个子业务平台的数据检查核对方法，其特征在于,包括如下步骤：
2.根据权利要求1所述的一种多个子业务平台的数据检查核对方法，其特征在于，实施人员在业务平台配置数据核对参数，配置的参数包括核对表名、指定核对业务字段、核对业务时间字段；
3.根据权利要求1所述的一种多个子业务平台的数据检查核对方法，其特征在于，执行步骤s2时，实施人员通过业务平台加密请求后发送给核对数据所属的子业务平台；
4.根据权利要求3所述的一种多个子业务平台的数据检查核对方法，其特征在于，执行步骤s2和步骤s3的过程中，使用rsa非对称算法加密请求和核对统计结果，使用预置的rsa密钥对加密的请求和核对统...
【专利技术属性】
技术研发人员：颜朋，
申请(专利权)人：山东浪潮数字商业科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。