一种多表关联数据集回填系统和方法技术方案

本申请涉及一种多表关联数据集回填系统和方法。系统包括：统管系统和多个分管系统；分管系统包括业务分管数据库和多个数据集回填节点；数据集回填节点包括第一回填权重计算模块；统管系统包括统一数据库、数据接收模块和第二权重计算模块；第一回填权重计算模块计算当前待发送回填数据集的回填权重，得到第一回填权重；第二权重计算模块计算历史回填数据集的回填权重，得到第二回填权重，根据预设的数据覆盖规则、第二回填权重和第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集；多个数据集回填节点将对应的待回填数据集回填至统管系统。采用本方法能够有序进行数据集回填，使整个回填工作自动化进行。使整个回填工作自动化进行。使整个回填工作自动化进行。

【技术实现步骤摘要】
一种多表关联数据集回填系统和方法


[0001]本申请涉及数据处理
，特别是涉及一种多表关联数据集回填系统和方法。

技术介绍

[0002]随着社会的不断发展和信息化的持续建设，组织机构建设了大量的业务应用分管系统。各系统建设数据库各自分离管理，数据分散各个地方。现在为了统一的信息化建设要求，需要把分散的业务系统数据集数据大量回填到核心统管系统的数据库中。
[0003]数据集同步一般是等到晚上系统停止服务后，手动进行导入和同步，占用巨大的人力物力。且由于数据格式统一和业务权限的要求的情况，很多的都是周期性，一次性，不确定性的多个分管系统，向管理系统同步多个不同的数据集。一方面多个分管系统有具体的数据冲突，另一方面回填数据集之间有很多的依赖和先后关系。不能简单的通过ETL工具进行数据同步方式进行处理。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种多表关联数据集回填系统和方法。
[0005]一种多表关联数据集回填方法，所述方法包括：统管系统和多个分管系统；每一分管系统包括业务分管数据库和多个数据集回填节点；所述数据集回填节点包括第一回填权重计算模块；所述统管系统包括统一数据库、数据接收模块和第二权重计算模块；所述第一回填权重计算模块用于计算当前待发送回填数据集的回填权重，得到第一回填权重，并将所述第一回填权重发送至所述第二权重计算模块；所述第二权重计算模块用于计算历史回填数据集的回填权重，得到第二回填权重，根据预先设置的数据覆盖规则、所述第二回填权重和每一分管系统中多个数据集回填节点的所述第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集；所述多个数据集回填节点启动多个线程将对应的待回填数据集并发回填至所述统管系统；所述数据接收模块批量接收多个待回填数据集，将所述多个待回填数据集存储至所述统一数据库。
[0006]在其中一个实施例中，还包括：根据所述第二回填权重和每一分管系统中多个数据集回填节点的所述第一回填权重的大小关系，判断多个分管系统的回填顺序，包括：当所述第一回填权重大于所述第二回填权重时，则将当前待发送回填数据集作为待回填数据集，以进行数据回填覆盖。
[0007]在其中一个实施例中，还包括：所述第一回填权重为：；
其中，为第一回填权重，为分管系统本身权重，为回填类型权重。
[0008]在其中一个实施例中，还包括：所述第二回填权重为：；其中，为第二回填权重，为数据保持时间，为回填类型权重。
[0009]在其中一个实施例中，还包括：所述数据集回填节点还包括权重分配模块；所述权重分配模块根据所述待回填数据集的关联级别对待回填数据集分配第三回填权重；所述数据集回填节点按照所述第三回填权重从大到小的顺序对当前待回填数据集进行回填。
[0010]在其中一个实施例中，还包括：数据集回填节点还包括数据采集模块和采集数据校验模块；所述数据集回填节点还包括数据传输模块；所述数据传输模块用于传输待回填数据集；在任务中断时，所述数据传输模块暂停传输，直到工作的时机达到预设条件时，继续上次执行的任务进度。
[0011]在其中一个实施例中，还包括：所述采集数据校验模块对需要回填的数据集中的数据进行数据空值校验、数据重复校验和数据有效性校验，检验成功后得到待发送回填数据集。
[0012]在其中一个实施例中，还包括：所述统管系统还包括接收数据校验模块；所述接收数据校验模块对待回填数据集中的数据分别进行数据接收完整校验和数据集完整性校验，将接收检验成功的数据存储至所述统一数据库。
[0013]一种多表关联数据集回填方法，所述方法包括：每一分管系统的数据集回填节点获取当前待发送回填数据集，计算当前待发送回填数据集的回填权重，得到第一回填权重；统管系统获取历史回填数据集，计算历史回填数据集的回填权重，得到第二回填权重；统管系统根据预先设置的数据覆盖规则、所述第二回填权重和每一分管系统中多个数据集回填节点的所述第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集；所述多个数据集回填节点启动多个线程将对应的待回填数据集并发回填至所述统管系统；所述统管系统批量接收多个待回填数据集，将所述多个待回填数据集存储至所述统一数据库，完成多个待回填数据集的数据回填。
[0014]上述多表关联数据集回填系统和方法，通过分管系统的第一回填权重计算模块计算当前待发送回填数据集的回填权重，得到第一回填权重，并将第一回填权重发送至统管系统的第二权重计算模块，第二权重计算模块计算历史回填数据集的回填权重，得到第二回填权重，从而在多个分管系统之间存在数据冲突回填时，根据预先设置的数据覆盖规则、第二回填权重和每一分管系统中多个数据集回填节点的第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集，分管系统的数据集回填节点将待回填数据集回填至通关系统。本专利技术实施例，按照指定的算法自动解决冲突，并有序进行回填，使整个回填工作从全人工操作变为自动化操作。
附图说明
[0015]图1为一个实施例中分布式回填的模块示意图；图2为一个实施例中数据集回填节点的结构示意图；图3为一个实施例中数据回填校验的模块示意图；图4为一个实施例中断点重传的模块示意图；图5为一个实施例中多表关联数据集回填方法的流程示意图。
具体实施方式
[0016]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0017]在一个实施例中，如图1所示，提供了一种多表关联数据集回填系统，包括：统管系统和多个分管系统；每一分管系统包括业务分管数据库和多个数据集回填节点；数据集回填节点包括第一回填权重计算模块；统管系统包括统一数据库、数据接收模块和第二权重计算模块；第一回填权重计算模块用于计算当前待发送回填数据集的回填权重，得到第一回填权重，并将第一回填权重发送至第二权重计算模块；第二权重计算模块用于计算历史回填数据集的回填权重，得到第二回填权重，根据预先设置的数据覆盖规则、第二回填权重和每一分管系统中多个数据集回填节点的第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集；多个数据集回填节点启动多个线程将对应的待回填数据集并发回填至统管系统；数据接收模块批量接收多个待回填数据集，将多个待回填数据集存储至统一数据库。
[0018]上述多表关联数据集回填方法中，通过分管系统的第一回填权重计算模块计算当前待发送回填数据集的回填权重，得到第一回填权重，并将第一回填权重发送至统管系统的第二权重计算模块，第二权重计算模块计算历史回填数据集的回填权重，得到第二回填权重，从而在多个分管系统之间存在数据冲突回填时，根据预先设置的数据覆盖规则、第二回填权重和每一分管系统中多个数据集回填节点的第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集，分管系统的数据集回填节点将待回填数据集回填至通关系统。本专利技术实施例，按照指定的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多表关联数据集回填系统，其特征在于，所述系统包括：统管系统和多个分管系统；每一分管系统包括业务分管数据库和多个数据集回填节点；所述数据集回填节点包括第一回填权重计算模块；所述统管系统包括统一数据库、数据接收模块和第二权重计算模块；所述第一回填权重计算模块用于计算当前待发送回填数据集的回填权重，得到第一回填权重，并将所述第一回填权重发送至所述第二权重计算模块；所述第二权重计算模块用于计算历史回填数据集的回填权重，得到第二回填权重，根据预先设置的数据覆盖规则、所述第二回填权重和每一分管系统中多个数据集回填节点的所述第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集；所述多个数据集回填节点启动多个线程将对应的待回填数据集并发回填至所述统管系统；所述数据接收模块批量接收多个待回填数据集，将所述多个待回填数据集存储至所述统一数据库。2.根据权利要求1所述的系统，其特征在于，所述根据预先设置的数据覆盖规则、所述第二回填权重和每一分管系统中多个数据集回填节点的所述第一回填权重，得到每一分管系统中多个数据集回填节点的待回填数据集的步骤，包括：根据所述第二回填权重和每一分管系统中多个数据集回填节点的所述第一回填权重的大小关系，判断多个分管系统的回填顺序，包括：当所述第一回填权重大于所述第二回填权重时，则将当前待发送回填数据集作为待回填数据集，以进行数据回填覆盖。3.根据权利要求2所述的系统，其特征在于，所述第一回填权重为：；其中，为第一回填权重，为分管系统本身权重，为回填类型权重。4.根据权利要求2所述的系统，其特征在于，所述第二回填权重为：；其中，为第二回填权重，为数据保持时间，为回填类型权重。5.根据权利要求1
‑
4任一项所述的系统，其特征在于，所述数据集回填节点还包括权重分配模块；所述权重分配模块根据所述待回填数据集的关联级别对待回填数据集分配第三回填权重；所述数据集回填节点按照所述第三回填权重从大到小的顺序对当前待回填数据集进行回填。6.根据权利要求...

【专利技术属性】
技术研发人员：沈大勇，王涛，姚锋，张忠山，吕济民，何磊，陈宇宁，陈盈果，刘晓路，杜永浩，闫俊刚，王沛，陈英武，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：