【技术实现步骤摘要】
本专利技术涉及数据处理，特别涉及一种基于主键映射的数据归集方法。
技术介绍
1、在基层数据数据治理项目前期，为满足各地方上的个性化、安全性需求，常有同一系统多地部署情况。当后期要建立统一父系统时，父系统往往需要同步归集子系统数据。
2、为了完成两个系统间数据关联同步，减少重复编码，本专利技术提出了一种基于主键映射的数据归集方法。
技术实现思路
1、本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的基于主键映射的数据归集方法。
2、本专利技术是通过如下技术方案实现的：
3、一种基于主键映射的数据归集方法，通过记录同一数据表不同系统的主键映射，依托数据更新时间，在保证系统间独立性的同时，完成数据融合归集；
4、包括以下步骤：
5、步骤s1、父系统新建同步系统表，同步表信息表，同步表字段表和主键映射表；子系统新建同步主键表；
6、步骤s2、同步服务开始后，根据同步系统表连接要同步的系统的库，读取同步表信息表数据，获取同步表信息，根据同步表同步顺序，依次同步数据；
7、步骤s3、对比子系统数据表和同步主键表，获取删除数据的主键，根据子系统主键在主键映射表中查询父系统主键，删除对应的父系统数据，同时删除对应的主键映射表数据和同步主键表数据；
8、步骤s4、对比子系统数据表和同步主键表，获取新增数据，依据同步表字段表中的字段信息对数据进行处理；
9、处理完成后将数据插入父系统，同时获
10、步骤s5、根据同步表信息表获取上次更新时间，根据更新时间增量获取同步表更新数据，依据同步表字段表中的字段信息对数据进行处理；
11、修改完成后，根据数据主键查询主键映射表中的父系统主键，并修改数据；
12、步骤s6、每次同步后，在同步表信息表中记录当前同步表的最新数据更新时间。
13、所述同步系统表用于记录要同步的系统信息，包括要同步的系统名与数据库连接信息。
14、所述同步表信息表用于记录要同步的表的信息，包括要同步的系统名、表名、表主键字段名、表的数据更新时间字段名、表的上次更新时间与表的同步顺序；
15、表的同步顺序依据表之间的关联关系进行配置，优先同步被关联的表；同步时根据表的更新时间字段名和上次更新时间值增量读取更新数据。
16、同步完成后，获取同步表最新更新时间，更新表的上次更新时间字段。
17、所述同步表字段表用于记录同步表的所有字段信息，包括系统名、表名、字段名、字段是否关联他表主键和关联表的表名；
18、同步时根据表名获取要同步表的字段信息，当字段是记录关联表的主键字段时，在同步过程中进行主键映射修改；
19、所述主键映射表用于记录同步过程中子系统和父系统的表的主键的映射信息，包括系统名、表名、父系统数据主键值与子系统数据主键值；
20、同步时，对于关联其他表主键的字段值，根据主键值和关联表名从主键映射表中查询新主键值，并修改字段值；
21、新增数据时，获取父系统主键，并保存到主键映射表，更新和删除数据时根据查询父系统主键值执行相应操作。
22、所述同步主键表用于记录当前已同步的表的主键信息，包括表名与主键值；
23、数据同步时，对比同步表的主键数据和同步主键表中的对应表主键数据，获取新增和删除数据，并分别同步这两类数据。
24、一种基于主键映射的数据归集设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述的方法步骤。
25、一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
26、本专利技术的有益效果是：该基于主键映射的数据归集方法，既不影响各系统间独立性，又无需在业务层面做过多开发，通过同步服务，以配置同步表信息的方式，直接实现了数据库表的同步归集。
本文档来自技高网...【技术保护点】
1.一种基于主键映射的数据归集方法，其特征在于：通过记录同一数据表不同系统的主键映射，依托数据更新时间，在保证系统间独立性的同时，完成数据融合归集；
2.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述同步系统表用于记录要同步的系统信息，包括要同步的系统名与数据库连接信息。
3.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述同步表信息表用于记录要同步的表的信息，包括要同步的系统名、表名、表主键字段名、表的数据更新时间字段名、表的上次更新时间与表的同步顺序；
4.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述同步表字段表用于记录同步表的所有字段信息，包括系统名、表名、字段名、字段是否关联他表主键和关联表的表名；
5.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述主键映射表用于记录同步过程中子系统和父系统的表的主键的映射信息，包括系统名、表名、父系统数据主键值与子系统数据主键值；
6.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述同步主键
7.一种基于主键映射的数据归集设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至6任意一项所述的方法。
8.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述的方法。
...【技术特征摘要】
1.一种基于主键映射的数据归集方法，其特征在于：通过记录同一数据表不同系统的主键映射，依托数据更新时间，在保证系统间独立性的同时，完成数据融合归集；
2.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述同步系统表用于记录要同步的系统信息，包括要同步的系统名与数据库连接信息。
3.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述同步表信息表用于记录要同步的表的信息，包括要同步的系统名、表名、表主键字段名、表的数据更新时间字段名、表的上次更新时间与表的同步顺序；
4.根据权利要求1所述的基于主键映射的数据归集方法，其特征在于：所述同步表字段表用于记录同步表的所有字段信息，包括系统名、表名、字段名、字段是否关联他表主键和关联...
【专利技术属性】
技术研发人员：尹金刚，申传旺，赵子墨，孙长杰，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。