一种基于日志解析的数据库修改列同步方法和装置制造方法及图纸

本发明专利技术涉及数据库技术领域，提供了一种基于日志解析的数据库修改列同步方法和装置。方法包括当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务为修改列的操作，根据修改列操作所属表的列信息，构造一个建表操作发送到目的端；构造一个查询插入操作发送到目的端数据库的同步系统执行，把目的端数据库相应原表中的数据复制到目的端数据库的新建表中；源端数据库同步系统继续捕获日志，直到捕获到提交日志时，所以源端数据库的同步系统通知目的端数据库的同步系统删除原表，完成所述DDL事务同步。本发明专利技术基本上可以保证源和目的数据库几乎在同一时刻对表进行修改列的操作。

A synchronization method and device of database modification column based on log parsing

【技术实现步骤摘要】
一种基于日志解析的数据库修改列同步方法和装置
本专利技术涉及数据库
，特别是涉及一种基于日志解析的数据库修改列同步方法和装置。
技术介绍
在基于日志解析架构的数据库实时同步系统(支持异构)中，表修改的修改列操作同步往往会拖慢同步的性能。主要是在实际的应用系统中有些表的数据量过于庞大，如果在这种记录数很大的表上对表结构进行修改，比如修改某个列，会造成数据库对表的重构，由于这些表记录数庞大，数据库在重构时会消耗大量的时间并且产生大量的数据库日志。传统的同步方法源端日志解析服务需要捕获到源端数据库表修改操作的提交日志以后再开始解析并同步该表修改操作，并在捕获到该操作提交日志之前，该操作产生的大量日志都要进行收集并缓存，缓存操作会产生大量的IO从而影响源端数据库的性能，并且表修改操作发送到目的端，目的端的数据库在执行该修改操作时，也同样需要消耗大量的时间才能完成，期间数据同步服务在同步该表的后续操作时，只能等待目的端数据库完成表修改以后才能进行，造成很大的同步延时。例如对源端数据库拥有1亿行记录的A表修改1个列的数据类型定义，该操作大约需要在源端数据库执行花费约60分钟，该操作同步到目的库也同样至少要花费60分钟才能完成，那么就会造成数据同步至少延迟60分钟。在搭建主备同步的环境中，目的端数据库往往是用作查询库来分担主库的压力，表在修改列时，针对该表的查询操作将被阻塞，目的端数据库长时间的表修改操作会影响到应用的查询功能，如何缩短大表修改操作同步延时并且减少同步对目的端数据库上应用程序的影响就成为业界亟待解决的技术问题。
技术实现思路
本专利技术要解决的技术问题是在搭建主备同步的环境中，目的端数据库往往是用作查询库来分担主库的压力，表在修改列时，针对该表的查询操作将被阻塞，目的端数据库长时间的表修改操作会影响到应用的查询功能，如何缩短大表修改操作同步延时并且减少同步对目的端数据库上应用程序的影响就成为业界亟待解决的技术问题。本专利技术采用如下技术方案：第一方面，本专利技术提供了一种基于日志解析的数据库修改列同步方法，包括：源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志；当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务为修改列的操作，根据修改列操作所属表的列信息，构造一个建表操作发送到目的端同步系统执行；其中，所述建表操作包括建立新建表的表名和原表名建立映射关系，新建表的列信息参照对应原表完成修改列操作后的列信息设置；构造一个查询插入操作发送到目的端数据库的同步系统执行，把目的端数据库相应原表中的数据复制到目的端数据库的新建表中；源端数据库同步系统继续捕获日志，直到捕获到所述DDL事务的提交日志时，所以源端数据库的同步系统通知目的端数据库的同步系统删除原表，并将新建表的表名更换为目的端数据库中原表的表名，完成所述DDL事务同步。优选的，所述源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志，还包括：当首先收集到对应所述DDL事务的日志内容不是用户表INSERT操作，而是提交日志时，判断DDL事务为修改列的操作，则向目的端同步系统发送修改列操作。优选的，目的端数据库的同步系统在接收到源端数据库的同步系统的修改列操作后，直接在目的端数据库上对该表执行修改列操作，完成所述DDL事务同步。优选的，目的端数据库在所述DDL前，若接收到查询请求，所述方法还包括：所述目的端数据库的原表被锁定，从而处于不可被访问状态；其中，在完成所述DDL事物同步后，通过所述替换原表的新建表完成所述查询请求。优选的，所述源端数据库同步系统继续捕获日志，还包括：当捕获到所述DDL事务的回滚日志时，所以源端数据库的同步系统构造删除目的端新建表的操作，并发送到目标端执行，完成所述DDL事务同步。优选的，目的端在完成所述DDL事务同步前，若接收到查询请求，则方法还包括：目的端数据库提供所述原表作为查询请求的被查询对象，其中，所述查询请求过程并不影响所述原表数据向新建表中复制的过程。优选的，所述当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务是否为修改列的操作，具体包括：针对DDL事务，源端数据库会生成系统表的日志和对应普通表的日志；在收集完系统表的日志以后，通过系统表日志反推所述DDL事务所属操作；其中，收集完系统表的日志的条件是：产生DDL事务的提交或回滚消息，和/或，对应所述DDL事务的普通表的日志产生。优选的，所述通过系统表日志反推所述DDL事务所属操作，具体包括：根据捕获sys.col$表中的更新操作，得到描述修改表的各列名、各列单元值、各列赋值用默认公式中一项或者多项，并与原表该列定义描述进行比较；若发现所述各列名、各列单元值、各列赋值用默认公式中一项或者多项发生改变，则确定为修改列的操作。优选的，所述数据库包括Oracle和/或达梦数据库；所述修改列的操作具体为列数据类型调整。优选的，在所述方法中在源端数据库及目的端数据库部署同步系统，源端数据库同步系统从源端数据库读取日志，而目的端数据库同步系统则是负责把源端发过来的同步操作应用到目的端数据库。第二方面，本专利技术还提出了一种基于日志解析的数据库修改列同步方法，所述方法包括：源端数据库同步系统判断日志中的操作是否属于系统表操作，如果是则归类为DDL事务，获取该DDL操作的事务号，根据该事务号收集后续属于该事务的日志；当收集到上述DDL事务的提交日志时，则使用传统的方式同步该修改列；当收集到上述DDL事务相关的用户表INSERT操作日志时，则需要判断DDL事务中否为修改列的操作，如果是，根据前面收集的系统表操作日志还原出原始的修改列操作；把修改列操作发送到目的端数据库的同步系统执行；源端数据库同步系统继续捕获日志，后续属于上述修改列事务的DML日志都可以直接丢弃，直到捕获到该事务的提交或是回滚日志；当捕获到该修改列的回滚日志时，由于目标端已经执行了修改列的操作，所以要构造原先修改列的还原操作发送到目标端执行，完成该事务同步；当捕获取该修改列的提交日志时，完成该事务同步。优选的，在所述方法中在源端数据库及目的端数据库部署同步系统，源端数据库同步系统从源端数据库读取日志，而目的端数据库同步系统则是负责把源端发过来的同步操作应用到目的端数据库。优选的，所述修改列操作包括：修改列名、修改列中赋值、修改列赋值用的默认公式中的一项或者多项。第三方面，本专利技术还提供了一种基于日志解析的数据库修改列同步装置，用于实现第一方面所述的基于日志解析的数据库修改列同步方法，所述装置包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器本文档来自技高网...

【技术保护点】
1.一种基于日志解析的数据库修改列同步方法，其特征在于，包括：/n源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志；/n当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务为修改列的操作，根据修改列操作所属表的列信息，构造一个建表操作发送到目的端同步系统执行；其中，所述建表操作包括建立新建表的表名和原表名建立映射关系，新建表的列信息参照对应原表完成修改列操作后的列信息设置；/n构造一个查询插入操作发送到目的端数据库的同步系统执行，把目的端数据库相应原表中的数据复制到目的端数据库的新建表中；/n源端数据库同步系统继续捕获日志，直到捕获到所述DDL事务的提交日志时，所以源端数据库的同步系统通知目的端数据库的同步系统删除原表，并将新建表的表名更换为目的端数据库中原表的表名，完成所述DDL事务同步。/n

【技术特征摘要】
1.一种基于日志解析的数据库修改列同步方法，其特征在于，包括：
源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志；
当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务为修改列的操作，根据修改列操作所属表的列信息，构造一个建表操作发送到目的端同步系统执行；其中，所述建表操作包括建立新建表的表名和原表名建立映射关系，新建表的列信息参照对应原表完成修改列操作后的列信息设置；
构造一个查询插入操作发送到目的端数据库的同步系统执行，把目的端数据库相应原表中的数据复制到目的端数据库的新建表中；
源端数据库同步系统继续捕获日志，直到捕获到所述DDL事务的提交日志时，所以源端数据库的同步系统通知目的端数据库的同步系统删除原表，并将新建表的表名更换为目的端数据库中原表的表名，完成所述DDL事务同步。


2.根据权利要求1所述的基于日志解析的数据库修改列同步方法，其特征在于，所述源端数据库同步系统继续捕获日志，还包括：
当捕获到所述DDL事务的回滚日志时，所以源端数据库的同步系统构造删除目的端新建表的操作，并发送到目标端执行，完成所述DDL事务同步。


3.根据权利要求1所述的基于日志解析的数据库修改列同步方法，其特征在于，目的端在完成所述DDL事务同步前，若接收到查询请求，则方法还包括：
目的端数据库提供所述原表作为查询请求的被查询对象，其中，所述查询请求过程并不影响所述原表数据向新建表中复制的过程。


4.根据权利要求1-3任一所述的基于日志解析的数据库修改列同步方法，其特征在于，所述当收集到对应所述DDL事务的日志内容为用户表INSERT操作时，判断DDL事务是否为修改列的操作，具体包括：
针对DDL事务，源端数据库会生成系统表的日志和对应普通表的日志；
在收集完系统表的日志以后，通过系统表日志反推所述DDL事务所属操作；
其中，收集完系统表的日志的条件是：产生DDL事务的提交或回滚消息，和/或，对应所述DDL事务的普通表的日志产生。


5.根据权利要求4所述的基于日志解析的数据库修改列同步方法，其特征在于，所述通过系统表日志反推所述DDL事务所属操作，具体包...

【专利技术属性】
技术研发人员：付铨，孙峰，彭青松，余院兰，
申请(专利权)人：武汉达梦数据库有限公司，
类型：发明
国别省市：湖北;42