本发明专利技术公开了一种GoldenDB数据库的数据采集方法、系统、设备及介质，涉及数据库采集技术领域。方法包括：新建采集集群，基于所述采集集群的服务，完成GoldenDB数据库集群的数据库binlog日志的捕捉与整合，在所述采集集群的各采集节点上生成一份单数据库节点可回流的数据库日志；启动数据分发平台KAFKA集群服务，接收数据融合平台采集过程中所产生的实时变化数据；启动所述数据融合平台的服务，在所述采集集群节点的数据库日志中检索解析所述实时变化数据，将所述实时变化数据推送至数据分发平台KAFKA集群供下游消费。提供了一种易于操作、适用范围较为广泛的GoldenDB数据库表级数据准实时采集的方法及系统，填补GoldenDB数据库这一细分领域的空白。
【技术实现步骤摘要】
本专利技术涉及数据库采集，尤其涉及一种goldendb数据库的数据采集方法、系统、设备及介质。
技术介绍
1、随着金融业信创工作的有序推进，goldendb数据库在业内得到广泛应用，但是goldendb数据库行业生态建设缓慢，表级数据采集尚未提出有效的解决方案。
2、这是由于goldendb数据库作为国产分布式数据库的典型代表与传统数据库有很大的差别，传统数据库只有一个主数据库节点，goldendb数据库有多个主数据库节点，而且彼此间是物理隔离的，想要实现这种分布式数据库的表级数据准实时采集，需要探索一种适应分布式数据库环境的数据采集方法及系统，以填补goldendb数据库这一细分领域的空白。
技术实现思路
1、本专利技术提供了一种goldendb数据库的数据采集方法、系统、设备及介质，用以解决当前goldendb数据库的数据采集领域缺乏对应的采集方案这一技术问题。
2、一方面，本专利技术提供一种goldendb数据库的数据采集方法，所述方法包括：新建采集集群，基于所述采集集群的服务，完成goldendb数据库集群的数据库binlog日志的捕捉与整合，在所述采集集群的各采集节点上生成一份单数据库节点可回流的数据库日志；启动数据分发平台kafka集群服务，接收数据融合平台采集过程中所产生的实时变化数据；启动所述数据融合平台的服务，在所述采集集群节点的数据库日志中检索解析所述实时变化数据，将所述实时变化数据推送至数据分发平台kafka集群供下游消费。
>3、在本专利技术的一种实现方式中，所述采集集群的服务，具体包括：当goldendb数据库集群中各个数据库节点上的数据发生变化时，将此事件按照顺序写入binlog日志中；基于开发的采集集群一键部署脚本安装采集中间件，构建采集集群的若干采集节点；开启采集节点的采集功能对外提供服务；其中，所述采集功能具体为：在采集集群的各节点使用cdc用户进入命令行；启用采集功能中的i/o线程，命令为start slave io_thread，所述命令用于接受各主dn节点binlog dump线程发送的binlog内容，并写入本地relaylog，每个主dn节点生成一个relaylog；启用采集功能中的fetch线程和compose线程，命令为start slavecdc compose_thread。4、在本专利技术的一种实现方式中，所述方法还包括：将采集节点采集到的数据同步到goldendb数据库集群中所有分片中已存在的binlog的最大位置处。
5、在本专利技术的一种实现方式中，所述数据融合平台的服务具体包括：在所述goldendb数据库集群中新建采集集群使用的账户并授予权限；连接计算节点，获取数据表的元数据信息以及全量数据，在页面展示元数据信息；调用清洗程序，将采集到的异构数据源数据进行统一加工处理；将本地数据分发平台kafka数据进行数据格式转换，使用schemaregistry定义数据结构，使用confluent avro结构进行写入数据分发平台。
6、在本专利技术的一种实现方式中，所述方法还包括：通过java语言连接数据库的方式连接采集集群的采集节点，订阅采集集群节点的binlog日志。
7、在本专利技术的一种实现方式中，所述方法还包括：新增数据源节点配置goldendb数据库集群和采集集群的ip、端口、账号和密码信息；通过java语言连接数据库的方式连接goldendb数据库集群的计算节点与采集集群的采集节点。
8、本专利技术还提供了一种goldendb数据库的数据采集系统，应用于前述的一种goldendb数据库的数据采集方法，所述系统包括：goldendb数据库集群、采集集群、数据融合平台以及数据分发平台kafka集群，所述goldendb数据库集群的主要架构包括管理节点、全局事务节点、数据库节点、计算节点；所述采集集群部署在各个服务器上，用于针对分布式框架, 支持所有分片数据回流，以生成一份单数据库节点可回流的binlog日志；所述数据融合平台用于将采集中间件节点的binlog增量日志解析成实时数据，经过高级清洗程序处理完成数据格式的加工转换，并将实时生产的数据推送数据分发平台kafka集群，使下游应用系统进行订阅消费。
9、在本专利技术的一种实现方式中，所述管理节点用于执行分布式数据库系统所有的运维操作；其中，所述运维操作包括系统管理、系统的备份恢复、系统元数据管理、数据迁移；所述全局事务节点用于管理分布式事务的生命周期，并生成当前所有正在执行的分布式事务列表；所述数据库节点用于存储业务数据，及执行分布式子事务；所述计算节点用于接收应用发送过来的业务语句，对业务语句做语法解析，根据数据的分布信息做分布式的优化，所述优化包括语句的改写和并行分发。
10、本专利技术还提供了一种goldendb数据库的数据采集设备，所述设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够完成前述的一种goldendb数据库的数据采集方法。
11、本专利技术还提供了一种goldendb数据库的数据采集的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行用于完成前述的一种goldendb数据库的数据采集方法。
12、本专利技术提供的一种goldendb数据库的数据采集方法、系统、设备及介质，具有以下有益效果：
13、（1）、集成goldendb数据库集群与采集集群，基于goldendb数据库日志的增量和全量数据获取一系列实时数据技术，构建以业务目标为导向的数据链路，可以按需快速执行数据任务；
14、（2）、支持数据库表级数据实时采集、数据订阅与分发，实现秒级延迟的实时数据获取；
15、（3）、可以支持所有使用goldendb数据库集应用系统接入采集业务，只需要在新系统接入时配置相应的数据源节点信息、链路信息和任务信息即可，简单方便易于操作。
本文档来自技高网...
【技术保护点】
1.一种GoldenDB数据库的数据采集方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种GoldenDB数据库的数据采集方法，其特征在于，所述采集集群的服务，具体包括：
3.根据权利要求2所述的一种GoldenDB数据库的数据采集方法，其特征在于，所述方法还包括：将采集节点采集到的数据同步到GoldenDB数据库集群中所有分片中已存在的binlog的最大位置处。
4.根据权利要求1所述的一种GoldenDB数据库的数据采集方法，其特征在于，所述数据融合平台的服务具体包括：
5.根据权利要求4所述的一种GoldenDB数据库的数据采集方法，其特征在于，所述方法还包括：通过Java语言连接数据库的方式连接采集集群的采集节点，订阅采集集群节点的binlog日志。
6.根据权利要求4所述的一种GoldenDB数据库的数据采集方法，其特征在于，所述方法还包括：
7.一种GoldenDB数据库的数据采集系统，应用于权利要求1-6任意一项所述的一种GoldenDB数据库的数据采集方法，其特征在于，所述系统包括：GoldenDB数据库集群、采集集群、数据融合平台以及数据分发平台KAFKA集群，所述GoldenDB数据库集群的主要架构包括管理节点、全局事务节点、数据库节点、计算节点；所述采集集群部署在各个服务器上，用于针对分布式框架, 支持所有分片数据回流，以生成一份单数据库节点可回流的binlog日志；所述数据融合平台用于将采集中间件节点的binlog增量日志解析成实时数据，经过高级清洗程序处理完成数据格式的加工转换，并将实时生产的数据推送数据分发平台KAFKA集群，使下游应用系统进行订阅消费。
8.根据权利要求7所述的一种GoldenDB数据库的数据采集系统，其特征在于，所述管理节点用于执行分布式数据库系统所有的运维操作；其中，所述运维操作包括系统管理、系统的备份恢复、系统元数据管理、数据迁移；所述全局事务节点用于管理分布式事务的生命周期，并生成当前所有正在执行的分布式事务列表；所述数据库节点用于存储业务数据，及执行分布式子事务；所述计算节点用于接收应用发送过来的业务语句，对业务语句做语法解析，根据数据的分布信息做分布式的优化，所述优化包括语句的改写和并行分发。
9.一种GoldenDB数据库的数据采集设备，其特征在于，所述设备包括：
10.一种GoldenDB数据库的数据采集的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行权利要求1-6任意一项所述的一种GoldenDB数据库的数据采集方法。
...
【技术特征摘要】
1.一种goldendb数据库的数据采集方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种goldendb数据库的数据采集方法，其特征在于，所述采集集群的服务，具体包括：
3.根据权利要求2所述的一种goldendb数据库的数据采集方法，其特征在于，所述方法还包括：将采集节点采集到的数据同步到goldendb数据库集群中所有分片中已存在的binlog的最大位置处。
4.根据权利要求1所述的一种goldendb数据库的数据采集方法，其特征在于，所述数据融合平台的服务具体包括：
5.根据权利要求4所述的一种goldendb数据库的数据采集方法，其特征在于，所述方法还包括：通过java语言连接数据库的方式连接采集集群的采集节点，订阅采集集群节点的binlog日志。
6.根据权利要求4所述的一种goldendb数据库的数据采集方法，其特征在于，所述方法还包括：
7.一种goldendb数据库的数据采集系统，应用于权利要求1-6任意一项所述的一种goldendb数据库的数据采集方法，其特征在于，所述系统包括：goldendb数据库集群、采集集群、数据融合平台以及数据分发平台kafka集群，所述goldendb数据库集群的主要架构包括管理节点、全局事务...
【专利技术属性】
技术研发人员：谢峰，陈瑞金，王士交，冯占海，
申请(专利权)人：山东省城市商业银行合作联盟有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。