数据采集方法、装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种数据采集方法、装置、存储介质和电子设备。该方法可以包括：通过开源项目客户端采集至少一个关系型数据库中的目标关系型数据库的增量数据，其中，增量数据为目标关系型数据库中的发生变化的数据，其中，开源项目客户端支持至少一个关系型数据库；将采集到的目标关系型数据库的增量数据写入目标数据源中。通过本发明专利技术，达到了提高数据采集效率的技术效果。效率的技术效果。效率的技术效果。

【技术实现步骤摘要】
数据采集方法、装置、存储介质和电子设备


[0001]本专利技术涉及数据处理领域，具体而言，涉及一种数据采集方法、装置、存储介质和电子设备。

技术介绍

[0002]目前，数据框架canal和分析程序Open Replicator，均是基于文件MySQL binlog进行分析的开源项目。其中，数据框架canal基于数据库增量日志解析，提供增量数据订阅和消费，在文件binlog分析的基础上进行了封装，仅支持关系型数据库Mysql的增量采集，而不支持其它关系型数据库的增量采集，而且不支持将数据写入目标数据源；分析程序Open Replicator也仅仅提供了文件binlog解析。这样在需要对多个关系型数据库的数据进行采集时，需要为每个关系型数据库单独开发代码，从而导致数据采集效率低。
[0003]针对现有技术中的数据采集效率低的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术的主要目的在于提供一种数据采集方法、装置、存储介质和电子设备，以至少解决数据采集效率低的技术问题。
[0005]为了实现上述目的，根据本专利技术的一个方面，提供了一种数据采集方法。该方法可以包括：通过开源项目客户端采集至少一个关系型数据库中的目标关系型数据库的增量数据，其中，增量数据为目标关系型数据库中的发生变化的数据，其中，开源项目客户端支持至少一个关系型数据库；将采集到的目标关系型数据库的增量数据写入目标数据源中。
[0006]可选地，在通过开源项目客户端采集至少一个关系型数据库中的目标关系型数据库的增量数据之前，该方法还包括：开启目标关系型数据库的增量采集配置功能，其中，增量采集配置功能用于允许开源项目客户端采集目标关系型数据库的增量数据。
[0007]可选地，在将采集到的目标关系型数据库的增量数据写入目标数据源中之前，该方法还包括：获取目标关系型数据库的原数据表结构，其中，原数据表结构为待采集的增量数据的表结构。
[0008]可选地，将采集到的目标关系型数据库的增量数据写入目标数据源中，包括：将采集到的目标关系型数据库的增量数据的表结构由原数据表结构转化为目标数据表结构；将目标数据表结构的增量数据写入目标数据源中。
[0009]可选地，将采集到的目标关系型数据库的增量数据的表结构由原数据表结构转化为目标数据表结构，包括：获取第一目标指令，其中，第一目标指令用于指示对原数据表结构进行转化；响应第一目标指令，以将采集到的目标关系型数据库的增量数据的表结构由原数据表结构转化为目标数据表结构。
[0010]可选地，将采集到的目标关系型数据库的增量数据写入目标数据源中，包括：获取第二目标指令，其中，第二目标指令用于指示对增量数据进行写入操作；响应第二目标指令，以将采集到的目标关系型数据库的增量数据写入目标数据源中。
[0011]可选地，增量数据的类型包括以下至少之一：增加类型；更新类型；删除类型。
[0012]可选地，目标数据源为数据仓库工具。
[0013]为了实现上述目的，根据本专利技术的另一方面，提供了一种数据采集装置。该装置可以包括：采集单元，用于通过开源项目客户端采集至少一个关系型数据库中的目标关系型数据库的增量数据，其中，增量数据为目标关系型数据库中的发生变化的数据，其中，开源项目客户端支持至少一个关系型数据库；写入单元，用于将采集到的目标关系型数据库的增量数据写入目标数据源中。
[0014]为了实现上述目的，根据本专利技术的另一方面，提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本专利技术实施例的数据采集方法。
[0015]为了实现上述目的，根据本专利技术的另一方面，提供了一种电子设备。该电子设备包括至一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执本专利技术实施例的数据采集方法。
[0016]通过本专利技术，采用通过开源项目客户端采集至少一个关系型数据库中的目标关系型数据库的增量数据，其中，增量数据为目标关系型数据库中的发生变化的数据，其中，开源项目客户端支持至少一个关系型数据库；将采集到的目标关系型数据库的增量数据写入目标数据源中。也就是说，本申请通过开源项目客户端实现对至少一个关系型数据库的采集，并不需要为每个关系型数据库单独开发代码，可以实现代码的复用，减少重复劳动，并且可以将增量采集的数据写入目标数据源中，从而达到了提高数据采集效率的技术效果，进而解决了数据采集效率低的技术问题。
附图说明
[0017]构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0018]图1是根据本专利技术实施例的一种数据采集方法的流程图；
[0019]图2是根据本专利技术实施例的一种数据采集装置的示意图；以及
[0020]图3是根据本专利技术实施例的一种电子设备的示意图。
具体实施方式
[0021]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。
[0022]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0023]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0024]实施例1
[0025]本专利技术实施例提供了一种数据采集方法。
[0026]图1是根据本专利技术实施例的一种数据采集方法的流程图。如图1所示，该方法可以包括以下步骤：
[0027]步骤S102，通过开源项目客户端采集至少一个关系型数据库中的目标关系型数据库的增量数据。
[0028]在本专利技术上述步骤S102提供的技术方案中，增量数据为目标关系型数据库中的发生变化的数据，其中，开源项目客户端支持至少一个关系型数据库。
[0029]在该实施例中，开源项目可以为开源项目Debezium，从而该实施例的开源项目客户端可以为开源项目Debezium客户端，该开源项目客户端可以支持至少一个关系型数据库。其中，开源项目Debezium可以为捕获数据更改(Chang本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：通过开源项目客户端采集至少一个关系型数据库中的目标关系型数据库的增量数据，其中，所述增量数据为所述目标关系型数据库中的发生变化的数据，其中，所述开源项目客户端支持所述至少一个关系型数据库；将采集到的所述目标关系型数据库的增量数据写入目标数据源中。2.根据权利要求1所述的方法，其特征在于，在通过开源项目客户端分别采集目标关系型数据库的增量数据之前，所述方法还包括：开启所述目标关系型数据库的增量采集配置功能，其中，所述增量采集配置功能用于允许所述开源项目客户端采集所述目标关系型数据库的增量数据。3.根据权利要求1所述的方法，其特征在于，在将采集到的所述目标关系型数据库的增量数据写入目标数据源中之前，所述方法还包括：获取所述目标关系型数据库的原数据表结构，其中，所述原数据表结构为待采集的所述增量数据的表结构。4.根据权利要求3所述的方法，其特征在于，将采集到的所述目标关系型数据库的增量数据写入目标数据源中，包括：将采集到的所述目标关系型数据库的增量数据的表结构由所述原数据表结构转化为目标数据表结构；将所述目标数据表结构的所述增量数据写入所述目标数据源中。5.根据权利要求4所述的方法，其特征在于，将采集到的所述目标关系型数据库的增量数据的表结构由所述原数据表结构转化为目标数据表结构，包括：获取第一目标指令，其中，所述第一目标指令用于指示对所述原数据表结构进行转化；响应所述第...

【专利技术属性】
技术研发人员：魏青臣，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：