【技术实现步骤摘要】
本申请属于数据处理，尤其涉及一种数据同步方法及相关装置。
技术介绍
1、随着信息化时代的快速发展，企业积累的数据量呈爆炸式增长。历史数据积存、使用频率低，导致业务数据库性能下降。同时，各个部门独立的数据抽取系统也导致了数据不一致和资源浪费。为了解决上述问题，数据仓库应运而生。
2、现有的etl(extract-transform-load)技术以离线为主，主要通过批量查询，将数据同步到数仓。离线调取数据会对业务数据库造成压力、对网络带宽有高的要求，且容易出现波峰和波谷，可能会导致网络不稳定。
技术实现思路
1、本申请实施例提供了一种数据同步方法及相关装置，通过采集实时变化业务数据同步到数仓，对数据进行实时加工处理，实现削峰填谷，降低网络带宽的压力，提高数据同步效率。
2、第一方面，本申请实施例提供了一种数据同步方法，应用于第一数据平台，方法包括：
3、获取业务源的变更信息，并将变更信息写入消息中间件，变更信息用于指示在业务源中产生的实时业务数据；
4、获取消息中间件的待处理数据，待处理数据是消息中间件对变更信息进行业务解耦后形成的数据；
5、将待处理数据的数据格式调整为标准化数据格式，得到目标数据；
6、向第二数据平台发送目标数据，以实现数据同步，第二数据平台是指用于批量存储数据的数据系统。
7、其中，将待处理数据的数据格式调整为标准化数据格式，得到目标数据，包括：确定待处理数据的格式，将待处理数据
8、其中，在获取业务源的变更信息之后，方法还包括：预设起始时间戳，起始时间戳用于表征待处理数据在特定时刻存在的可验证数据；以及，确定待处理数据的业务源的数据中心标识；确定当前时间戳，将当前时间戳减去起始时间戳，以得到时间戳标识；生成当前毫秒的序列号；根据时间戳标识、序列号、以及数据中心标识和机器标识，生成待处理数据的全局唯一标识。
9、其中，在生成待处理数据的全局唯一标识之后，方法还包括：针对第一数据表中数据执行攒批落后得到任务数据；根据任务数据执行攒批落库操作，发送至数仓分析工具；通过数仓分析工具，确定待处理数据的目标主键，并通过目标主键定位待处理数据的记录，目标主键是唯一表征数据库表中的记录的标识符；将待处理数据的全局唯一标识发送至第二数据表，以使得在后续启动任务数据时自动匹配任务数据的全局唯一标识。
10、其中，方法还包括：为待处理数据配置第一自定义参数，并获取当前批次落表中的业务时间数据，业务时间数据用于表征当前批次落表中最早的业务时间；根据业务时间数据，获取当前批次落表的第一目标增量数据，目标增量数据是指需要进行加工的数据；存储至明细数据层。
11、其中，在存储至明细数据层之后，方法还包括：配置第二自定义参数，并获取当前批次落表上游一个或多个操作数据存储表中的、当前批次落表中的业务时间数据；根据业务时间数据，得到当前批次落表的第二目标增量；基于第二目标增量，更新至标签表中。
12、其中，方法还包括：在获取待处理数据之后，分析待处理数据的业务源，业务源数量包括一个或者多个；收集到业务源的业务源日志，并对业务源日志进行清洗，以去除业务源日志中的无关信息；以及，将经过清洗后的业务源日志的不同格式转换为统一格式，得到目标日志；解析目标日志，确定业务源的系统运行状态，以实时监控业务源。
13、第二方面，一种数据同步装置，应用于第一数据平台，装置包括：第一获取单元、第二获取单元、调整单元以及同步单元；其中，第一获取单元，用于获取业务源的变更信息，并将变更信息写入消息中间件，变更信息用于指示在业务源中产生的实时业务数据；第二获取单元，用于获取消息中间件的待处理数据，待处理数据是消息中间件对变更信息进行业务解耦后形成的数据；调整单元，用于将待处理数据的数据格式调整为标准化数据格式，得到目标数据；同步单元，用于向第二数据平台发送目标数据，以实现数据同步，第二数据平台是指用于批量存储数据的数据系统。
14、第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；以及一个或多个程序，一个或多个程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于如第一方面中所描述的部分或全部步骤的指令。
15、第四方面，本申请实施例提供了一种计算机可读存储介质，其中，计算机可读存储介质用于存储计算机程序，其中，计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。
16、第五方面，本申请实施例提供了一种计算机程序产品，其中，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
17、可以看出，本申请实施例提供了一种数据同步方法及相关装置，方法首先获取业务源的变更信息，并将变更信息写入消息中间件，变更信息用于指示在业务源中产生的实时业务数据；其次，获取消息中间件的待处理数据，待处理数据是消息中间件对变更信息进行业务解耦后形成的数据；然后，将待处理数据的数据格式调整为标准化数据格式，得到目标数据；最后，向第二数据平台发送目标数据，以实现数据同步，第二数据平台是指用于批量存储数据的数据系统。如此，基于流式的实时同步技术，将业务数据实时同步到数仓，通过对数据进行实时加工处理，削峰填谷，降低网络带宽的压力，提高数据同步效率。
本文档来自技高网...【技术保护点】
1.一种数据同步方法，其特征在于，应用于第一数据平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据的数据格式调整为标准化数据格式，得到目标数据，包括：
3.根据权利要求1或2所述的方法，其特征在于，在所述获取业务源的变更信息之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在所述生成所述待处理数据的全局唯一标识之后，所述方法还包括：
5.根据权利要求1-4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在所述存储至明细数据层之后，所述方法还包括：
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
8.一种数据同步装置，其特征在于，应用于第一数据平台，所述装置包括：第一获取单元、第二获取单元、调整单元以及同步单元；其中，
9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于第一数据平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据的数据格式调整为标准化数据格式，得到目标数据，包括：
3.根据权利要求1或2所述的方法，其特征在于，在所述获取业务源的变更信息之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在所述生成所述待处理数据的全局唯一标识之后，所述方法还包括：
5.根据权利要求1-4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在所述存储至明细数据层之后，所述...
【专利技术属性】
技术研发人员：石勇，黄俊杰，万天根，张鹏，
申请(专利权)人：招联消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。