本申请提供了一种数据同步方法、装置、电子设备及存储介质，应用于数据同步系统，数据同步系统包括主数据源和从数据源，方法包括：在从数据源对应的第一同步时刻，确定从数据源对应的同步数据；将从数据源对应的同步数据发送至从数据源；判断从数据源接收到的同步数据是否完整，若否，则发送候选同步数据至从数据源，直至从数据源将自身对应的同步数据接收完整；基于从数据源对应的同步数据对从数据源进行数据同步。本申请能够按照预先设置好的同步时间，自动对从数据源进行数据同步，并且能够对从数据源未接收到的同步数据进行重复发送，从而保证了从数据源接收到的同步数据的完整性。性。性。
【技术实现步骤摘要】
一种数据同步方法、装置、电子设备及存储介质
[0001]本申请涉及互联网数据处理领域，具体而言，涉及一种数据同步方法、装置、电子设备及存储介质。
技术介绍
[0002]随着计算机技术的发展，大数据技术也逐渐发展起来，大数据技术的主要特点是数据量大，即大数据是由大量数据组成的数据集合。为了适应业务发展需求，可能会通过数据同步方式，将已有的海量大数据由一个系统中的数据源同步至另一个或几个系统中的数据源。
[0003]目前，常用的数据同步方式，是在需要进行数据同步时由人工手动触发数据同步开始流程，数据同步过程中由人工手动从主系统中的数据源(即主数据源)导出待同步的数据，再手动将所导出的数据导入另一个或多个从系统(备用系统)的数据源(即从数据源)中，从而实现主从数据源之间的数据同步。
[0004]然而，该种数据同步方式依赖于人工的手动参与，不仅浪费了人力物力，还存在同步效率低下等问题。
技术实现思路
[0005]有鉴于此，本申请的目的在于提供一种数据同步方法、装置、电子设备及存储介质，能够按照预先设置好的同步时间，自动对从数据源进行数据同步，并且能够对从数据源未接收到的数据进行重复发送，从而保证了从数据源接收到的同步数据的完整性。
[0006]第一方面，本申请实施例提供了一种数据同步方法，应用于数据同步系统，所述数据同步系统包括主数据源和从数据源，所述方法包括：
[0007]在所述从数据源对应的第一同步时刻，确定所述从数据源对应的同步数据；
[0008]将所述从数据源对应的同步数据发送至所述从数据源；
[0009]判断所述从数据源接收到的同步数据是否完整，若否，则发送候选同步数据至所述从数据源，直至所述从数据源将自身对应的同步数据接收完整，其中，所述候选同步数据为所述从数据源对应的同步数据中所述从数据源未接收到的数据；
[0010]基于所述从数据源对应的同步数据对所述从数据源进行数据同步。
[0011]在一种可能的实施方式中，在所述从数据源对应的第一同步时刻，确定所述从数据源对应的同步数据，包括：
[0012]在所述第一同步时刻，基于所述主数据源当前所存储的数据以及所述从数据源当前所存储的数据确定所述从数据源对应的同步数据。
[0013]在一种可能的实施方式中，在所述从数据源对应的第一同步时刻，确定所述从数据源对应的同步数据，还包括：
[0014]在所述第一同步时刻，获取所述从数据源上一次进行数据同步的第二同步时刻；
[0015]查询所述主数据源在所述第二同步时刻到所述第一同步时刻之间所存储的数据
的变化情况，并根据所述变化情况确定所述从数据源对应的同步数据。
[0016]在一种可能的实施方式中，对于所述从数据源对应的同步数据中的每条数据，该条数据存在对应的唯一标识；
[0017]相对应的，判断所述从数据源接收到的同步数据是否完整，包括：
[0018]接收所述从数据源发送的反馈信息，其中，所述反馈信息是所述从数据源接收到自身对应的同步数据后，向所述主数据源发送的信息，所述反馈信息包括所述从数据源接收到的同步数据中每条数据各自对应的唯一标识；
[0019]将所述反馈信息与所述从数据源对应的同步信息进行比对，若所述反馈信息与所述同步信息完全一致，则完整，若非完全一致，则不完整，其中，所述同步信息中包括所述从数据源对应的同步数据中每条数据各自对应的唯一标识。
[0020]在一种可能的实施方式中，在将所述从数据源对应的同步数据发送至所述从数据源之前，还包括：
[0021]根据所述主数据源存储的公钥对所述从数据源对应的同步数据进行加密，得到加密同步数据；
[0022]相对应的，所述将所述从数据源对应的同步数据发送至所述从数据源，包括：
[0023]将所述加密同步数据发送至所述从数据源。
[0024]在一种可能的实施方式中，在将所述加密同步数据发送至所述从数据源之后，还包括：
[0025]根据所述从数据源存储的与所述公钥相对应的私钥对所述加密同步数据进行解密，得到解密同步数据，并将所述解密同步数据作为所述从数据源接收到的同步数据。
[0026]第二方面，本申请实施例还提供了一种数据同步装置，应用于数据同步系统，所述数据同步系统包括主数据源和从数据源，所述装置包括：
[0027]确定模块，用于在所述从数据源对应的第一同步时刻，确定所述从数据源对应的同步数据；
[0028]发送模块，用于将所述从数据源对应的同步数据发送至所述从数据源；
[0029]判断模块，用于判断所述从数据源接收到的同步数据是否完整，若否，则发送候选同步数据至所述从数据源，直至所述从数据源将自身对应的同步数据接收完整，其中，所述候选同步数据为所述从数据源对应的同步数据中所述从数据源未接收到的数据；
[0030]同步模块，用于基于所述从数据源对应的同步数据对所述从数据源进行数据同步。
[0031]在一种可能的实施方式中，所述确定模块，具体用于：
[0032]在所述第一同步时刻，基于所述主数据源当前所存储的数据以及所述从数据源当前所存储的数据确定所述从数据源对应的同步数据。
[0033]在一种可能的实施方式中，所述确定模块，还用于：
[0034]在所述第一同步时刻，获取所述从数据源上一次进行数据同步的第二同步时刻；
[0035]查询所述主数据源在所述第二同步时刻到所述第一同步时刻之间所存储的数据的变化情况，并根据所述变化情况确定所述从数据源对应的同步数据。
[0036]在一种可能的实施方式中，对于所述从数据源对应的同步数据中的每条数据，该条数据存在对应的唯一标识；
[0037]相对应的，所述判断模块，具体用于：
[0038]接收所述从数据源发送的反馈信息，其中，所述反馈信息是所述从数据源接收到自身对应的同步数据后，向所述主数据源发送的信息，所述反馈信息包括所述从数据源接收到的同步数据中每条数据各自对应的唯一标识；将所述反馈信息与所述从数据源对应的同步信息进行比对，若所述反馈信息与所述同步信息完全一致，则完整，若非完全一致，则不完整，其中，所述同步信息中包括所述从数据源对应的同步数据中每条数据各自对应的唯一标识。
[0039]在一种可能的实施方式中，所述装置还包括：
[0040]加密模块，用于在所述发送模块将所述从数据源对应的同步数据发送至所述从数据源之前，根据所述主数据源存储的公钥对所述从数据源对应的同步数据进行加密，得到加密同步数据；
[0041]相对应的，所述发送模块，具体用于：
[0042]将所述加密同步数据发送至所述从数据源。
[0043]在一种可能的实施方式中，所述装置还包括：
[0044]解密模块，用于在所述发送模块将所述加密同步数据发送至所述从数据源之后，根据所述从数据源存储的与所述公钥相对应的私钥对所述加密同步数据进行解密，得到解密同步数据，并将本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于数据同步系统，所述数据同步系统包括主数据源和从数据源，所述方法包括：在所述从数据源对应的第一同步时刻，确定所述从数据源对应的同步数据；将所述从数据源对应的同步数据发送至所述从数据源；判断所述从数据源接收到的同步数据是否完整，若否，则发送候选同步数据至所述从数据源，直至所述从数据源将自身对应的同步数据接收完整，其中，所述候选同步数据为所述从数据源对应的同步数据中所述从数据源未接收到的数据；基于所述从数据源对应的同步数据对所述从数据源进行数据同步。2.根据权利要求1所述的数据同步方法，其特征在于，在所述从数据源对应的第一同步时刻，确定所述从数据源对应的同步数据，包括：在所述第一同步时刻，基于所述主数据源当前所存储的数据以及所述从数据源当前所存储的数据确定所述从数据源对应的同步数据。3.根据权利要求1所述的数据同步方法，其特征在于，在所述从数据源对应的第一同步时刻，确定所述从数据源对应的同步数据，还包括：在所述第一同步时刻，获取所述从数据源上一次进行数据同步的第二同步时刻；查询所述主数据源在所述第二同步时刻到所述第一同步时刻之间所存储的数据的变化情况，并根据所述变化情况确定所述从数据源对应的同步数据。4.根据权利要求1所述的数据同步方法，其特征在于，对于所述从数据源对应的同步数据中的每条数据，该条数据存在对应的唯一标识；相对应的，判断所述从数据源接收到的同步数据是否完整，包括：接收所述从数据源发送的反馈信息，其中，所述反馈信息是所述从数据源接收到自身对应的同步数据后，向所述主数据源发送的信息，所述反馈信息包括所述从数据源接收到的同步数据中每条数据各自对应的唯一标识；将所述反馈信息与所述从数据源对应的同步信息进行比对，若所述反馈信息与所述同步信息完全一致，则完整，若非完全一致，则不完整，其中，所述同步信息中包括所述从数据源对应的同步数据中每条数据各自对应的唯一标识。5.根据权利要求1所述的数据同步方法，其特征在于，在...
【专利技术属性】
技术研发人员：高玉洁，
申请(专利权)人：昆仑数智科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。