【技术实现步骤摘要】
本专利技术涉及电数字数据处理，具体涉及大规模数据同步的方法和系统。
技术介绍
1、数据同步是指将不同位置或系统中的数据进行实时或定期的更新和匹配，以保持数据的一致性。大数据同步是数据应用的重要一环，由于大数据同步规模巨大，故需要解决数据同步效率、数据完整性、数据一致性及数据安全性相关的问题。
2、现在常用的大规模数据同步是数据开发工程师，或者java开发工程师通过sql导出，或者java应用，将大规模的数据进行数据同步。数据同步通常只能进行规模小小的数据同步，比如几十万或百万记录的数据同步；当同步的记录超过千万、甚至过亿、百亿的数据规模后，数据同步效率低下，导致数据同步耗时以天计算，带来数据同步过程中不可预见的风险；同时脏数据几率提升，导致数据完整性、一致性难以保障，导致同步后的数据无法使用。
技术实现思路
1、针对现有技术中存在的上述技术问题，本专利技术提供大规模数据同步的方法和系统，保证大规模数据同步的效率、数据完整性和一致性。
2、本专利技术公开了大规模数据同步的方法，包括以下步骤：将待同步的数据进行拆分，获得至少一份数据集；将所述数据集同步到目标位置。
3、优选的，将待同步的数据进行拆分的方法包括：
4、对数据集的数量进行预设；
5、根据预设的数据量，对待同步的数据进行拆分，获得至少一个数据集；
6、标记所述数据集的起始位置、终止位置，并标记数据集的记录号。
7、优选的，通过同步计划进行数据
8、为所述数据集建立同步计划；
9、根据所述同步计划，将所述数据集同步到目标位置的目标数据库。
10、优选的，数据重同步的方法包括：
11、接收目标数据库的数据校验结果；
12、判断所述校验结果是否为失败；
13、若为失败，将所述同步失败数据集加入到同步计划，并记录同步失败的次数和原因，直到失败的次数超过第一阈值。
14、优选的，分布式同步数据的方法：
15、根据所述数据集的起始位置、终止位置和记录号，创建同步计划，所述同步计划包括数据集及其目标位置；
16、根据所述同步计划，将数据集分布式批量同步到相应的目标位置。
17、优选的，对目标位置的数据集与源数据集进行校验，判断目标位置的数据集是否完整、且与源数据集一致；
18、若是，返回校验成功；
19、若否，返回校验失败。
20、本专利技术还提供一种目标端的同步方法，包括以下步骤：
21、接收上述数据集；
22、将所接收的数据集写入目标位置的目标数据库；
23、对目标位置的数据集与源数据集进行校验，判断目标位置的数据集是否完整、且与源数据集一致；
24、若是，返回校验成功；
25、若否，返回校验失败，并清除目标数据库中相应的数据。
26、本专利技术还提供一种用于实现上述方法的系统，包括拆分模块和同步模块，
27、所述拆分模块用于将待同步的数据进行拆分，获得至少一份数据集；
28、所述同步模块用于将所述数据集同步到目标位置。
29、优选的，所述系统还包括校验模块，所述校验模块用于对目标位置的数据集与源数据集进行校验，并向所述同步模块返回校验结果。
30、与现有技术相比，本专利技术的有益效果为：实现大规模数据同步的量级缩减，有效提升超大规模数据同步的效率；确保在较为合理的时间内达成数据同步，提升了数据同步的效率性；可兼顾数据同步效率、数据完整性和数据一致性。
本文档来自技高网...【技术保护点】
1.大规模数据同步的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的大规模数据同步的方法，其特征在于，将待同步的数据进行拆分的方法包括：
3.根据权利要求2所述的大规模数据同步的方法，其特征在于，还包括通过同步计划进行数据同步的方法：
4.根据权利要求3所述的大规模数据同步的方法，其特征在于，还包括数据重同步的方法：
5.根据权利要求3所述的大规模数据同步的方法，其特征在于，还包括分布式同步数据的方法：
6.根据权利要求3所述的大规模数据同步的方法，其特征在于，对目标位置的数据集与源数据集进行校验，判断目标位置的数据集是否完整、且与源数据集一致；
7.大规模数据同步的方法，其特征在于，包括以下步骤：
8.根据权利要求7所述的大规模数据同步的方法，其特征在于，还包括数据集校验的方法：
9.一种大规模数据同步的系统，其特征在于，用于实现如权利要求1-8任一项所述的方法，所述系统包括拆分模块和同步模块，
10.根据权利要求1所述的系统，其特征在于，还包括校验模块，所述校
...【技术特征摘要】
1.大规模数据同步的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的大规模数据同步的方法，其特征在于，将待同步的数据进行拆分的方法包括：
3.根据权利要求2所述的大规模数据同步的方法，其特征在于，还包括通过同步计划进行数据同步的方法：
4.根据权利要求3所述的大规模数据同步的方法，其特征在于，还包括数据重同步的方法：
5.根据权利要求3所述的大规模数据同步的方法，其特征在于，还包括分布式同步数据的方法：
6.根据权利要求3所述的大规模数据同步的方法，其特征在于，...
【专利技术属性】
技术研发人员：石川，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。