数据批量同步方法、装置、电子设备及存储介质制造方法及图纸

本申请提出一种数据批量同步方法、装置、电子设备及存储介质，数据批量同步方法包括：从源数据系统获取所有待同步数据以构建待同步数据集；基于目标数据系统的实时状态计算实时同步批量；从待同步数据集中提取数量为实时同步批量的待同步数据作为同步批次，将同步批次从待同步数据集中删除以更新待同步数据集；对同步批次执行数据同步操作得到同步结果；若同步失败，依据预设查找算法对同步批次执行多次数据同步操作以查找异常数据和异常数据的位置信息；若同步成功，则不断获取同步批次以执行数据同步，直至遍历所有待同步数据；基于异常数据的数量发出报警信息。本申请能够实现数据的批量同步，并自动获取异常数据，提高了数据同步的效率。数据同步的效率。数据同步的效率。

【技术实现步骤摘要】
数据批量同步方法、装置、电子设备及存储介质


[0001]本申请涉及数据同步
，尤其涉及一种数据批量同步方法、装置、电子设备及存储介质。

技术介绍

[0002]在数据日益增长的今天，随着不同业务的变化，大量的数据需要在不同的数据系统之间同步以满足不同数据系统的任务需求。在数据同步的过程中，由于网络不稳定或后台应用服务器高并发的读取等问题常常会导致出现目标表和源表数据不一致，使得同步任务报错。
[0003]目前，通常需要人工定位异常数据，并将异常数据更正之后再次进行数据同步，然而，这种方式需要花费技术人员大量的精力，数据同步的成本较高，效率低下。

技术实现思路

[0004]鉴于以上内容，有必要提出一种数据批量同步方法及相关设备，以解决如何提高数据同步的效率这一技术问题，其中，相关设备包括数据批量同步装置、电子设备及存储介质。
[0005]本申请提供数据批量同步方法，所述方法包括：
[0006]S10，依据目标数据系统的预设字段提取源数据系统中每一条源数据的值以构建待同步数据集，所述待同步数据集包括所有待同步数据，所述待同步数据包括索引ID以及所述预设字段的值，所述索引ID与所述待同步数据一一对应；
[0007]S11，基于所述目标数据系统的实时状态计算实时同步批量，所述实时同步批量为当前时刻单次数据同步的数据量；
[0008]S12，基于所述索引ID从所述待同步数据集中提取数量为所述实时同步批量的待同步数据作为同步批次，并将所述同步批次从所述待同步数据集中删除以获取更新后的待同步数据集；
[0009]S13，对所述同步批次执行数据同步操作得到同步结果，所述同步结果包括同步成功和同步失败；
[0010]S14，若所述同步结果为同步失败，依据预设查找算法对所述同步批次执行多次数据同步操作以查找异常数据和所述异常数据的位置信息，并将所述异常数据和所述异常数据的位置信息储存在异常数据表中；若所述同步结果为同步成功，则直接执行步骤S15；
[0011]S15，重复执行步骤S11到步骤S14不断从所述待同步数据集中获取同步批次以执行数据同步，直至遍历所述待同步数据集中所有待同步数据，停止数据同步；
[0012]S16，基于所述异常数据表中所述异常数据的数量发出报警信息。
[0013]在一些实施例中，所述依据目标数据系统的预设字段提取源数据系统中每一条源数据的值以构建待同步数据集，所述待同步数据集包括所有待同步数据，所述待同步数据包括索引ID以及所述预设字段的值，所述索引ID与所述待同步数据一一对应，包括：
[0014]获取源数据系统中所有源数据，所述源数据包括多个源字段以及每一个源字段对应的值；
[0015]依据预设字段提取所述源数据中对应源字段的值以获取待同步数据，所述待同步数据与所述源数据一一对应，所述预设字段与所述目标数据系统的业务需求相关，所述预设字段为所有源字段中的一个或多个；
[0016]基于所述待同步数据的获取顺序为每一条待同步数据分配索引ID，所述索引ID为整型数据；
[0017]储存所有待同步数据和所述索引ID以构建待同步数据集。
[0018]在一些实施例中，所述实时状态包括实时运行线程数和网络实时速度，所述实时同步批量满足关系式：
[0019][0020]其中，P
max
为所述目标数据系统的最大写入速度，N为所述目标数据系统的最大线程数，n
t
为时刻t的实时运行线程数，v
t
为时刻t的网络实时速度，v
min
为所述目标数据系统的网络速度最低要求，f(X)为自定义函数，p
t
为实时同步批量，所述自定义函数满足关系式：
[0021]在一些实施例中，所述基于所述索引ID从所述待同步数据集中提取数量为所述实时同步批量的待同步数据作为同步批次包括：
[0022]获取所述待同步数据集中待同步数据的索引ID的最小值作为提取起始ID；
[0023]基于所述提取起始ID和所述实时同步批量计算所述提取终止ID，所述提取终止ID满足关系式：
[0024]ID(final)＝ID(star)+p
t
‑1[0025]其中，ID(star)为提取起始ID，p
t
为实时同步批量，ID(final)为提取终止ID；
[0026]基于所述提取起始ID和所述提取终止ID提取所述待同步数据集以获取同步批次，所述同步批次中待同步数据的数量与所述实时同步批量相等。
[0027]在一些实施例中，所述对所述同步批次执行数据同步操作得到同步结果，所述同步结果包括同步成功和同步失败，包括：
[0028]若所述同步批次中所有待同步数据均成功写入目标数据系统，则所述同步结果为同步成功；
[0029]若所述同步批次中至少存在一个异常数据，则会导致所有待同步数据不能成功写入目标数据系统中，所述同步结果为同步失败，所述异常数据为不能成功写入目标数据系统的待同步数据。
[0030]在一些实施例中，所述依据预设查找算法对所述同步批次执行多次数据同步操作以查找异常数据和所述异常数据的位置信息包括：
[0031]A1，将所述同步批次作为目标数据集；
[0032]A2，获取所述目标数据集中待同步数据的索引ID的最小值和最大值分别作为最小ID和最大ID，并基于所述最小ID和所述最大ID计算中间ID，所述中间ID满足关系式：
[0033][0034]其中，maxID为所述最大ID，minID为所述最小ID，ceil(X)表示对参数X执行向上取整操作，minID为所述中间ID；
[0035]A3，基于所述中间ID划分所述同步批次以获取数据子集，所述数据子集包括第一数据子集和第二数据子集；
[0036]A4，对所述数据子集执行数据同步操作得到子集同步结果，所述子集同步结果包括同步成功和同步失败，将所述子集同步结果为同步失败的数据子集作为异常数据子集，所述异常数据子集的数量为一个或多个；
[0037]A5，若所述异常数据子集中待同步数据的数量等于1，则将所述待同步数据作为异常数据，将所述待同步数据的索引ID作为所述异常数据的位置信息；若所述异常数据子集中待同步数据的数量不等于1，则将所述异常数据子集作为目标数据集重复执行步骤A2
‑
A5，直到所有异常数据子集中待同步数据的数量等于1，得到所述同步批次中所有异常数据和每一个异常数据的位置信息。
[0038]在一些实施例中，所述基于所述异常数据表中所述异常数据的数量发出报警信息包括：
[0039]若所述异常数据表中异常数据的数量为0，则不发出报警信息；
[0040]若所述异常数据表中异常数据的数量大于0，则发出报警信息，提醒技术人员对异常数据进行修改，并基于所述异常数据的位置信息将修改后的异常数据写入目标数据系统中目标位置，所述目标位置为所述异常数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据批量同步方法，其特征在于，所述方法包括：S10，依据目标数据系统的预设字段提取源数据系统中每一条源数据的值以构建待同步数据集，所述待同步数据集包括所有待同步数据，所述待同步数据包括索引ID以及所述预设字段的值，所述索引ID与所述待同步数据一一对应；S11，基于所述目标数据系统的实时状态计算实时同步批量，所述实时同步批量为当前时刻单次数据同步的数据量；S12，基于所述索引ID从所述待同步数据集中提取数量为所述实时同步批量的待同步数据作为同步批次，并将所述同步批次从所述待同步数据集中删除以获取更新后的待同步数据集；S13，对所述同步批次执行数据同步操作得到同步结果，所述同步结果包括同步成功和同步失败；S14，若所述同步结果为同步失败，依据预设查找算法对所述同步批次执行多次数据同步操作以查找异常数据和所述异常数据的位置信息，并将所述异常数据和所述异常数据的位置信息储存在异常数据表中；若所述同步结果为同步成功，则直接执行步骤S15；S15，重复执行步骤S11到步骤S14不断从所述待同步数据集中获取同步批次以执行数据同步，直至遍历所述待同步数据集中所有待同步数据，停止数据同步；S16，基于所述异常数据表中所述异常数据的数量发出报警信息。2.如权利要求1所述的数据批量同步方法，其特征在于，所述依据目标数据系统的预设字段提取源数据系统中每一条源数据的值以构建待同步数据集，所述待同步数据集包括所有待同步数据，所述待同步数据包括索引ID以及所述预设字段的值，所述索引ID与所述待同步数据一一对应，包括：获取源数据系统中所有源数据，所述源数据包括多个源字段以及每一个源字段对应的值；依据预设字段提取所述源数据中对应源字段的值以获取待同步数据，所述待同步数据与所述源数据一一对应，所述预设字段与所述目标数据系统的业务需求相关，所述预设字段为所有源字段中的一个或多个；基于所述待同步数据的获取顺序为每一条待同步数据分配索引ID，所述索引ID为整型数据；储存所有待同步数据和所述索引ID以构建待同步数据集。3.如权利要求1所述的数据批量同步方法，其特征在于，所述实时状态包括实时运行线程数和网络实时速度，所述实时同步批量满足关系式：其中，P
max
为所述目标数据系统的最大写入速度，N为所述目标数据系统的最大线程数，n
t
为时刻t的实时运行线程数，v
t
为时刻t的网络实时速度，v
min
为所述目标数据系统的网络速度最低要求，f(X)为自定义函数，p
t
为实时同步批量，所述自定义函数满足关系式：
4.如权利要求1所述的数据批量同步方法，其特征在于，所述基于所述索引ID从所述待同步数据集中提取数量为所述实时同步批量的待同步数据作为同步批次包括：获取所述待同步数据集中待同步数据的索引ID的最小值作为提取起始ID；基于所述提取起始ID和所述实时同步批量计算所述提取终止ID，所述提取终止ID满足关系式：ID(final)＝ID(star)+p
t
‑
1其中，ID(star)为提取起始ID，p
t
为实时同步批量，ID(final)为提取终止ID；基于所述提取起始ID和所述提取终止ID提取所述待同步数据集以获取同步批次，所述同步批次中待同步数据的数量与所述实时同步批量相等。5.如权利要求1所述的数据批量同步方法，其特征在于，所述对所述同步批次执行数据同步操作得到同步结果，所述同步结果包括同步成功和同步失败，包括：若所述同步批次中所有待同步数据均成功写入目标数据系统，则所述同步结果为同步成功；若所述同步批次中至少存在一个异常...

【专利技术属性】
技术研发人员：钟才，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：