全量数据同步方法、装置、存储介质、计算机设备制造方法及图纸

本申请提供的全量数据同步方法、装置、存储介质、计算机设备，在对全量数据进行同步前，可以先获取目标同步数据，以及服务器文件列表中的目标记录段，用来上传目标同步数据的记录文件，接着在目标记录段上传多个占用文件，避免数据同步过程中与其他服务实例数据文件交错上传，同时在本地内存上生成与每一占用文件对应的本地临时文件，用于目标同步数据在分段写入各个文件后能够按顺序上传至服务器，接着将该目标同步数据分段写入各个本地临时文件并转换文件格式后，然后上传至服务器替换掉与每一本地临时文件对应的占用文件，本申请通过数据分段上传的方式让数据文件变小，降低文件粒度，加强数据同步过程中的容错性，从而提高数据传输效率。数据传输效率。数据传输效率。

【技术实现步骤摘要】
全量数据同步方法、装置、存储介质、计算机设备


[0001]本申请涉及数据处理
，尤其涉及一种全量数据同步方法、装置、存储介质、计算机设备。

技术介绍

[0002]随着数字经济的快速发展和高精尖技术的蓬勃兴起，全球正式进入大数据时代，数据在社会发展、民众生活中扮演了越来越重要的角色，在大数据为人们的生活提供便利的同时，同时也引发了一系列数据安全事件，因此数据提供方提供数据能力的权限严格控制，会限制网络。
[0003]目前要求不同网络之间的数据传输以FTP(File Transfer Protocol，文件传输协议)方式传输，FTP是为了在Internet上能够互相传送文件而制定的文件传送标准，规定了Internet上传送文件的方式，然而，数据索取方在调用数据时，需要从数据库将全量数据全部导出，因此数据文件过大，同步失败频率较高，从而导致数据传输效率低。

技术实现思路

[0004]本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中数据索取方在调用全量数据时导出的数据文件过大，同步失败频率较高，从而导致数据传输效率低的技术缺陷。
[0005]本申请提供了一种全量数据同步方法，所述方法包括：
[0006]获取目标同步数据，以及服务器文件列表的空闲记录段，并将所述空闲记录段作为目标记录段；
[0007]基于所述目标同步数据，在所述目标记录段上传多个占用文件，并在本地内存上生成与每一占用文件对应的本地临时文件；
[0008]将所述目标同步数据分段写入各个本地临时文件，得到与每一本地临时文件对应的分段文件；
[0009]将各个分段文件上传至服务器，并替换掉与每一分段文件对应的占用文件，以实现目标同步数据的同步。
[0010]可选地，所述获取目标同步数据，包括：
[0011]对数据库进行查询，确定目标同步数据；
[0012]基于Mybatis插件，将所述目标同步数据导入本地内存。
[0013]可选地，所述基于所述目标同步数据，在所述目标记录段上传多个占用文件，包括：
[0014]依据预设文件记录量以及所述目标同步数据，确定上传的占用文件个数；
[0015]基于所述占用文件个数，按照指定序号为各个占用文件进行命名，并上传至所述目标记录段。
[0016]可选地，所述在本地内存上生成与每一占用文件对应的本地临时文件，包括：
[0017]依据各个占用文件，在本地内存上生成与每一占用文件文件名相同的本地临时文件。
[0018]可选地，所述将所述目标同步数据分段写入各个本地临时文件，得到与每一本地临时文件对应的分段文件，包括：
[0019]按照所述目标同步数据的数据顺序，对所述目标同步数据进行分段处理，得到多个分段数据；
[0020]依据各个本地临时文件的文件名序号，从低到高依次将各个分段数据写入各个本地临时文件，并对写入分段数据后的本地临时文件进行格式转换，得到与每一本地临时文件对应的分段文件。
[0021]可选地，所述方法还包括：
[0022]若所述目标记录段上传占用文件失败，则获取所述服务器文件列表的下一段空闲记录段作为目标记录段，并返回执行所述基于所述目标同步数据，对所述目标记录段上传多个占用文件的步骤。
[0023]本申请还提供了一种全量数据同步装置，包括：
[0024]数据获取模块，用于获取目标同步数据，以及服务器文件列表的空闲记录段，并作为目标记录段；
[0025]文件生成模块，用于基于所述目标同步数据，对所述目标记录段上传多个占用文件，并在本地内存上生成与每一占用文件对应的本地临时文件；
[0026]数据分段模块，用于将所述目标同步数据分段写入各个本地临时文件，得到与每一本地临时文件对应的分段文件；
[0027]文件上传模块，用于将各个分段文件上传至服务器，并替换掉与每一分段文件对应的占用文件，以实现目标同步数据的同步。
[0028]可选地，所述数据获取模块还包括：
[0029]数据库查询子模块，用于对数据库进行查询，确定目标同步数据；
[0030]数据导入子模块，用于基于Mybatis插件，将所述目标同步数据导入本地内存。
[0031]本申请还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述全量数据同步方法的步骤。
[0032]本申请还提供了一种计算机设备，包括：一个或多个处理器，以及存储器；
[0033]所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述实施例中任一项所述全量数据同步方法的步骤。
[0034]从以上技术方案可以看出，本申请实施例具有以下优点：
[0035]本申请提供的全量数据同步方法、装置、存储介质、计算机设备，在对全量数据进行同步前，可以先获取需要进行同步的目标同步数据，以及服务器文件列表的空闲记录段，并将该空闲记录段作为目标记录段，用来上传目标同步数据完成数据同步，接着根据该目标同步数据的数据量，在目标记录段上传多个占用文件，避免目标同步数据在同步过程中出现与其他同步数据发生文件上传交错的情况，同时在本地内存上生成与每一占用文件文件名一致的本地临时文件，用于目标同步数据在分段写入各个文件后能够按顺序上传至服务器，接着将该目标同步数据分段写入各个本地临时文件，得到与每一本地临时文件对应
的分段文件，并将各个分段文件上传至服务器，替换掉与每一分段文件对应的占用文件，本申请通过数据分段上传的方式让数据文件变小，降低文件粒度，加强数据同步过程中的容错性，进而提高数据传输效率。
附图说明
[0036]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0037]图1为本申请实施例提供的一种全量数据同步方法的流程示意图；
[0038]图2为本申请实施例提供的一种全量数据同步装置的结构示意图；
[0039]图3为本申请实施例提供的一种计算机设备的内部结构示意图。
具体实施方式
[0040]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0041]随着数字经济的快速发展和高精尖技术的蓬勃兴起，全球正式进入大数据时代，数据在社会发展、民众生活中扮演了越来越重要的角色，在大数据为人们的生活提供便利的同时，同时也引发了一系列数据安全事件，因此数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全量数据同步方法，其特征在于，所述方法包括：获取目标同步数据，以及服务器文件列表的空闲记录段，并将所述空闲记录段作为目标记录段；基于所述目标同步数据，在所述目标记录段上传多个占用文件，并在本地内存上生成与每一占用文件对应的本地临时文件；将所述目标同步数据分段写入各个本地临时文件，得到与每一本地临时文件对应的分段文件；将各个分段文件上传至服务器，并替换掉与每一分段文件对应的占用文件，以实现目标同步数据的同步。2.根据权利要求1所述的全量数据同步方法，其特征在于，所述获取目标同步数据，包括：对数据库进行查询，确定目标同步数据；基于Mybatis插件，将所述目标同步数据导入本地内存。3.根据权利要求1所述的全量数据同步方法，其特征在于，所述基于所述目标同步数据，在所述目标记录段上传多个占用文件，包括：依据预设文件记录量以及所述目标同步数据，确定上传的占用文件个数；基于所述占用文件个数，按照指定序号为各个占用文件进行命名，并上传至所述目标记录段。4.根据权利要求1所述的全量数据同步方法，其特征在于，所述在本地内存上生成与每一占用文件对应的本地临时文件，包括：依据各个占用文件，在本地内存上生成与每一占用文件文件名相同的本地临时文件。5.根据权利要求1所述的全量数据同步方法，其特征在于，所述将所述目标同步数据分段写入各个本地临时文件，得到与每一本地临时文件对应的分段文件，包括：按照所述目标同步数据的数据顺序，对所述目标同步数据进行分段处理，得到多个分段数据；依据各个本地临时文件的文件名序号，从低到高依次将各个分段数据写入各个本地临时文件，并对写入分段数据后的本地...

【专利技术属性】
技术研发人员：张明军，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：