一种云边协同的跨国资源同步方法及系统技术方案

本发明专利技术公开了一种云边协同的跨国资源同步方法及系统，包括以下步骤：1)对当前区域的资源文件元数据进行KV数据索引生成，并持久化到当前区域的资源数据库；2)端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，同时拉取其它区域的资源文件到当前区域的OSS云存储；本发明专利技术使多个模块解耦协同工作传输资源文件，合理集成控制成本，突破跨国复杂网络环境中数据传输难题，完成文件跨国同步，保障传输可靠稳定。保障传输可靠稳定。保障传输可靠稳定。

【技术实现步骤摘要】
一种云边协同的跨国资源同步方法及系统


[0001]本专利技术涉及跨国数据同步传输的
，尤其是指一种云边协同的跨国资源同步方法及系统。

技术介绍

[0002]在经济全球一体化下，跨国传输过程中可能会受到许多未知的因素影响，出现传输中断、传输错误的情况。跨国传输大数据有以下技术瓶颈：一是数据的可靠性的问题，即网络传输的可靠性及写入存储介质的可靠性存在一定的差异；二是目前超大文件传输、海量文件传输的传输效率较低，需要提升传输效率，以达到在短时间内更快的传输；三是跨国网络对传输的影响。
[0003]如果因为选择不完善的文件传输解决方案导致数据泄露，那对于企业或是公司都是难以接受的。如何保障数据正确、完整地传输到目标地，确保源文件和目标文件100％一致需要详尽地考虑与设计。

技术实现思路

[0004]本专利技术目的在于为解决现有技术中的不足，提供了一种云边协同的跨国资源同步方法及系统，利用当今公有云服务，合理集成控制成本，突破跨国复杂网络环境中数据传输难题。
[0005]为实现上述目的，本专利技术所提供的技术方案为：一种云边协同的跨国资源同步方法，包括以下步骤：
[0006]1)对当前区域的资源文件元数据进行KV数据索引生成，并将当前区域的资源文件元数据持久化到当前区域的资源数据库；
[0007]2)当前区域的端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；
[0008]3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；
[0009]4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，生成新的KV数据索引并向当前区域的资源数据库写入相应的资源文件元数据记录，同时从其它区域拉取其它区域的资源文件到当前区域的OSS云存储，待该资源文件传输完成后，更新资源文件元数据记录。
[0010]进一步，所述资源文件元数据包括唯一ID、区域、状态和组织ID。
[0011]进一步，所述KV数据索引是提供时间复杂度为O(1)的快速检索元数据区域信息的数据缓存结构。
[0012]进一步，在步骤2)中，当前区域的端侧是通过网络上传资源文件到当前区域的中央管道，文件流同步写入OSS云存储，并向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。
[0013]进一步，在步骤2)中，当前区域的端侧是通过组织内网上传资源文件到当前区域
的边缘管道，文件流同步写入minio存储，并向当前区域的元数据中心服务上报该资源文件的资源文件元数据，同时当前区域的元数据中心服务向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。
[0014]进一步，在步骤3)中，所述将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群，具体为：
[0015]资源文件元数据先从资源数据库中被订阅到中间服务解析，再通过高速网络通道发送到共享kafka集群。
[0016]进一步，在步骤4)中，在当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据时，将资源文件元数据的状态标记为0，待其它区域的资源文件传输完成后，将该资源文件元数据的状态标记更新为1。
[0017]本专利技术所提供的一种云边协同的跨国资源同步系统，包括：
[0018]KV数据索引存储模块，负责支撑资源文件元数据的快速检索；
[0019]资源文件元数据存储模块，负责把资源文件元数据的区域信息存储到资源数据库中；
[0020]上传资源文件模块，负责资源文件上传，通过TCP网络推流的方式推送到指定区域的管道服务并存储到OSS云存储或minio存储上；
[0021]数据发布模块，负责把资源数据库中的资源文件元数据记录发布到共享kafka集群中；
[0022]消费服务模块，负责把其它区域资源文件元数据记录同步到当前区域，并生成文件IO同步消息指令。
[0023]本专利技术与现有技术相比，具有如下优点与有益效果：
[0024]本专利技术通过将资源文件订阅发布到共享集群中，并利用公有云存储服务存储文件流，使多个模块解耦协同工作传输资源文件，合理集成控制成本，突破跨国复杂网络环境中数据传输难题，完成文件跨国同步，保障传输可靠稳定。
附图说明
[0025]图1为本专利技术的架构图。
[0026]图2为中央管道的服务架构图。
[0027]图3为边缘管道的服务架构图。
具体实施方式
[0028]下面结合具体实施例对本专利技术作进一步说明。
[0029]参见图1至图3所示，为本实施例所提供的云边协同的跨国资源同步方法法，包括以下步骤：
[0030]1)对当前区域1的资源文件元数据进行KV数据索引生成，并将当前区域1的资源文件元数据持久化到当前区域的资源数据库；其中，所述KV数据索引是提供时间复杂度为O(1)的快速检索元数据区域信息的数据缓存结构，所述资源文件元数据包括唯一ID、区域、状态和组织ID。
[0031]2)当前区域1的端侧上传资源文件到当前区域1的中央管道或边缘管道，文件流同
步写入OSS云存储或minio存储，并向当前区域1的资源数据库新增相应的资源文件元数据，具体如下：
[0032]当前区域1的端侧是通过网络上传资源文件到当前区域1的中央管道，文件流同步写入OSS云存储，并向当前区域的资源数据库新增一条状态标记为1的资源文件元数据；
[0033]当前区域1的端侧是通过组织内网上传资源文件到当前区域1的边缘管道，文件流同步写入minio存储，并向当前区域1的元数据中心服务上报该资源文件的资源文件元数据，同时当前区域1的元数据中心服务向当前区域1的资源数据库新增一条状态标记为1的资源文件元数据。
[0034]3)将当前区域1的资源数据库中的所有资源文件元数据订阅到共享kafka集群，具体为：
[0035]资源文件元数据先从资源数据库中被订阅到中间服务解析，再通过高速网络通道发送到共享kafka集群。
[0036]4)当前区域1的文件同步服务从共享kafka集群消费其它区域2共享的资源文件元数据，生成新的KV数据索引并向当前区域1的资源数据库写入相应的资源文件元数据记录，将资源文件元数据的状态标记为0，同时从其它区域2拉取其它区域2的资源文件到当前区域1的OSS云存储，待该资源文件传输完成后，更新资源文件元数据记录，将该资源文件元数据的状态标记更新为1。
[0037]下面为本实施例云边协同的跨国资源同步系统，包括：
[0038]KV数据索引存储模块，负责支撑资源文件元数据的快速检索，具体如下：
[0039]将资源文件(fur/aabbcc.png)以key＝MD
‑
RES
‑
FILE:fur/8307289d48208a1e0030145b8b本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云边协同的跨国资源同步方法，其特征在于，包括以下步骤：1)对当前区域的资源文件元数据进行KV数据索引生成，并将当前区域的资源文件元数据持久化到当前区域的资源数据库；2)当前区域的端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，生成新的KV数据索引并向当前区域的资源数据库写入相应的资源文件元数据记录，同时从其它区域拉取其它区域的资源文件到当前区域的OSS云存储，待该资源文件传输完成后，更新资源文件元数据记录。2.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：所述资源文件元数据包括唯一ID、区域、状态和组织ID。3.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：所述KV数据索引是提供时间复杂度为O(1)的快速检索元数据区域信息的数据缓存结构。4.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤2)中，当前区域的端侧是通过网络上传资源文件到当前区域的中央管道，文件流同步写入OSS云存储，并向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。5.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤2)中，当...

【专利技术属性】
技术研发人员：林子森，
申请(专利权)人：广东时谛智能科技有限公司，
类型：发明
国别省市：