【技术实现步骤摘要】
本申请涉及计算机系统领域，具体而言，涉及一种基于etl的跨网络业务系统数据摆渡方法、系统、介质及电子设备。
技术介绍
1、目前中国企业的it系统建设的越来越多，越来越完备，但很多企业的it系统仅建设在各自企业局域网，未与互联网或其他企业it系统联通，造成信息孤岛，信息沟通不畅。随着信息技术发展和企业管理变革需要，越来越多的企业期望进行跨网络、跨企业高效协作，这需要将大量的企业内网数据摆渡到互联网或其它网络，也需要从互联网或其它网络获取大量数据。如何实现跨网络跨业务系统数据的安全、高效、准确摆渡，一直是企业亟待解决的问题。
2、目前很多企业采用人工数据摆渡，此方式人力成本高，且数据及时性差、易出错，无法满足企业要求。安全隔离网闸普遍应用后，许多企业通过定制开发服务实现数据摆渡，但兼容性差、响应效率低，每次需求发生变更都需要开发调整，且对数据传输结果很难监控，易造成数据丢失。因此，亟需研究一种跨网络业务系统数据摆渡方法及系统，快速、准确地摆渡多网络业务系统数据，促进内外网、跨企业高效协作。
技术实现思路
1、本申请的目的在于提供一种基于etl的跨网络业务系统数据摆渡方法、系统、介质及电子设备，其能够快速、准确摆渡跨网络业务系统数据，解决现有跨网络数据摆渡效率低、数据易丢失的问题。
2、第一方面，提供了一种基于etl的跨网络业务系统数据摆渡方法，包括：
3、s1、定时采用etl不断获取网络a中数据提供方系统的待摆渡数据，并将待摆渡数据存储形成摆渡数据包
4、s2、通过安全隔离网闸将网络a的第一路径中的摆渡数据包传输到网络b的第二路径并存储；
5、s3、定时扫描网络b中的第二路径，采用etl获取第二路径中的摆渡数据包并解析读取数据，将读取到的数据写入到网络b的数据接收方系统的数据库中，将执行结果数据存储形成反馈数据包，并存放在第三路径；所述执行结果包括失败和成功；
6、s4、通过安全隔离网闸将网络b的第三路径中的反馈数据包传输到网络a的第四路径中并存储；
7、s5、定时扫描网络a的第四路径，采用etl获取第四路径中的反馈数据包并解析读取数据，并将读取到的数据写入网络a的数据提供方系统的数据库中，并更新数据摆渡结果；数据摆渡结果包括成功和失败；
8、s6、在网络a中分析摆渡结果，并对数据摆渡状态进行更新；读取数据摆渡结果，若摆渡结果为成功，则将对应的数据设定为已摆渡数据；若摆渡结果为失败，则将对应的数据设定为待摆渡数据，并重复步骤s1-s6；若重复预定次数，摆渡结果仍为失败，则将对应数据状态更新为“摆渡失败”，不再摆渡。
9、在一种可实施的方案中，步骤s1包括：
10、s11、进行系统配置，包括配置数据提供方系统数据库连接参数、数据提取及输出任务的调用频率、摆渡数据读取语句、摆渡数据输出语句、摆渡数据包输出路径；所述摆渡数据包输出路径即为网络a中的第一路径；
11、s12、启动在网络a进行数据提取及输出的定时任务；
12、s13、按照s11的系统配置，连接数据提供方系统的数据库；
13、s14、按照s11的系统配置，通过etl读取网络a中数据提供方系统中的待摆渡数据；
14、s15、按照s11的系统配置，将s14步骤读取到的数据存储到中间数据文件，形成摆渡数据包；
15、s16、按照s11的系统配置，将s15步骤形成的摆渡数据包放在安全隔离网闸可以读取到的第一路径中。
16、在一种可实施的方案中，在步骤s14中，通过etl读取网络a中数据提供方系统中的待摆渡数据时，采用增量数据读取方式。
17、在一种可实施的方案中，所述中步骤s3包括；
18、s31、进行系统配置，包括配置数据接收方系统数据库连接参数、摆渡数据包读取及写入任务的调用频率、摆渡数据包接收路径、摆渡数据包读取语句、摆渡数据包写入语句、反馈数据包输出路径、反馈数据包输出语句；所述反馈数据包输出路径即为所述网络b中的第三路径；
19、s32、启动在网络b进行摆渡数据包读取及写入的定时任务；
20、s33、按照s31的系统配置，连接数据接收方系统数据库；
21、s34、按照s31的系统配置，扫描描网络b中的第二路径，获取摆渡数据包；
22、s35、按照s31的系统配置，通过etl读取摆渡数据包数据；
23、s36、按照s31的系统配置，通过etl将读取到的摆渡数据包数据存储到数据接收方系统数据库；
24、s37、按照s31系统配置，通过etl将摆渡数据包中每条数据的执行结果写入反馈数据包；
25、s38、按照s31系统配置，将步骤s37形成的反馈数据包放在安全隔离网闸可以读取到的第三路径中。
26、在一种可实施的方案中，，所述步骤s5包括：
27、s51，进行系统配置，包括数据提供方的业务系统数据库连接参数、反馈数据包读取及写入任务的调用频率、反馈数据包读取路径、反馈数据包读取语句、反馈数据写入语句；所述反馈数据包读取路径即为网络a中的第四路径；
28、s52，启动在网络a中进行反馈数据包读取及写入的定时任务；
29、s53，按照s51的系统配置，连接数据提供方系统数据库；
30、s54，按照s51的系统配置，扫描网络a中的第四路径，获取反馈数据包；
31、s55，按照s51的系统配置，通过etl读取反馈数据包中的数据；
32、s56，按照s51的系统配置，通过etl将读取到的反馈数据包数据存储到数据提供方系统的数据库，更新数据摆渡结果。
33、在一种可实施的方案中，所述步骤s6中，若摆渡结果为失败，重复步骤s1-s6的预定次数的设定范围为3～7次。
34、根据本申请的第二方面，还提供了一种基于etl的跨网络业务系统数据摆渡系统，包括数据提供方网络、数据接收方网络和安全隔离网闸，数据提供方网络中部署有数据提供方的基础设置模块、定时任务调度模块、数据提供方的摆渡数据提取及输出模块、数据提供方的反馈数据包读取及写入模块；
35、数据接收方网络中部署有数据接收方的基础设置模块、定时任务调度模块、数据接收方的摆渡数据包读取及写入模块；
36、数据提供方的基础设置模块用于定义数据库连接、修改现有数据库连接、删除现有数据库连接；用于定义etl任务并为其设置调用频率、修改现有etl任务、删除现有etl任务；用于新建、修改或删除etl任务的数据读取语句、数据输出语句、摆渡数据包输出路径、反馈数据包读取路径、反馈数据包读取语句、反馈数据写入语句；
37、数据接收方的基础设置模块用于定义数据库连接、修改现有数据库连接、删除现有数据库连接；用于定义etl任务并为其设置调用频率、修改现有etl任务、删除现有etl任务；用于新建、修改本文档来自技高网...
【技术保护点】
1.一种基于ETL的跨网络业务系统数据摆渡方法，其特征在于，包括：
2.根据权利要求1所述的基于ETL的跨网络业务系统数据摆渡方法，其特征在于，步骤S1包括：
3.根据权利要求2所述的基于ETL的跨网络业务系统数据摆渡方法，其特征在于，在步骤S14中，通过ETL读取网络A中数据提供方系统中的待摆渡数据时，采用增量数据读取方式。
4.根据权利要求1所述的基于ETL的跨网络业务系统数据摆渡方法，其特征在于，所述中步骤S3包括；
5.根据权利要求1所述的基于ETL的跨网络业务系统数据摆渡方法，其特征在于，所述步骤S5包括：
6.根据权利要求1所述的基于ETL的跨网络业务系统数据摆渡方法，其特征在于，所述步骤S6中，若摆渡结果为失败，重复步骤S1-S6的预定次数的设定范围为3～7次。
7.一种基于ETL的跨网络业务系统数据摆渡系统，包括数据提供方网络、数据接收方网络和安全隔离网闸，其特征在于，数据提供方网络中部署有数据提供方的基础设置模块、定时任务调度模块、数据提供方的摆渡数据提取及输出模块、数据提供方的反馈数据包读
8.一种基于ETL的跨网络业务系统数据摆渡系统，包括网络A、网络B和安全隔离网闸，其特征在于，所述网络A既可以作为数据提供方网络，又可以作为数据接收方网络；所述网络B既可以作为数据提供方网络，又可以作为数据接收方网络；
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于ETL的跨网络业务系统数据摆渡方法的步骤。
10.一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器与存储器通信相连，其特征在于，调用计算机程序时执行如权利要求1至6中任一项所述的基于ETL的跨网络业务系统数据摆渡方法的步骤。
...【技术特征摘要】
1.一种基于etl的跨网络业务系统数据摆渡方法，其特征在于，包括：
2.根据权利要求1所述的基于etl的跨网络业务系统数据摆渡方法，其特征在于，步骤s1包括：
3.根据权利要求2所述的基于etl的跨网络业务系统数据摆渡方法，其特征在于，在步骤s14中，通过etl读取网络a中数据提供方系统中的待摆渡数据时，采用增量数据读取方式。
4.根据权利要求1所述的基于etl的跨网络业务系统数据摆渡方法，其特征在于，所述中步骤s3包括；
5.根据权利要求1所述的基于etl的跨网络业务系统数据摆渡方法，其特征在于，所述步骤s5包括：
6.根据权利要求1所述的基于etl的跨网络业务系统数据摆渡方法，其特征在于，所述步骤s6中，若摆渡结果为失败，重复步骤s1-s6的预定次数的设定范围为3～7次。
7.一种基于etl的跨网络业务系统数据摆渡系统，包括数据提...
【专利技术属性】
技术研发人员：李沛田，余燕，房恒忠，李中辉，姚苗苗，胡民强，王畅，
申请(专利权)人：江南造船集团有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。