【技术实现步骤摘要】
本申请涉及网络管理的，尤其是涉及一种基于内外网隔离的数据传输系统、方法及存储介质。
技术介绍
1、基于安全性的要求，相当多的企业采取内外网隔离的网络结构，即网络环境中将内部网络和外部网络进行物理或逻辑上的隔离，以保障内部网络的安全性和稳定性。这种隔离通常通过防火墙、路由器、网络隔离设备等技术手段实现。其主要目的是防止外部网络的不良因素（如恶意软件、网络攻击等）对内部网络造成威胁和损害。
2、当前技术中，对于内外网隔离情况下的数据传输基本采用jdbc的直接方式，jdbc具体标识为java数据库连接，其用于通过java语言来提供规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法。其服务保存数据到目标数据库中，接收方通过jdbc来直接从目标数据库中获取数据。
3、但jdbc中，数据传输过程中的筛选条件都是固定的，其无法进行设置，这就导致传输过程中相关参数无法进行设置更新，所有的参数内容皆固定于系统，只能通过修改程序来进行设置，缺乏数据传输的灵活性。
技术实现思路
1、为了提高数据传输过程中的可配置灵活性，本申请提供一种基于内外网隔离的数据传输系统、方法及存储介质。
2、第一方面，本申请提供一种基于内外网隔离的数据传输系统，采用如下的技术方案：
3、一种基于内外网隔离的数据传输系统，包括用于将内网部分和外网部分进行隔离的隔离装置，包括对应于外网部分的外部传输服务单元和对应于内网部分的内部接收服务单元和内网数据
4、所述外部传输服务单元基于配置要求生成配置项，所述配置项中包括若干配置栏位，各所述配置栏位皆存储有相应的配置特征标签，所述配置特征标签的类型包括数据查询用和数据传输用；
5、所述外部传输服务单元基于所述数据查询用的所述配置项在目标位置的数据源中读取相应的数据，并基于所述数据传输用的所述配置项将所述数据传输至所述内部接收服务单元；
6、所述内部接收服务单元接收所述数据，所述内网数据使用单元中存在若干注册连接于所述内部接收服务单元中的服务接口，所述内部接收服务单元基于所述数据传输用的所述配置项将所述数据传输至相应传输要求对应的所述服务接口中。
7、在其中的一些实施例中，所述外部传输服务单元具体包括：
8、配置管理模块，用于读取所述配置要求以生成配置项，所述配置项中的所述数据查询用的所述配置特征标签包括数据来源、数据表名、执行增量sql、读取条数，所述配置特征标签还包括加密算法；
9、数据查询模块，基于所述数据来源选定所述目标位置，并基于所述数据表名在所述目标位置对应的数据源中查询相应的所述数据并进行读取，其中，对所述数据源进行读取时基于所述读取条数确定每次读取的数据条数，还根据所述执行增量sql确认读取过程是否完成；
10、数据加密模块，基于所述加密算法对从所述数据源中读取的所述数据进行加密；
11、数据跨区传输模块，获取经过加密后的所述数据，并将所述数据传输至所述内部接收服务单元。
12、在其中的一些实施例中，所述数据查询用的所述配置特征标签还包括超过时间，所述数据查询模块还用于获取从所述数据源中读取数据时对应的读取时间，并将所述读取时间与所述超过时间进行比对，当所述读取时间大于所述超过时间时，则中断对所述数据的读取，并生成错误记录。
13、在其中的一些实施例中，所述数据查询用的所述配置特征标签还包括执行表数和总量sql，所述执行表数表征为允许同时执行的传输数据表的数量；
14、所述数据查询模块还用于基于所述执行表数生成多个独立的查询任务线程，每个所述查询任务线程皆对应于一个所述传输数据表且每个所述查询任务线程皆对应一组所述数据查询用的所述配置特征标签；
15、当各个所述查询任务线程皆基于所述执行增量sql确认读取过程完成后，所述数据查询模块还用于基于所述总量sql生成总结数据并通过所述跨区传输模块发送至所述内部接收服务单元。
16、在其中的一些实施例中，所述配置管理模块生成的配置项中的所述数据传输用的所述配置特征标签包括传输地址、传输条数，所述配置特征标签还包括解密算法，所述内部接收服务单元具体包括：
17、接口注册模块，用于获取所述内网数据使用单元中的若干所述服务接口的注册请求，并基于所述注册请求完成与各个所述服务接口之间的注册连接，所述注册请求中包含对应于各所述服务接口的接口地址；
18、数据接收模块，用于获取所述数据跨区传输模块所传输的所述数据，并提取所述数据对应的所述传输地址和所述传输条数；
19、数据解密模块，基于所述解密算法对所述数据接收模块所获取的所述数据进行解密；
20、数据发送模块，基于所述传输地址在所述内网数据使用单元中查询相应的所述服务接口，并基于所述传输条数对所述解密后的所述数据进行传输。
21、在其中的一些实施例中，所述内网数据使用单元接收所述数据后，其还用于：
22、判断所述数据的数据类型，所述数据类型包括单一数据和所述总结数据；
23、若所述数据为所述单一数据，则判断所述数据是否存在，并生成返回结果至所述内部接收服务单元，其中，所述返回结果包括：若已经存在，则根据所述数据对当前已经存在的所述数据进行更新，若不存在，则新增该所述数据；
24、若所述数据为所述总结数据，则将所述传输条数与所述总结数据所对应的所述总量sql进行比对以生成传输结果，并生成返回结果至所述内部接收服务单元。
25、在其中的一些实施例中，所述返回结果中包括传输状态，所述内部接收服务单元还包括自动补推模块，所述自动补推模块用于生成定时查询任务，所述定时查询任务包括定时时间、查询对象、目标数据；
26、所述自动补推模块在所述定时时间内选定所述查询对象，并查询该所述查询对象中的所述目标数据的所述传输状态，若所述传输状态为失败，则自动返回补推指令以重新发送所述目标数据，且若重新发送的次数超过预设次数，则对该所述目标数据进行标记以返回人工处理信息。
27、在其中的一些实施例中，所述数据发送模块还包括数据排位模块和任务分配模块；
28、所述数据排位模块用于查询各所述服务接口当前传输的所述数据对应的传输进度，并基于所述传输进度为各所述服务接口进行从高到低的排位；
29、所述任务分配模块用于判断各所述服务接口当前传输的所述数据对应的平均传输速度，且当所述平均传输速度低于预设速度时，生成预设数量的优先传输指令和传输中止指令，并将预设数量的所述优先传输指令按照所述排位依次发送至相应的所述服务接口中以继续进行传输，将所述传输中止指令发送至剩余的所述服务接口中以停止传输；
30、所述任务分配模块还用于在所述优先传输指令对应的所述服务接口的传输完成后，按序依次将相应数量的所述服务接口的所述传输中止指令转换为所述优先传输指令本文档来自技高网...
【技术保护点】
1.一种基于内外网隔离的数据传输系统，包括用于将内网部分和外网部分进行隔离的隔离装置，其特征在于，包括对应于外网部分的外部传输服务单元和对应于内网部分的内部接收服务单元和内网数据使用单元，其中，
2.根据权利要求1所述的基于内外网隔离的数据传输系统，其特征在于，所述外部传输服务单元具体包括：
3.根据权利要求2所述的基于内外网隔离的数据传输系统，其特征在于，所述数据查询用的所述配置特征标签还包括超过时间，所述数据查询模块还用于获取从所述数据源中读取数据时对应的读取时间，并将所述读取时间与所述超过时间进行比对，当所述读取时间大于所述超过时间时，则中断对所述数据的读取，并生成错误记录。
4.根据权利要求2所述的基于内外网隔离的数据传输系统，其特征在于，所述数据查询用的所述配置特征标签还包括执行表数和总量sql，所述执行表数表征为允许同时执行的传输数据表的数量；
5.根据权利要求1所述的基于内外网隔离的数据传输系统，其特征在于，所述配置管理模块生成的配置项中的所述数据传输用的所述配置特征标签包括传输地址、传输条数，所述配置特征标签还包括解
6.根据权利要求5所述的基于内外网隔离的数据传输系统，其特征在于，所述内网数据使用单元接收所述数据后，其还用于：
7.根据权利要求6所述的基于内外网隔离的数据传输系统，其特征在于，所述返回结果中包括传输状态，所述内部接收服务单元还包括自动补推模块，所述自动补推模块用于生成定时查询任务，所述定时查询任务包括定时时间、查询对象、目标数据；
8.根据权利要求1所述的基于内外网隔离的数据传输系统，其特征在于，所述数据发送模块还包括数据排位模块和任务分配模块；
9.一种基于内外网隔离的数据传输方法，其特征在于，包括以下步骤：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求9中所述的方法的步骤。
...【技术特征摘要】
1.一种基于内外网隔离的数据传输系统，包括用于将内网部分和外网部分进行隔离的隔离装置，其特征在于，包括对应于外网部分的外部传输服务单元和对应于内网部分的内部接收服务单元和内网数据使用单元，其中，
2.根据权利要求1所述的基于内外网隔离的数据传输系统，其特征在于，所述外部传输服务单元具体包括：
3.根据权利要求2所述的基于内外网隔离的数据传输系统，其特征在于，所述数据查询用的所述配置特征标签还包括超过时间，所述数据查询模块还用于获取从所述数据源中读取数据时对应的读取时间，并将所述读取时间与所述超过时间进行比对，当所述读取时间大于所述超过时间时，则中断对所述数据的读取，并生成错误记录。
4.根据权利要求2所述的基于内外网隔离的数据传输系统，其特征在于，所述数据查询用的所述配置特征标签还包括执行表数和总量sql，所述执行表数表征为允许同时执行的传输数据表的数量；
5.根据权利要求1所述的基于内外网隔离的数据传输系统，其...
【专利技术属性】
技术研发人员：王欢，包同波，杨玉珍，
申请(专利权)人：数字节点杭州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。