一种数据的摆渡方法、设备及介质技术

本申请公开了一种数据的摆渡方法、设备及介质，方法包括：第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据；所述第一系统将所述待传输数据进行第一处理，得到第一处理后的数据；单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；第二系统根据所述文件传输协议，从所述单向网闸中获取所述第一处理后的数据，并将所述第一处理后的数据进行第二处理，得到第二处理后的数据；所述第二系统将所述第二处理后的数据进行存储。有效提升了数据摆渡的效率，操作简便，自动化程度高，稳定性强、数据传输速度较快，且针对未能完整传输的数据提供了补救方案，有效保证了数据传输的完整性。

【技术实现步骤摘要】
一种数据的摆渡方法、设备及介质
本申请涉及数据传输领域，具体涉及一种数据摆渡的方法、设备及介质。
技术介绍
在软件开发过程中，经常会遇到系统间跨网络数据交换的问题，不同的系统所处的网络是物理隔离的，系统间通常通过单向网闸来控制数据的流向。在此场景下，系统间无法直接互联共享数据，只能通过数据摆渡，将数据从一个数据传输至另一个系统。传统的数据摆渡大多采用消息队列中间件的方式，而此种方式会增加研发成本以及系统复杂性，在非分布式集群环境下，如何寻求一种轻量级的数据摆渡方式则成为了亟待解决的问题。
技术实现思路
为了解决上述问题，即为了解决消息队列中间件的数据摆渡系统复杂性高、稳定性差、对于中小型开发项目应用价值低的问题，本申请提出了一种数据摆渡的方法、设备及介质，包括：第一方面，本申请提供了一种数据的摆渡方法，包括：第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据；所述第一系统将所述待传输数据进行第一处理，得到第一处理后的数据，其中，所述第一处理至少包括以下一种：非结构化数据转换处理、数据签名处理、数据打包处理、数据压缩处理、数据加密处理；单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；第二系统根据所述文件传输协议，从所述单向网闸中获取所述第一处理后的数据，并将所述第一处理后的数据进行第二处理，得到第二处理后的数据，其中，所述第二处理至少包括以下一种：数据验签处理、数据解密处理、数据解压处理、结构化数据转换处理；所述第二系统将所述第二处理后的数据进行存储。在一个示例中，所述数据交换表包括：表信息配置表、字段信息配置表；所述第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据，具体包括：所述第一系统根据所述表信息配置表，从对应的数据库中获取数据表集合，并根据表编号以及所述字段信息配置表，从所述数据库中获取对应的字段数据，其中，所述表编号存储在所述数据表集合中；根据所述表信息配置表，从所述数据库中获取组织集合表，并根据组织内码以及所述组织集合表，从所述数据库中获取对应的组织数据，其中，所述组织内码存储在所述组织集合表中；将所述字段数据与所述组织数据，作为待传输数据。在一个示例中，所述第一系统根据所述表信息配置表，从对应的数据库中获取带有交换标识的数据表集合，并根据表编号以及所述字段信息配置表，从所述数据库中获取对应的字段数据之前，所述方法还包括：所述第一系统每间隔第一时间阈值，确定所述定时任务是否执行；若所述定时任务未执行，则执行所述定时任务。在一个示例中，所述单向网闸包括：第一数据交换服务器、网闸、第二数据交换服务器；所述单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据，具体包括：所述第一数据交换服务器根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；所述网闸从所述第一数据交换服务器中获取所述第一处理后的数据，并将所述第一处理后的数据进行备份；所述第二数据交换服务器从所述网闸中获取所述第一处理后的数据。在一个示例中，所述第二系统将所述第二处理后的数据进行存储之前，所述方法还包括：所述第二系统根据所述数据交换表，从对应的数据库中获取所述待传输数据的编号，生成待传输数据编号表；获取所述二处理后的数据的编号；针对多个所述第二处理后的数据的编号中的任意一个，若所述待传输数据编号表中包含该第二处理后的数据的编号，则将该第二处理后的数据存储至，与所述第二系统对应的数据库中；若所述待传输数据编号表中不包含该第二处理后的数据的编号，则将该第二处理后的数据删除。在一个示例中，若所述待传输数据编号表中不包含该第二处理后的数据的编号，则将该第二处理后的数据删除之后，所述方法还包括：检测所述待传输数据编号表中对应的数据是否全部传输，并生成检测报告；若所述检测报告显示存在未传输的数据，则将所述未传输的数据进行标记，并生成未传输数据编号表；将所述未传输数据编号表进行存储。在一个示例中，若所述检测报告显示存在未传输的数据，则将所述未传输的数据进行标记，并生成未传输数据编号表之后，所述方法还包括：所述第一系统获取所述未传输数据编号表；所述第一系统根据所述未传输数据编号表，从对应的数据库中获取未传输数据；所述第一系统将所述未传输数据进行所述第一处理，得到第一处理后的未传输数据；所述单向网闸从所述第一系统中获取所述第一处理后的未传输数据；所述第二系统从所述单向网闸中获取所述第一处理后的未传输数据，并将所述第一处理后的未传输数据进行所述第二处理，得到第二处理后的未传输数据；所述第二系统将所述第二处理后的未传输数据进行存储。在一个示例中，所述非结构化数据转换处理包括：将结构化数据转化为可扩展标记语言形式的数据；所述结构化数据转换处理包括：将可扩展标记语言形式的数据转化为结构化数据。另一方面，本申请提供了一种数据的摆渡设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下指令：第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据；所述第一系统将所述待传输数据进行第一处理，得到第一处理后的数据，其中，所述第一处理至少包括以下一种：非结构化数据转换处理、数据签名处理、数据打包处理、数据压缩处理、数据加密处理；单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；第二系统根据所述文件传输协议，从所述单向网闸中获取所述第一处理后的数据，并将所述第一处理后的数据进行第二处理，得到第二处理后的数据，其中，所述第二处理至少包括以下一种：数据验签处理、数据解密处理、数据解压处理、结构化数据转换处理；所述第二系统将所述第二处理后的数据进行存储。另一方面，本申请提供了一种数据的摆渡的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据；所述第一系统将所述待传输数据进行第一处理，得到第一处理后的数据，其中，所述第一处理至少包括以下一种：非结构化数据转换处理、数据签名处理、数据打包处理、数据压缩处理、数据加密处理；单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；第二系统根据所述文件传输协议，从所述单向网闸中获取所述第一处理后的数据，并将所述第一处理后的数据进行第二处理，得到第二处理后的数据，其中，所述第二处理至少包括以下一种：数据验签处理、数据解密处理、数据解压处理、结构化数据转换处理；所述第二系统将所述第二处理后的数据进行存储。通过本申请提出的一种数据摆渡的方法、设备及介质能够带来如下有益效果：有效提升了数据摆渡的效率，操作简便，自动化程度高，稳定性强、数据传输速度较快，且针对未能完整传输的数据提供了补救方案，有效保证了数据传输的完整性。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的本文档来自技高网...

【技术保护点】
1.一种数据的摆渡方法，其特征在于，包括：/n第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据；/n所述第一系统将所述待传输数据进行第一处理，得到第一处理后的数据，其中，所述第一处理至少包括以下一种：非结构化数据转换处理、数据签名处理、数据打包处理、数据压缩处理、数据加密处理；/n单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；/n第二系统根据所述文件传输协议，从所述单向网闸中获取所述第一处理后的数据，并将所述第一处理后的数据进行第二处理，得到第二处理后的数据，其中，所述第二处理至少包括以下一种：数据验签处理、数据解密处理、数据解压处理、结构化数据转换处理；/n所述第二系统将所述第二处理后的数据进行存储。/n

【技术特征摘要】
1.一种数据的摆渡方法，其特征在于，包括：
第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据；
所述第一系统将所述待传输数据进行第一处理，得到第一处理后的数据，其中，所述第一处理至少包括以下一种：非结构化数据转换处理、数据签名处理、数据打包处理、数据压缩处理、数据加密处理；
单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；
第二系统根据所述文件传输协议，从所述单向网闸中获取所述第一处理后的数据，并将所述第一处理后的数据进行第二处理，得到第二处理后的数据，其中，所述第二处理至少包括以下一种：数据验签处理、数据解密处理、数据解压处理、结构化数据转换处理；
所述第二系统将所述第二处理后的数据进行存储。


2.根据权利要求1所述的一种数据的摆渡方法，其特征在于，所述数据交换表包括：表信息配置表、字段信息配置表；
所述第一系统根据数据交换表，执行定时任务，以从对应的数据库中获取待传输数据，具体包括：
所述第一系统根据所述表信息配置表，从对应的数据库中获取数据表集合，并根据表编号以及所述字段信息配置表，从所述数据库中获取对应的字段数据，其中，所述表编号存储在所述数据表集合中；
根据所述表信息配置表，从所述数据库中获取组织集合表，并根据组织内码以及所述组织集合表，从所述数据库中获取对应的组织数据，其中，所述组织内码存储在所述组织集合表中；
将所述字段数据与所述组织数据，作为待传输数据。


3.根据权利要求2所述的一种数据的摆渡方法，其特征在于，所述第一系统根据所述表信息配置表，从对应的数据库中获取带有交换标识的数据表集合，并根据表编号以及所述字段信息配置表，从所述数据库中获取对应的字段数据之前，所述方法还包括：
所述第一系统每间隔第一时间阈值，确定所述定时任务是否执行；
若所述定时任务未执行，则执行所述定时任务。


4.根据权利要求1所述的一种数据的摆渡方法，其特征在于，所述单向网闸包括：第一数据交换服务器、网闸、第二数据交换服务器；
所述单向网闸根据文件传输协议，从所述第一系统中获取所述第一处理后的数据，具体包括：
所述第一数据交换服务器根据文件传输协议，从所述第一系统中获取所述第一处理后的数据；
所述网闸从所述第一数据交换服务器中获取所述第一处理后的数据，并将所述第一处理后的数据进行备份；
所述第二数据交换服务器从所述网闸中获取所述第一处理后的数据。


5.根据权利要求1所述的一种数据的摆渡方法，其特征在于，所述第二系统将所述第二处理后的数据进行存储之前，所述方法还包括：
所述第二系统根据所述数据交换表，从对应的数据库中获取所述待传输数据的编号，生成待传输数据编号表；
获取所述第二处理后的数据的编号；
针对多个所述第二处理后的数据的编号中的任意一个，
若所述待传输数据编号表中包含该第二处理后的数据的编号，则将该第二处理后的数据存储至，与所述第二系统对应的数据库中；
若所述待传输数据编号表中不包含该第二处理后的数据的编号，则将该第二处理后的数据删除。


6.根据权利要求5所述的一种数据的摆渡方法，其特征在于，若所述待传输数据编号表中不包含该第二处理后的数据...

【专利技术属性】
技术研发人员：杨鹏，
申请(专利权)人：山东浪潮通软信息科技有限公司，
类型：发明
国别省市：山东;37