分布式海量数据传输方法及系统技术方案

本发明专利技术公开了一种分布式海量数据传输方法，该方法主要包括分布式文件访问系统、断点续传、流量控制、离线发送、文件夹压缩五个技术。本发明专利技术还公开了一种分布式海量数据传输系统。本发明专利技术可以有效隔离秘密信息的传输通道，增强信息传输的安全性，提高信息传输系统对于超大数据量的支持能力和传输的可靠性。运用本发明专利技术可以解决网络状态不稳定、应用在线状态不确定、文件夹发送缓慢等问题。

Distributed mass data transmission method and system

The invention discloses a distributed mass data transmission method, this method mainly includes distributed file access system, HTTP, flow control, transmission, five offline folder compression technology. The invention also discloses a distributed mass data transmission system. The invention can effectively isolate the transmission channel of the secret information, enhance the security of the information transmission, and improve the support ability and the transmission reliability of the information transmission system for the large amount of data. The invention can solve the problems of unstable state of the network, uncertain application of online state, slow transmission of the folder, etc..

【技术实现步骤摘要】

本专利技术涉及数据传输技术，尤其涉及一种分布式海量数据传输方法及系统。
技术介绍
在国防信息领域，作战值班系统日趋成熟，产生了海量的指挥、态势综合情报信息，急需构建一个大型的数据中心来集中存储这些数据。如何在各数据中心节点之间进行海量数据传输成为国防信息领域的热门研究方向。
技术实现思路
专利技术目的：本专利技术针对现有技术存在的问题，提供一种分布式海量数据传输方法及系统，本专利技术传输安全可靠。技术方案：本专利技术所述的分布式海量数据传输方法包括：(1)发送客户端的应用软件通过文件传输代理注册到发送服务器的文件传输服务；(2)当发送客户端的应用软件需要发送数据时，通过文件传输代理提交数据发送请求到发送服务器的文件传输服务；(3)发送服务器的文件传输服务与接收服务器的文件传输服务进行协商，查询接收客户端所在IP地址和文件接收路径，建立服务间传输TCP连接；(4)发送服务器的文件传输服务调用发送客户端的分布式文件访问服务，读取待发送数据到文件传输服务，并传输到接收服务器的文件传输服务；(5)接收服务器调用接收客户端的分布式文件访问服务，将数据远程写到接收路径下；(6)若数据没有接收完毕，跳转到步骤(4)继续传输；(7)数据接收完毕后，发送服务器将数据传输状态通知给发送客户端的应用软件，接收服务器将数据传输状态通知给接收客户端的应用软件。进一步的，步骤(1)具体包括：(11)发送客户端的应用软件运行后，通过文件传输代理向发送服务器的文件传输服务发送注册请求；(12)发送服务器的文件传输服务接收到注册请求后，进行注册，并向该文件传输代理发送注册成功反馈消息，完成应用注册。进一步的，若步骤(2)中需要传输的数据是多个文件，采用以下方法进行处理：发送客户端的应用软件通过文件传输代理提交多个文件发送请求到发送服务器的文件传输服务；发送服务器的文件传输服务将多个文件发送请求保存到数据库中，并维护待发送文件记录的发送状态；发送服务器的文件传输服务循环从数据库中取出待发送文件记录，准备发送文件。进一步的，若步骤(2)中需要传输的数据是文件夹时，采用以下方法进行处理：发送客户端的应用软件通过文件传输代理提交文件夹发送请求到发送服务器的文件传输服务；发送服务器的文件传输服务将文件夹发送请求保存到数据库中，并维护待发送文件夹记录的发送状态；发送服务器的文件传输服务从数据库中取出待发送文件夹记录，对待发送文件夹进行压缩处理后传输至接收服务器。进一步的，步骤(4)具体包括：(41)发送服务器的文件传输服务调用发送客户端的分布式文件访问服务，读取数据到发送服务器上；(42)发送服务器对数据加密；(43)发送服务器将加密后的内容传输到接收服务器。进一步的，该方法中采用漏桶算法进行流量控制，具体为：针对发送客户端和接收客户端设置一个漏桶控制流速，或针对针对发送服务器中所有的文件发送设置全局漏桶来控制所有对端的流速，并且流量控制能够实时生效。本专利技术所述的分布式海量数据传输系统包括：发送客户端，设有应用软件、文件传输代理和分布式文件访问服务；应用软件用于通过文件传输代理向发送服务器发送注册请求和数据发送请求；分布式文件访问服务用于服务器间建立传输TCP连接后，在发送服务器的调用下读取待发送数据到接收服务器；发送服务器，设有文件传输服务；该文件传输服务用于在接收到注册请求后进行注册，以及用于在接收到数据发送请求后与接收服务器进行协商，当接收服务器查询到接收客户端所在IP地址和文件接收路径后，与接收服务器建立服务间传输TCP连接，还用于在建立传输TCP连接后调用发送客户端的分布式文件服务，将分布式文件服务读取的数据传输至接收服务器；接收服务器，设有文件传输服务；该文件传输服务用于与发送服务器进行协商，查询接收客户端所在IP地址和文件接收路径，并与发送服务器建立服务间传输TCP连接，还用于在建立传输TCP连接后调用接收客户端的分布式文件服务，将发送服务器传输的数据传输至接收客户端；接收客户端，设有应用软件、文件传输代理和分布式文件访问服务；应用软件用于通过文件传输代理接收消息；分布式文件访问服务用于服务器间建立传输TCP连接后，在接收服务器的调用下将接收的数据远程写到接收路径下。进一步的，所述发送服务器的文件传输服务还用于在文件接收完毕后，将文件传输状态通知给发送客户端的应用软件；所述接收服务器的文件传输服务还用于在文件接收完毕后，将文件传输状态通知给接收客户端的应用软件。进一步的，所述发送服务器内还设有数据库，用于记录发送客户端的应用软件提交的多个数据发送请求，从而使发送服务器的文件传输服务循环从该数据库中取出待发送文件记录，准备发送文件，并实时更新待发送文件记录的发送状态。进一步的，所述发送服务器还设有压缩模块，用于对要发送的文件夹进行压缩后再传输，接收服务器还设有解压模块，用于对接收的文件夹进行解压。本专利技术实现了分布式文件访问系统、断点续传、流量控制、离线发送、文件夹压缩五个技术。1、分布式文件访问系统本专利技术提供分布式的文件传输方法。传输服务可以通过读命令让分布式文件访问服务将本地的数据远程读取到文件传输服务，也可以通过写命令让分布式文件访问服务将文件传输服务的数据远程写到本地。分布式文件访问服务使得本专利技术可以搭建中心化的服务布局以及分布式的文件传输机制。2、超大文件的断点续传发送客户端发起的文件传输请求通过文件传输代理提交到文件发送服务，由发送服务将应用请求保存到数据库中。发送服务会不断的从数据库中取出待发送的请求记录，和对端服务进行协商。对端服务查询接收客户端的IP地址和文件接收路径，与发送服务建立TCP连接，开始接收文件并保存到接收客户端指定的路径下。当文件传输完毕后，接收服务通知客户端接收完成的消息，同时发送客户端将更新发送数据库文件请求记录的状态为发送完毕。当传输被意外中断或是被应用暂停后，发送服务将重置数据库中该发送记录状态到初始入库状态。此发送任务将继续等待被服务再次调度发送，此次发送流程与新入库的发送任务类似。但发送服务将从上次已接收的位置起开始继续传输文件，而不必从头开始重新传输，这一策略有效的提高了海量数据的传输效率。3、传输流量控制本专利技术建立了流量控制机制，既可以针对发送端单一文件的传输限速，也可以为发送端所有文件的传输进行总限速。流控机制主要采用漏桶算法，首先设定漏桶的总大小，代表初始时刻可以传输的文件总大小。根据应用设定的发送流速可以计算该时刻已发送的文件大小，用当前漏桶大小减去已发送的文件大小可以计算漏桶中剩余可发送的字节数量。若字节数量大于零表示可以继续发送，若字节数量小于零就等待一定时间，先扩充漏桶的容量，再重新计算剩余可发送的字节数。本专利技术既可以针对单个发送对端设置一个漏桶来控制其流速，也可以针对发送服务中所有的文件发送设置全局漏桶来控制所有对端的流速，并且流量控制能够实时生效。本专利技术可以根据传输任务优先级状况来调整任务的发送速度，加快紧急文件的传输速度。4、客户端离线发送为了检测应用的在线离线状况，本专利技术在传输代理和传输服务间设置心跳守护功能。传输服务中维护所有注册应用的列表，记录应用名称、客户端所在的IP地址、文件接收路径以及是否在线状态。由传输代理定期向传输服务提交应用的注册申请。若超时未收到应用注册消息，本文档来自技高网...

【技术保护点】
一种分布式海量数据传输方法，其特征在于该方法包括：(1)发送客户端的应用软件通过文件传输代理注册到发送服务器的文件传输服务；(2)当发送客户端的应用软件需要发送数据时，通过文件传输代理提交数据发送请求到发送服务器的文件传输服务；(3)发送服务器的文件传输服务与接收服务器的文件传输服务进行协商，查询接收客户端所在IP地址和文件接收路径，建立服务间传输TCP连接；(4)发送服务器的文件传输服务调用发送客户端的分布式文件访问服务，读取待发送数据到文件传输服务，并传输到接收服务器的文件传输服务；(5)接收服务器调用接收客户端的分布式文件访问服务，将数据远程写到接收路径下；(6)若数据没有接收完毕，跳转到步骤(4)继续传输；(7)数据接收完毕后，发送服务器将数据传输状态通知给发送客户端的应用软件，接收服务器将数据传输状态通知给接收客户端的应用软件。

【技术特征摘要】
1.一种分布式海量数据传输方法，其特征在于该方法包括：(1)发送客户端的应用软件通过文件传输代理注册到发送服务器的文件传输服务；(2)当发送客户端的应用软件需要发送数据时，通过文件传输代理提交数据发送请求到发送服务器的文件传输服务；(3)发送服务器的文件传输服务与接收服务器的文件传输服务进行协商，查询接收客户端所在IP地址和文件接收路径，建立服务间传输TCP连接；(4)发送服务器的文件传输服务调用发送客户端的分布式文件访问服务，读取待发送数据到文件传输服务，并传输到接收服务器的文件传输服务；(5)接收服务器调用接收客户端的分布式文件访问服务，将数据远程写到接收路径下；(6)若数据没有接收完毕，跳转到步骤(4)继续传输；(7)数据接收完毕后，发送服务器将数据传输状态通知给发送客户端的应用软件，接收服务器将数据传输状态通知给接收客户端的应用软件。2.根据权利要求1所述的分布式海量数据传输方法，其特征在于：步骤(1)具体包括：(11)发送客户端的应用软件运行后，通过文件传输代理向发送服务器的文件传输服务发送注册请求；(12)发送服务器的文件传输服务接收到注册请求后，进行注册，并向该文件传输代理发送注册成功反馈消息，完成应用注册。3.根据权利要求1所述的分布式海量数据传输方法，其特征在于：若步骤(2)中需要传输的数据是多个文件，采用以下方法进行处理：发送客户端的应用软件通过文件传输代理提交多个文件发送请求到发送服务器的文件传输服务；发送服务器的文件传输服务将多个文件发送请求保存到数据库中，并维护待发送文件记录的发送状态；发送服务器的文件传输服务循环从数据库中取出待发送文件记录，准备发送文件。4.根据权利要求1所述的分布式海量数据传输方法，其特征在于：若步骤(2)中需要传输的数据是文件夹时，采用以下方法进行处理：发送客户端的应用软件通过文件传输代理提交文件夹发送请求到发送服务器的文件传输服务；发送服务器的文件传输服务将文件夹发送请求保存到数据库中，并维护待发送文件夹记录的发送状态；发送服务器的文件传输服务从数据库中取出待发送文件夹记录，对待发送文件夹进行压缩处理后传输至接收服务器。5.根据权利要求1所述的分布式海量数据传输方法，其特征在于：步骤(4)具体包括：(41)发送服务器的文件传输服务调用发送客户端的分布式文件访问服务，读取数据到发送服务器上；(42)发送服务器对数据加密；(43)发送服务器将加...

【专利技术属性】
技术研发人员：茅娅菲，万翔，李绪福，王海青，蔡学波，王海立，施磊，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏;32