【技术实现步骤摘要】
本申请涉及数据通信，特别是涉及一种数据传输方法、装置、设备、系统、介质和程序产品。
技术介绍
1、分布式文件系统hdfs(hadoop distributed file system)能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，hdfs-over-ftp是一种基于ftp服务器apacheftpserver和分布式系统基础架构apache hadoop所研发的工具，能够实现对分布式文件系统hdfs的管理，通过hdfs-over-ftp工具可以快速实现对分布式文件系统hdfs中文件的下载和上传。
2、但是，目前的hdfs-over-ftp的传输效率不高，当多个客户端访问分布式文件系统hdfs时，如果各客户端的服务请求的并发数较多时，就可能会存在hdfs对某些客户端的服务请求无法响应的问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种数据传输效率更高的数据传输方法、装置、设备、系统、介质和程序产品。
2、第一方面，本申请提供了一种数据传输方法，该方法包括：
3、获取各用户端发送的文件传输请求；
4、获取与目标负载均衡器连接的多个文件传输协议ftp服务器的负载信息；
5、根据各ftp服务器的负载信息，采用预设的负载均衡策略将各文件传输请求分发至相应的ftp服务器中；ftp服务器中的文件传输请求用于指示相应的ftp服务器根据文件传输请求操作分布式文件系统hdfs以实现数据传输。
6、在其中一个
7、本实施例中，目标负载均衡器可以根据不同的负载均衡策略对文件传输请求进行分发，保证了各个ftp服务器的负载均衡。
8、在其中一个实施例中，目标负载均衡器为主负载均衡器或从负载均衡器，方法还包括：
9、根据主负载均衡器和从负载均衡器之间的心跳信息，检测主负载均衡器和从负载均衡器是否出现故障；
10、若主负载均衡器和从负载均衡器中的任一个均衡器出现故障，则将另一个未出现故障的均衡器确定为目标负载均衡器。
11、本实施例中，通过主负载均衡器和从负载均衡器之间的心跳信息的检测，确定目标负载均衡器为用户提供服务，保证了系统的高可用性。
12、第二方面，本申请还提供了一种数据传输方法，该方法包括：
13、获取目标负载均衡器发送的文件传输请求；文件传输请求是目标负载均衡器将接收的各用户端发送的文件传输请求后，根据获取的各ftp服务器的负载信息，并采用预设的负载均衡策略确定出相应的ftp服务器后分发至ftp服务器中的；
14、根据文件传输请求操作hdfs，以实现数据传输。
15、本实施例中，通过ftp服务器轻量级线程设计可以实现同时处理多个用户端的文件传输请求，提高服务的并发性。
16、在其中一个实施例中，文件传输请求包括写请求，根据文件传输请求操作hdfs，包括：
17、确定写请求在hdfs中对应的目标资源；
18、对目标资源进行加锁操作，并根据写请求在目标资源中进行数据写操作。
19、在其中一个实施例中，若各用户端的文件传输请求中包括多个写请求，对目标资源进行加锁操作，并根据写请求在目标资源中进行数据写操作，包括：
20、确定各写请求的优先级；
21、按照各写请求的优先级的顺序，依次对目标资源进行加锁操作，并依次根据各写请求在目标资源中进行数据写操作。
22、本实施例中，当ftp服务器同时并行处理多个用户端的文件传输请求时，通过对目标资源进行加锁操作，避免多个用户线程同时操作造成的冲突，提高了系统的稳定性。
23、第三方面，本申请还提供了一种数据传输装置，该装置包括：
24、第一获取模块，用于获取各用户端发送的文件传输请求；
25、第二获取模块，用于获取与目标负载均衡器连接的多个文件传输协议ftp服务器的负载信息；
26、分发模块，用于根据各ftp服务器的负载信息，采用预设的负载均衡策略将各文件传输请求分发至相应的ftp服务器中；ftp服务器中的文件传输请求用于指示相应的ftp服务器根据文件传输请求操作分布式文件系统hdfs以实现数据传输。
27、第四方面，本申请还提供了一种数据传输装置，该装置包括：
28、请求获取模块，用于获取目标负载均衡器发送的文件传输请求；文件传输请求是目标负载均衡器将接收的各用户端发送的文件传输请求后，根据获取的各ftp服务器的负载信息，并采用预设的负载均衡策略确定出相应的ftp服务器后分发至ftp服务器中的；
29、操作模块，用于根据文件传输请求操作hdfs，以实现数据传输。
30、第五方面，本申请还提供了一种负载均衡器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的数据传输方法。
31、第六方面，本申请还提供了一种ftp服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第二方面任一所述的数据传输方法。
32、第七方面，本申请还提供了一种文件传输系统，包括负载均衡器、ftp服务器以及hdfs，
33、所述负载均衡器，用于执行权利要求1至3中任一项所述的方法的步骤；
34、所述ftp服务器，用于执行权利要求4至6中任一项所述的方法的步骤；
35、所述hdfs，用于响应所述ftp服务器的文件传输请求，并返回所述文件传输请求对应的数据。
36、第八方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面和/或第二方面的数据传输方法。
37、第九方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面和/或第二方面的数据传输方法。
38、上述数据传输方法、装置、设备、系统、介质和程序产品，首先获取各用户端发送的文件传输请求，然后获取与目标负载均衡器连接的多个文件传输协议ftp服务器的负载信息，最后根据各ftp服务器的负载信息，采用预设的负载均衡策略将各文件传输请求分发至相应的ftp服务器中，其中，ftp服务器中的文件传输请求用于指示相应的ftp服务器根据文件传输请求操作分布式文件系统hdfs以实现数据传输。通过这种方式，在接收到各用户端发送的文件传输请求后，负载均衡器根据ftp服务器的负载信息和负载均衡策略将接收到的文件传输请求分到相应的ftp服务器，这样能够避免当各用户端的文件传输请求的并发数过多时，个别ftp服务器由于负载过高导致分发到该ftp服务器的文件传输请求无法响应。进一步地，根据ftp服务器的负载信息和负载本文档来自技高网...
【技术保护点】
1.一种数据传输方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的负载均衡策略包括以下至少一项：轮询策略、加权轮询策略、最小连接数调度策略、目标地址散列策略。
3.根据权利要求1所述的方法，其特征在于，所述目标负载均衡器为主负载均衡器或从负载均衡器，所述方法还包括：
4.一种数据传输方法，其特征在于，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，所述文件传输请求包括写请求，所述根据所述文件传输请求操作所述HDFS，包括：
6.根据权利要求5所述的方法，其特征在于，若各所述用户端的文件传输请求中包括多个写请求，所述对所述目标资源进行加锁操作，并根据所述写请求在所述目标资源中进行数据写操作，包括：
7.一种数据传输装置，其特征在于，所述装置包括：
8.一种数据传输装置，其特征在于，所述装置包括：
9.一种负载均衡器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的
10.一种FTP服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4至6中任一项所述的方法的步骤。
11.一种文件传输系统，包括负载均衡器、FTP服务器以及HDFS，其特征在于，所述负载均衡器，用于执行权利要求1至3中任一项所述的方法的步骤；
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的负载均衡策略包括以下至少一项：轮询策略、加权轮询策略、最小连接数调度策略、目标地址散列策略。
3.根据权利要求1所述的方法，其特征在于，所述目标负载均衡器为主负载均衡器或从负载均衡器，所述方法还包括：
4.一种数据传输方法，其特征在于，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，所述文件传输请求包括写请求，所述根据所述文件传输请求操作所述hdfs，包括：
6.根据权利要求5所述的方法，其特征在于，若各所述用户端的文件传输请求中包括多个写请求，所述对所述目标资源进行加锁操作，并根据所述写请求在所述目标资源中进行数据写操作，包括：
7.一种数据传输装置，其特征在于，所述装置包括：
8.一种数据传输装置，其...
【专利技术属性】
技术研发人员：董宇飞，王忠勤，张建磊，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。