【技术实现步骤摘要】
本专利技术涉及网络通信，具体涉及一种提高网络分布式文件系统传输效率的方法及系统。
技术介绍
1、网络分布式文件系统（dfs）是指文件系统管理的物理存储资源并不直接连接在本地服务器上，而是通过计算机网络与本地服务器相连的文件系统。它可以看作是多个不同的逻辑硬盘分区或卷标组合在一起形式的完整、有层次的文件系统。网络分布式文件系统为分布在网络上任意的资源提供了一个逻辑上的树形文件系统结构，使用户端访问网络上的共享文件更加简便。
2、网络分布式文件系统通过将固定于某个地点的某个文件系统，扩展到任意多个地点或多个文件系统，使众多的网络节点共同组成一个整体的网络文件系统；网络文件传输效率是影响网络分布式文件系统使用体验的指标。现有的网络分布式文件系统的数据访问过程是服务器将硬盘上的文件读取出来，然后通过网络协议发送给客户端。现有的网络分布式文件系统在响应客户端的数据请求将数据传输至客户端的过程耗时较长，整体传输速度有待提升。
技术实现思路
1、本专利技术的主要目的是提供一种提高网络分布式文件系统传输效率的方法及系统，旨在解决现有的网络分布式文件系统在响应客户端的数据请求而将数据传输至客户端的过程耗时较长，整体传输速度有待提升的问题。
2、本专利技术提出的技术方案为：
3、一种提高网络分布式文件系统传输效率的方法，应用于提高网络分布式文件系统传输效率的系统；服务器包括处理模块、内存单元、存储模块和网卡模块；内存单元、存储模块和网卡模块均通信连接于处理模块；客户
4、处理模块于内核空间中建立独立的共享空间；
5、当处理模块通过网卡模块获取到来自客户端的数据读取请求指令时，将数据读取请求指令对应的数据标记为第一目标数据，并将发送数据读取请求指令的客户端标记为目标端；
6、处理模块将存储模块内的第一目标数据写入共享空间；
7、处理模块将共享空间内的第一目标数据发送至网卡模块的缓存空间；
8、处理模块基于第一目标数据的大小确定第一目标数据对应的网卡队列；
9、网卡模块中的网卡队列将对应的第一目标数据发送至目标端。
10、优选的，所述处理模块基于第一目标数据的大小确定第一目标数据对应的网卡队列，包括：
11、处理模块将至少1个网卡队列标记为第一网卡队列，并将除第一网卡队列之外的其他网卡队列标记为第二网卡队列；
12、处理模块判断第一目标数据的大小是否大于预设值；
13、若是，处理模块将第一网卡队列作为第一目标数据对应的网卡队列；
14、若否，处理模块将第二网卡队列作为第一目标数据对应的网卡队列。
15、优选的，存储模块存储有历史传输日志，历史传输日志包括过去预设时间段内服务器每次发送至客户端的数据大小；所述处理模块将至少1个网卡队列标记为第一网卡队列，并将除第一网卡队列之外的其他网卡队列标记为第二网卡队列，包括：
16、处理模块基于历史传输日志得到在过去预设时间段内服务器将数据发送至客户端的总次数，以及在过去预设时间段内服务器发送至客户端的数据大小大于预设值的次数，并标记为目标次数；
17、处理模块基于目标次数、总次数和网卡队列的总数量得到目标数量：
18、，
19、式中，为目标数量，为总次数；为目标次数；为网卡队列的总数量；
20、处理模块将目标数量的网卡队列标记为第一网卡队列，并将除第一网卡队列之外的其他网卡队列标记为第二网卡队列。
21、优选的，所述处理模块基于第一目标数据的大小确定第一目标数据对应的网卡队列，之后还包括：
22、处理模块判断网卡模块当前是否存在空闲的第二网卡队列；
23、若存在，处理模块判断第一目标数据对应的网卡队列是否为第一网卡队列；
24、若是，处理模块将第一目标数据对应的网卡队列更改为空闲的第二网卡队列，并通过空闲的第二网卡队列将第一目标数据发送至目标端；
25、若不存在，执行所述网卡模块中的网卡队列将对应的第一目标数据发送至目标端的步骤。
26、优选的，存储模块包括多个均通信连接于处理模块的存储单元；所述方法，还包括：
27、处理模块通过网卡模块获取到来自客户端的数据存储请求指令时，将数据存储请求指令对应的数据标记为第二目标数据；
28、处理模块判断是否存在剩余空间大于第二目标数据的大小的存储单元；
29、若是，处理模块将剩余空间大于第二目标数据的大小的存储单元标记为第一目标单元；
30、处理模块将第二目标数据整体存储至第一目标单元。
31、优选的，所述处理模块将第二目标数据整体存储至第一目标单元，包括：
32、处理模块获取各第一目标单元中存储的文件数量，以及各第一目标单元的已占用空间量；
33、处理模块基于各第一目标单元中已存储的文件数量，以及各第一目标单元的已占用空间量计算得到各第一目标单元对应的平均文件大小：
34、，
35、式中，为第i个第一目标单元对应的平均文件大小，1≤i≤n，n为第一目标单元的总数量；为第i个第一目标单元对应的已占用空间量；为第i个第一目标单元中已存储的文件数量；
36、处理模块获取第二目标数据的文件数量和第二目标数据的大小，并基于第二目标数据的文件数量、第二目标数据的大小，以及各第一目标单元对应的平均文件大小确定用于存储第二目标数据的第一目标单元，并标记为第二目标单元；
37、处理模块将第二目标数据存储至对应的第二目标单元。
38、优选的，所述处理模块获取第二目标数据的文件数量和第二目标数据的大小，并基于第二目标数据的文件数量、第二目标数据的大小，以及各第一目标单元对应的平均文件大小确定用于存储第二目标数据的第一目标单元，并标记为第二目标单元，包括：
39、处理模块基于各第一目标单元对应的平均文件大小计算当前的整体平均文件大小：
40、，
41、式中，为当前的整体平均文件大小；
42、处理模块基于第二目标数据的文件数量、第二目标数据的大小、各第一目标单元中已存储的文件数量、各第一目标单元的已占用空间量，以及当前的整体平均文件大小计算当第二目标数据分别存入各第一目标单元时，各第一目标单元对应的数据存入影响值：
43、，
44、式中，为当第二目标数据存入第i个第一目标单元时，第i个第一目标单元对应的数据存入影响值；为第二目标数据的文件数量，为第二目标数据的大小；
45、处理模块将数据存入影响值最小的第一目标单元确定为用于存储第二目标数据的第一目标单元，并标记为第二目标单元。
46、优选的，还包括：
47、处理模块获取各第一目标单元中已存储本文档来自技高网...
【技术保护点】
1.一种提高网络分布式文件系统传输效率的方法，其特征在于，应用于提高网络分布式文件系统传输效率的系统；所述系统包括服务器和客户端；服务器包括处理模块、内存单元、存储模块和网卡模块；内存单元、存储模块和网卡模块均通信连接于处理模块；客户端通过网卡模块通信连接于服务器；内存单元包括内核空间；网卡模块包括多个网卡队列；存储模块包括多个均通信连接于处理模块的存储单元；所述方法，包括：
2.根据权利要求1所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，所述处理模块基于第一目标数据的大小确定第一目标数据对应的网卡队列，包括：
3.根据权利要求2所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，存储模块存储有历史传输日志，历史传输日志包括过去预设时间段内服务器每次发送至客户端的数据大小；所述处理模块将至少1个网卡队列标记为第一网卡队列，并将除第一网卡队列之外的其他网卡队列标记为第二网卡队列，包括：
4.根据权利要求3所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，所述处理模块基于第一目标数据的大小确定第一目标数据对应的网卡队
5.根据权利要求1所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，所述处理模块将第二目标数据整体存储至第一目标单元，包括：
6.根据权利要求5所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，所述处理模块获取第二目标数据的文件数量和第二目标数据的大小，并基于第二目标数据的文件数量、第二目标数据的大小，以及各第一目标单元对应的平均文件大小确定用于存储第二目标数据的第一目标单元，并标记为第二目标单元，包括：
7.根据权利要求1所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，还包括：
8.根据权利要求7所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，还包括：
9.一种提高网络分布式文件系统传输效率的系统，其特征在于，应用如权利要求1-8中任一项所述的提高网络分布式文件系统传输效率的方法；所述系统包括服务器和客户端；服务器包括处理模块、内存单元、存储模块和网卡模块；内存单元、存储模块和网卡模块均通信连接于处理模块；客户端通过网卡模块通信连接于服务器；内存单元包括内核空间；网卡模块包括多个网卡队列。
...【技术特征摘要】
1.一种提高网络分布式文件系统传输效率的方法，其特征在于，应用于提高网络分布式文件系统传输效率的系统；所述系统包括服务器和客户端；服务器包括处理模块、内存单元、存储模块和网卡模块；内存单元、存储模块和网卡模块均通信连接于处理模块；客户端通过网卡模块通信连接于服务器；内存单元包括内核空间；网卡模块包括多个网卡队列；存储模块包括多个均通信连接于处理模块的存储单元；所述方法，包括：
2.根据权利要求1所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，所述处理模块基于第一目标数据的大小确定第一目标数据对应的网卡队列，包括：
3.根据权利要求2所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，存储模块存储有历史传输日志，历史传输日志包括过去预设时间段内服务器每次发送至客户端的数据大小；所述处理模块将至少1个网卡队列标记为第一网卡队列，并将除第一网卡队列之外的其他网卡队列标记为第二网卡队列，包括：
4.根据权利要求3所述的一种提高网络分布式文件系统传输效率的方法，其特征在于，所述处理模块基于第一目标数据的大小确定第一目标数据对应的网卡队列，之后还包括：...
【专利技术属性】
技术研发人员：张自成，陈志明，钱志彪，
申请(专利权)人：湖南博匠信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。