基于捎带技术的分布式存储系统的文件写入方法及装置制造方法及图纸

技术编号：40425004 阅读：12 留言：0更新日期：2024-02-20 22:45

本发明专利技术公开了一种基于捎带技术的分布式存储系统的文件写入方法及装置，该方法先向存储服务器发送文件写入请求，然后根据待写入文件的存储分布信息对待写入的文件进行组织获得消息头，再检查对端存储服务器的状态并连接对端存储服务器，然后对比消息头和待写入文件的长度和与分布式文件存储系统的单次通信最大数据长度，若消息头和待写入文件的长度和小于等于单次通信最大数据长度，将待写入文件与消息头合并获得捎带待写入数据的消息头，接着将捎带待写入数据的消息头发送至对端存储服务器，最后接收对端服务器的存储响应信息后清理捎带待写入数据的消息头占用的内存资源，文件写入完成。本发明专利技术具有通信步骤少和系统调用次数少的特点。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及计算机存储，特别是涉及一种基于捎带技术的分布式存储系统的文件写入方法及装置。

技术介绍

1、随着海量计算时代的到来，大数据、人工智能、机器学习和5g等业务应用对海量存储的需求越来越高，不仅包括海量的存储空间需求，也对存储性能提出更高的要求。海量的数据对存储的要求已经远远超出了传统的存储系统所能承受的范围，单机的存储不能提供大的数据存储能力，所以存储系统正在向着大规模、分布式、虚拟化方向发展。

2、分布式存储系统是一种将数据分散存储在多个计算机节点上的系统。传统的集中式存储系统中，数据通常存储写入在单个中心服务器上，而分布式存储系统通过将数据分割成小块，并将这些块分散存储在多个节点存储服务器上，以实现更高的可扩展性和可靠性等性能的文件写入。

3、但是，现有的分布式存储系统在文件写入的过程中，消息头准备完成后，客户端需要进行先发送消息头，然后发送数据，再进行接收对端存储服务器的消息头和数据等步骤实现数据写入，这种分布式存储系统文件写入的方法通信步骤较多，数据通信效率低，特别是对于小io文件来言，该方法涉及的系统调用较多，系统开销大。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于捎带技术的分布式存储系统的文件写入方法，能够减少在分布式存储系统写入的通信步骤，并且对于小io文件的写入，系统调用次数少，能够减少系统开销。

2、第一方面，本专利技术提供了一种基于捎带技术的分布式存储系统的文件写入方法，应用于客户端，方法包括：</p>

3、向存储服务器发送文件写入请求；

4、根据待写入文件的存储分布信息对待写入的文件进行组织获得消息头；

5、检查对端存储服务器的状态并连接对端存储服务器；

6、对比消息头和待写入文件的长度和与分布式文件存储系统的单次通信最大数据长度，若消息头和待写入文件的长度和小于等于分布式文件存储系统的单次通信最大数据长度，将待写入文件与消息头合并获得捎带待写入数据的消息头；

7、将捎带待写入数据的消息头发送至对端存储服务器；

8、接收对端服务器的存储响应信息后清理捎带待写入数据的消息头占用的内存资源，文件写入完成。

9、在其中一个实施例中，客户端根据待写入文件的存储分布信息对待写入的文件进行组织为客户端将存储服务器的id以及对应的待写入文件的长度进行聚拢构造消息头。

10、在其中一个实施例中，存储分布信息包括待写入文件对应的存储服务器的ip地址和端口号。

11、在其中一个实施例中，对端服务器的存储响应信息包括对端服务器的响应消息头和响应数据。

12、第二方面，本专利技术还提供了一种基于捎带技术的分布式存储系统的文件写入装置，装置包括：

13、请求模块，用于向存储服务器发送文件写入请求；

14、组织模块，用于根据待写入文件的存储分布信息对待写入的文件进行组织获得消息头；

15、连接模块，用于检查对端存储服务器的状态并连接对端存储服务器；

16、对比模块，用于对比消息头和待写入文件的长度和与分布式文件存储系统的单次通信最大数据长度，若消息头和待写入文件的长度和小于等于分布式文件存储系统的单次通信最大数据长度，将待写入文件与消息头合并获得捎带待写入数据的消息头；

17、发送模块，用于将捎带待写入数据的消息头发送至对端存储服务器；

18、接受模块，用于接收对端服务器的存储响应信息后清理捎带待写入数据的消息头占用的内存资源，文件写入完成。

19、本专利技术的有益效果是：本专利技术利用捎带技术，在消息头和待写入文件的长度和小于等于分布式文件存储系统的单次通信最大数据长度时，通过在客户端和存储服务器的网络传输过程中，将待写入文件与消息头合并获得捎带待写入数据的消息头发送至存储服务器，不用在发送消息头后再发送待写入数据，减少了分布式存储系统文件写入的通信步骤，特别是对于小io文件的写入，减少了系统调用的次数，降低了系统开销，且最大程度利用了信道资源，提升了客户端和存储服务器的通信效率。

本文档来自技高网...

【技术保护点】

1.一种基于捎带技术的分布式存储系统的文件写入方法，其特征在于，应用于客户端，所述方法包括：

2.根据权利要求1所述的基于捎带技术的分布式存储系统的文件写入方法，其特征在于，客户端根据待写入文件的存储分布信息对待写入的文件进行组织为客户端将存储服务器的ID以及对应的待写入文件的长度进行聚拢构造消息头。

3.根据权利要求2所述的基于捎带技术的分布式存储系统的文件写入方法，其特征在于，所述存储分布信息包括待写入文件对应的存储服务器的IP地址和端口号。

4.根据权利要求3所述的基于捎带技术的分布式存储系统的文件写入方法，其特征在于，所述对端服务器的存储响应信息包括对端服务器的响应消息头和响应数据。

5.一种基于捎带技术的分布式存储系统的文件写入装置，其特征在于，所述装置包括：

【技术特征摘要】

1.一种基于捎带技术的分布式存储系统的文件写入方法，其特征在于，应用于客户端，所述方法包括：

2.根据权利要求1所述的基于捎带技术的分布式存储系统的文件写入方法，其特征在于，客户端根据待写入文件的存储分布信息对待写入的文件进行组织为客户端将存储服务器的id以及对应的待写入文件的长度进行聚拢构造消息头。

3.根据权利要求2所述的基于捎带技术...

【专利技术属性】
技术研发人员：范园利，许明明，孙铁，
申请(专利权)人：西安奥卡云数据科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人