一种分布式文件系统数据存储布局的方法技术方案

本发明专利技术涉及一种分布式文件系统的数据存储布局的方法，该方法包括：将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，这样做之后对于小文件其均不超过第一段的大小，用副本方式即省空间又可以减少计算量，可以做到小文件的快速存储，而对于大文件，之后的段均为节点间raid的方式存储，可以节省大量的存储空间。本发明专利技术通过对文件不同长度的区间按不同方式存储数据，在未知文件大小的情况下，解决了不同大小文件对文件系统的不同要求，既满足了小文件的高性能，又满足了大文件的高空间利用率。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种分布式文件系统的数据存储布局的方法，该方法包括：将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，这样做之后对于小文件其均不超过第一段的大小，用副本方式即省空间又可以减少计算量，可以做到小文件的快速存储，而对于大文件，之后的段均为节点间raid的方式存储，可以节省大量的存储空间。本专利技术通过对文件不同长度的区间按不同方式存储数据，在未知文件大小的情况下，解决了不同大小文件对文件系统的不同要求，既满足了小文件的高性能，又满足了大文件的高空间利用率。【专利说明】
本专利技术涉及计算机领域，具体涉及。
技术介绍
分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件数据的访问接口制定，元数据服务器处理文件的布局及属性，数据服务器存储文件的数据内容。对于分布式文件系统，如何组织文件数据的存储形式，直接决定了系统的磁盘利用率和整系统的性能，目前主流的两种存储形式是副本和节点间raid的方式，但是这两种方式对于不同的文件各有利弊，副本方式对于大文件磁盘利用率太低，节点间raid对于小文件，由于需要额外的计算，因此性能比副本的低。针对以上的弊端，传统的方式是建立大文件和小文件的命名空间，对小文件的命名空间用副本方式，对大文件的命名空间用节点间raid方式，让应用根据自身的需求选择不同的命名空间，但由于大多数应用在写入文件前是不知道其会有多大的，因此选择命名合适空间本身就不容易做到。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供，本专利技术通过对文件不同长度的区间按不同方式存储数据，在未知文件大小的情况下，解决了不同大小文件对文件系统的不同要求，既满足了小文件的高性能，又满足了大文件的高空间利用率。本专利技术的目的是采用下述技术方案实现的:本专利技术提供，其改进之处在于，所述方法包括:将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，对于小文件的大小均不超过第一段的大小，对于大文件，除第一段之后的段均为节点间raid的方式存储；所述方法包括下述步骤:(I)客户端创建文件时，元数据服务器先创建出第一个段的副本数据布局及元数据信息；(2)当客户端写入的文件大小小于IM时数据存储到第一个段内，超过IM的部分需要先向元数据服务器发起第二个段的创建请求；(3)元数据服务器发现非第一个段的创建，则创建一个节点间raid的副本数据布局模式，返回给客户端成功；(4)客户端继续将数据写入节点间raid的布局对象中。进一步地，文件按长度区间分为不同的段，每个段的大小，根据文件系统应用对小文件的长度定义来确定。进一步地，所述小文件为小于IM的文件，所述大文件为大于IM的文件。与现有技术比，本专利技术达到的有益效果是:本专利技术提供的分布式文件系统数据存储布局的方法，将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，这样做之后对于小文件其均不超过第一段的大小，用副本方式即省空间又可以减少计算量，可以做到小文件的快速存储，而对于大文件，之后的段均为节点间raid的方式存储，可以节省大量的存储空间，解决了不同大小文件对文件系统的不同要求，既满足了小文件的高性能，又满足了大文件的高空间利用率。【专利附图】【附图说明】图1是本专利技术提供的将文件按长度区间分为不同的段的示意图。【具体实施方式】下面结合附图对本专利技术的【具体实施方式】作进一步的详细说明。本专利技术提供的分布式文件系统数据存储布局的方法，将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，这样做之后对于小文件其均不超过第一段的大小，用副本方式即省空间又可以减少计算量，可以做到小文件的快速存储，而对于大文件，之后的段均为节点间raid的方式存储，可以节省大量的存储空间，将文件按长度区间分为不同的段的示意图如图1所示。本专利技术提供的分布式文件系统数据存储布局的方法包括:(I)客户端创建文件时，元数据先创建出第一个段的副本数据布局及相关的元数据信息。(2)当客户端写入的文件大小超过第一个段时，向元数据服务器发起第二个段的创建请求，(3)元数据发现是非第一个段的创建，则创建一个节点间raid的数据布局模式，返回成功(4)客户端继续写入的数据写入节点间raid的布局对象中。文件按长度区间分为不同的段，每个段的大小，根据文件系统应用对小文件的长度定义来确定。所述小文件为小于IM的文件，所述大文件为大于IM的文件。最后应当说明的是:以上实施例仅用以说明本专利技术的技术方案而非对其限制，尽管参照上述实施例对本专利技术进行了详细的说明，所属领域的普通技术人员应当理解:依然可以对本专利技术的【具体实施方式】进行修改或者等同替换，而未脱离本专利技术精神和范围的任何修改或者等同替换，其均应涵盖在本专利技术的权利要求范围当中。【权利要求】1.，其特征在于，所述方法包括:将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，对于小文件的大小均不超过第一段的大小，对于大文件，除第一段之后的段均为节点间raid的方式存储； 所述方法包括下述步骤: (1)客户端创建文件时，元数据服务器先创建出第一个段的副本数据布局及元数据信息； (2)当客户端写入的文件大小小于IM时数据存储到第一个段内，超过IM的部分需要先向元数据服务器发起第二个段的创建请求； (3)元数据服务器发现非第一个段的创建，则创建一个节点间raid的副本数据布局模式，返回给客户端成功； (4)客户端继续将数据写入节点间raid的布局对象中。2.如权利要求1所述的方法，其特征在于，文件按长度区间分为不同的段，每个段的大小，根据文件系统应用对小文件的长度定义来确定。3.如权利要求1所述的方法，其特征在于，所述小文件为小于IM的文件，所述大文件为大于IM的文件。【文档编号】G06F17/30GK103761268SQ201410004748【公开日】2014年4月30日 申请日期:2014年1月6日 优先权日:2014年1月6日 【专利技术者】郭照斌, 马振杰, 姜国梁, 季旻, 杨鹏 申请人:无锡城市云计算中心有限公司本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：郭照斌，马振杰，姜国梁，季旻，杨鹏，
申请(专利权)人：无锡城市云计算中心有限公司，
类型：发明
国别省市：