分布式文件系统的数据管理方法和装置制造方法及图纸

本发明专利技术提出了一种分布式文件系统的数据管理方法，该方法包括：接收文件创建请求，获取请求创建的文件信息；根据文件信息确定文件的大小类别；若文件为小文件，则在本地文件系统中为小文件分配空间；若文件为大文件，则将大文件进行拆分，并为拆分后的子文件创建逻辑卷以存储子文件，记录子文件对应的逻辑卷信息，将记录的逻辑卷信息存储到本地文件系统。通过只将小文件数据和大文件的元数据信息存储在本地文件系统，其他文件数据存储在逻辑卷中，这样不仅避免了单个文件突破单个本地文件系统的问题，当需要重启时，由于本地文件系统自检的数据量较小，缩短了校验的时间。

【技术实现步骤摘要】

本专利技术涉及计算机存储
，特别是涉及一种分布式文件系统的数据管理方法和装置。
技术介绍
分布式文件系统(DistributedFileSystem)是指文件系统管理的物理资源不一定直接连接到本地节点上，而是散布在不同的服务器上，通过计算机网络使各服务器互联，共同管理物理资源提供存储服务。分布式文件系统对外提供的是文件系统挂载服务，用户挂载分布式文件系统后，即可访问文件系统中全局的文件，效果等同于访问本地文件系统。分布式文件系统底层采用本地文件系统存放数据文件，如果单个文件太大，将无法存放在某一个磁盘上，即文件大小将受限于本地文件系统的大小。传统的解决方式有两种：1)在客户端对大文件分成固定大小的小文件，然后存放到不同的服务器上；2)在服务端将文件分成固定大小的小文件，存放在本地服务器上的各个本地文件系统中。方式1)由于将大文件分成小文件存放到不同的服务器上，如某一服务器出现故障，则该文件对应的某一区段将无法访问；方式2)由于直接在服务器端内部进行切块，切分的分块存放在本服务器上，文件分布的范围不会扩大，实现简单，但在读写并发上较弱。但是不管采用方式1)还是方式2)，当集群大文件较多，容量使用较满时，本地文件系统相应也较满，如发生掉电重启，本地文件系统进行文件系统校验时间长。
技术实现思路
基于此，有必要针对上述单个文件太大不能存放在某一个磁盘上且重启时进行文件系统校验时间长的问题，提供一种分布式文件系统的数据管理方法和装置。一种分布式文件系统的数据管理方法，该方法包括：接收文件创建请求，获取请求创建的文件信息；根据文件信息确定文件的大小类别；若文件为小文件，则在本地文件系统中为小文件分配空间；若文件为大文件，则将大文件进行拆分，并为拆分后的子文件创建逻辑卷以存储子文件，记录子文件对应的逻辑卷信息，将记录的逻辑卷信息存储到本地文件系统。在其中一个实施例中，根据文件信息确定文件的大小类别的步骤包括：根据文件信息识别文件的格式类型；根据预先建立的格式类型与大小类别之间的对应关系，确定文件的大小类别。在其中一个实施例中，若文件为大文件，则将大文件进行拆分，为拆分后的子文件创建逻辑卷以存储子文件，并记录逻辑卷信息的步骤包括：若文件为大文件，则将大文件按预设的规则进行拆分；为拆分后的子文件分配卷组，并在卷组上为子文件创建逻辑卷以存储子文件，以及记录子文件对应的逻辑卷信息。在其中一个实施例中，为拆分后的子文件分配卷组，并在卷组上为子文件创建逻辑卷以存储子文件，以及记录子文件对应的逻辑卷信息的步骤包括：在本地空间为拆分后的子文件分配卷组，并在卷组上为子文件创建逻辑卷，当本地空间不足时，则通过网络间的进程为子文件进行远程空间的申请，在远程空间分配的卷组上为所述子文件创建逻辑卷，并记录子文件对应的逻辑卷信息。在其中一个实施例中，上述分布式文件系统的数据管理方法包括：接收删除文件的请求；若请求删除的文件为小文件，则直接在本地文件系统中删除对应的文件；若请求删除的文件为大文件，则查询大文件包含的子文件对应的逻辑卷信息，解析逻辑卷信息，根据解析后的逻辑卷信息删除对应的逻辑卷。在其中一个实施例中，上述分布式文件系统的数据管理方法还包括：接收文件写入请求；若请求写入的文件为小文件，则直接将数据写入本地文件系统中对应的文件中；若请求写入的文件为大文件，则查询大文件包含的子文件对应的逻辑卷信息，根据逻辑卷信息和写入的偏移位置，确定与偏移位置对应的逻辑卷，将数据写入到该逻辑卷，并更新本地文件系统中相应的逻辑卷信息。在其中一个实施例中，上述分布式文件系统的数据管理方法还包括：接收文件读取请求；若请求读取的文件为小文件，则直接从本地文件系统中读取对应的文件内容；若请求读取的文件为大文件，则查询大文件包含的子文件对应的逻辑卷信息，根据逻辑卷信息和读取的偏移位置，确定与偏移位置对应的逻辑卷，从逻辑卷中读取相应的文件内容，并更新本地文件系统中相应的逻辑卷信息。一种分布式文件系统的数据管理装置包括：接收模块，用于接收文件创建请求，获取请求创建的文件信息；确定模块，用于根据文件信息确定文件的大小类别；分配模块，用于若文件为小文件，则在本地文件系统中为小文件分配空间，若文件为大文件，则将大文件进行拆分，并为拆分后的子文件创建逻辑卷以存储子文件，记录子文件对应的逻辑卷信息，将记录的逻辑卷信息存储到本地文件系统。在其中一个实施例中，确定模块包括：识别模块，用于根据文件信息识别文件的格式类型；大小确定模块，用于根据预先建立的格式类型与大小类别之间的对应关系，确定文件的大小类别。在其中一个实施例中，分配模块还用于若文件为大文件，则将大文件按预设的规则进行拆分，为拆分后的子文件分配卷组，并在卷组上为子文件创建逻辑卷以存储子文件，以及记录子文件对应的逻辑卷信息。在其中一个实施例中，分配模块还用于在本地空间为拆分后的子文件分配卷组，并在所述卷组上为所述子文件创建逻辑卷，当本地空间不足时，则通过网络间的进程为子文件进行远程空间的申请，在远程空间分配的卷组上为所述子文件创建逻辑卷，并记录子文件对应的逻辑卷信息。在其中一个实施例中，上述分布式文件系统数据管理装置还包括：请求删除模块，用于接收客户端发送的删除文件的请求；删除模块，用于若请求删除的文件为小文件，则直接在本地文件系统中删除对应的文件，若请求删除的文件为大文件，则查询大文件包含的子文件对应的逻辑卷信息，解析逻辑卷信息，根据解析后的逻辑卷信息删除对应的逻辑卷。在其中一个实施例中，上述分布式文件系统数据管理装置还包括：请求写入模块，用于接收文件写入请求；写入模块，用于若请求写入的文件为小文件，则直接将数据写入本地文件系统中对应的文件中，若请求写入的文件为大文件，则查询文件对应的逻辑卷信息，根据逻辑卷信息和写入的偏移位置，确定与偏移位置对应的逻辑卷，将数据写入到逻辑卷，并更新本地文件系统中相应的逻辑卷信息。在其中一个实施例中，上述分布式文件系统的数据管理装置还包括：读取请求模块，用于接收文件读取请求；读取模块，用于若请求读取的文件为小文件，则直接从本地文件系统中读取对应的文件内容，若请求读取的文件为大文件，则查询大文件对应的逻辑卷信息，根据逻辑卷信息和读取的偏移位置，确定与偏移位置对应的逻辑卷，从逻辑卷中读取相应的文件内容，并更新本地文件系统中相应的逻辑卷信息。上述分布式文件系统的数据管理本文档来自技高网...

【技术保护点】
一种分布式文件系统的数据管理方法，其特征在于，所述方法包括：接收文件创建请求，获取请求创建的文件信息；根据所述文件信息确定文件的大小类别；若所述文件为小文件，则在本地文件系统中为所述小文件分配空间；若所述文件为大文件，则将所述大文件进行拆分，并为拆分后的子文件创建逻辑卷以存储所述子文件，记录所述子文件对应的逻辑卷信息，将所述记录的逻辑卷信息存储到本地文件系统。

【技术特征摘要】
1.一种分布式文件系统的数据管理方法，其特征在于，所述方法包括：
接收文件创建请求，获取请求创建的文件信息；
根据所述文件信息确定文件的大小类别；
若所述文件为小文件，则在本地文件系统中为所述小文件分配空间；
若所述文件为大文件，则将所述大文件进行拆分，并为拆分后的子文件创
建逻辑卷以存储所述子文件，记录所述子文件对应的逻辑卷信息，将所述记录
的逻辑卷信息存储到本地文件系统。
2.根据权利要求1所述的方法，其特征在于，所述根据所述文件信息确定
文件的大小类别的步骤包括：
根据所述文件信息识别文件的格式类型；
根据预先建立的格式类型与大小类别之间的对应关系，确定所述文件的大
小类别。
3.根据权利要求1所述的方法，其特征在于，所述若所述文件为大文件，
则将所述大文件进行拆分，为拆分后的子文件创建逻辑卷以存储所述子文件，
并记录所述逻辑卷信息的步骤包括：
若所述文件为大文件，则将所述大文件按预设的规则进行拆分；
为所述拆分后的子文件分配卷组，并在所述卷组上为所述子文件创建逻辑
卷以存储所述子文件，以及记录所述子文件对应的逻辑卷信息。
4.根据权利要求3所述的方法，其特征在于，所述为所述拆分后的子文件
分配卷组，并在所述卷组上为所述子文件创建逻辑卷以存储所述子文件，以及
记录所述子文件对应的逻辑卷信息的步骤包括：
在本地空间为拆分后的子文件分配卷组，并在所述卷组上为所述子文件创
建逻辑卷，当本地空间不足时，则通过网络间的进程为所述子文件进行远程空
间的申请，在远程空间分配的卷组上为所述子文件创建逻辑卷，并记录所述子
文件对应的逻辑卷信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收删除文件的请求；
若请求删除的文件为小文件，则直接在本地文件系统中删除对应的文件；
若请求删除的文件为大文件，则查询所述大文件包含的子文件对应的逻辑
卷信息，解析所述逻辑卷信息，根据解析后的逻辑卷信息删除对应的逻辑卷。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收文件写入请求；
若请求写入的文件为小文件，则直接将数据写入本地文件系统中对应的文
件中；
若请求写入的文件为大文件，则查询所述大文件包含的子文件对应的逻辑
卷信息，根据所述逻辑卷信息和写入的偏移位置，确定与偏移位置对应的逻辑
卷，将数据写入到所述逻辑卷，并更新本地文件系统中相应的逻辑卷信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收文件读取请求；
若请求读取的文件为小文件，则直接从本地文件系统中读取对应的文件内
容；
若请求读取的文件为大文件，则查询所述大文件包含的子文件对应的逻辑
卷信息，根据所述逻辑卷信息和读取的偏移位置，确定与偏移位置对应的逻辑
卷，从所述逻辑卷中读取相...

【专利技术属性】
技术研发人员：蔡俊，
申请(专利权)人：深圳市深信服电子科技有限公司，
类型：发明
国别省市：广东;44