一种分布式文件系统的单副本高可用方法技术方案

技术编号:39038231 阅读:12 留言:0更新日期:2023-10-10 11:51
本发明专利技术公开了一种分布式文件系统的单副本高可用方法,具体包括以下步骤:S1、用户在客户端创建10个文件file1,file2,...,file10;S2、客户端将file1

【技术实现步骤摘要】
一种分布式文件系统的单副本高可用方法


[0001]本专利技术涉及文件系统
,具体为一种分布式文件系统的单副本高可用方法。

技术介绍

[0002]分布式文件系统,是近年来存储系统发展的一个重要组成部分。而服务高可用,对于存储服务来说尤为重要。传统的单副本模式无法保证高可用。当服务宕机时,存储会中断,直到服务恢复。目前,市面上的存储系统大多采用多副本、EC等数据冗余的方式,来保证服务可用性。
[0003]但目前云存储逐渐兴起,文件系统的数据冗余和云存储本身的数据冗余会相互叠加,会造成存储成本急剧提升。
[0004]本文提供了一种基于IP

SAN存储的方式,来保证文件系统在单副本情况下的服务可用性。

技术实现思路

[0005]针对现有技术的不足,本专利技术提供了一种分布式文件系统的单副本高可用方法,解决了传统存储方案效果不是很好的问题。
[0006]为实现以上目的,本专利技术通过以下技术方案予以实现:一种分布式文件系统的单副本高可用方法,具体包括以下步骤:
[0007]S1、用户在客户端创建10个文件 file1,file2,... ,file10;
[0008]S2、客户端将file1

file10数据发送到存储服务器;
[0009]S3、节点1服务正常时,存储服务器将这些数据文件通过节点1 iscsi挂载磁盘的方式均匀的写入到磁盘1

10中;
[0010]S4、节点1服务故障时,存储服务器将这些数据文件通过节点2 iscsi挂载磁盘的方式均匀的写入到磁盘1

10中;
[0011]S5、用户在客户端读取数据时,比如file1,将读取请求发送到存储服务器;
[0012]S6、节点1正常时,存储服务器通过节点1,从磁盘1读取出来file1文件内容,并返回给客户端;
[0013]S7、节点1故障时,存储服务器通过节点2,从磁盘1读取出来file1文件内容,并返回给客户端。
[0014]优选的,所述S3中,比如file1存放在磁盘1上,file2存放在磁盘2上,以此类推,file10存放在磁盘10上。
[0015]优选的,所述S4中,比如file1存放在磁盘1上,file2存放在磁盘2上,以此类推,file10存放在磁盘10上。
[0016]有益效果
[0017]本专利技术提供了一种分布式文件系统的单副本高可用方法。与现有技术相比具备以
下有益效果:
[0018](1)、该分布式文件系统的单副本高可用方法,降低存储开销,可以更好的适配云原生场景。目前大部分云存储产品都有自己的副本机制,新方案可以有效利用云存储的空间,防止额外的冗余。
[0019](2)、该分布式文件系统的单副本高可用方法,减少写副本带来的性能提升,服务、数据分离,防止服务可靠性影响数据可用性。此外,分离后还可以更灵活的调整存储设备,而不需要调整服务设备。
附图说明
[0020]图1为本专利技术传统方案下单副本模式的架构图;
[0021]图2为本专利技术传统方案下多副本模式的架构图;
[0022]图3为本专利技术方案的架构图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0024]请参阅图1

3,本专利技术提供一种技术方案:一种分布式文件系统的单副本高可用方法,传统存储方案一般有单副本和多副本模式。单副本模式下,用户数据在存储服务端只有一份数据。多副本模式下,用户数据会保留多个副本。以实际场景为例,假如你有10块100G的硬盘,用于存放用户数据,单副本和多副本模式,分别如下:
[0025]单副本模式的架构图如图1所示,单副本模式下,用户数据存取流程为:
[0026]1:用户在客户端创建10个文件 file1,file2,... ,file10 ;
[0027]2:客户端将file1

file10数据发送到存储服务器 ;
[0028]3:存储服务器分别将这些数据文件均匀的存放在各个磁盘上,比如file1存放在磁盘1上,file2存放在磁盘2上,以此类推,file10存放在磁盘10上;
[0029]4:用户在客户端读取数据时(比如file1),将读取请求发送到存储服务器;
[0030]5:存储服务器从磁盘1读取出来文件内容,并返回给客户端。
[0031]单副本模式,10块100G的数据盘都可以用来存储用户数据,空间利用率达到100%。 但是该方案存在严重的缺点:不支持高可用。一旦节点1或者节点2故障(比如断网或者掉电),就会造成磁盘1

5 或磁盘6

10上的文件无法访问。
[0032]多副本模式的架构图如图2所示(以两副本为例)
[0033]图2中,节点1是主节点,节点2是备节点。节点1上的磁盘1

5分别和节点2上的磁盘6

10互为镜像关系,也就是当数据写入磁盘1

5时,同时也会写入同样的数据到磁盘6

10。双副本模式下,用户数据存取流程为:
[0034]1:用户在客户端创建5个文件 file1,file2,... ,file5 ;
[0035]2:客户端将file1

file15数据发送到存储服务器 ;
[0036]3:存储服务器分别将这些数据文件均匀的存放在节点1的各个磁盘上,比如file1
存放在磁盘1上,file2存放在磁盘2上,以此类推,file5存放在磁盘5上。然后把file1

5的数据同步拷贝到节点2的磁盘6

10上。
[0037]4:用户在客户端读取数据时,比如file1,将读取请求发送到存储服务器;
[0038]5:节点1正常时,存储服务器从节点1的磁盘1上读取出来file1的文件内容,并返回给客户端。
[0039]6:节点1故障时,存储服务器从节点2的磁盘6上读取出来file1的文件内容,并返回给客户端。
[0040]该方案,解决了单副本模式的高可用问题,但是也存在另外一个问题:空间利用率低。双副本模式,只有一半的空间可以用来存放用户数据,另一半空间需要用来做备份,空间利用率为50%。并且副本越多,空间浪费越严重, 为了解决单副本不支持高可用,多副本又存在空间浪费的问题。我们提出了本专利,一种基于IP

SAN存储的方式,实现单副本模式下的高可用。
[0041]如图3所示,本方案下,节点1是主节点,节点2是本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统的单副本高可用方法,其特征在于:具体包括以下步骤:S1、用户在客户端创建10个文件file1,file2,...,file10;S2、客户端将file1

file10数据发送到存储服务器;S3、节点1服务正常时,存储服务器将这些数据文件通过节点1iscsi挂载磁盘的方式均匀的写入到磁盘1

10中;S4、节点1服务故障时,存储服务器将这些数据文件通过节点2iscsi挂载磁盘的方式均匀的写入到磁盘1

10中;S5、用户在客户端读取数据时,比如file1,将读取请求发送到...

【专利技术属性】
技术研发人员:杨兴博
申请(专利权)人:北京焱融科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1