【技术实现步骤摘要】
本专利技术涉及分布式存储领域，具体涉及存储集群多冗余故障隔离方法、系统、设备及介质。
技术介绍
1、目前，现有的多副本及纠删码数据划分及切片方式主要包括多副本冗余和纠删码冗余。多副本冗余是一种简单有效的数据冗余策略，当数据被写入存储集群时，它会被复制到多个存储设备上，形成多个副本；这些副本可以分布在不同的故障域、机架和节点上，以确保数据的可靠性和高可用性；当请求读取数据时，可以从任何一个副本返回数据。纠删码冗余是通过将原始数据分割成几个数据块，并生成一些冗余数据块，将这些数据块分布到不同的存储设备上，纠删码算法能够通过冗余数据块中的一部分还原丢失或损坏的原始数据。
2、多副本存储空间利用率为1/n，n＝k+m纠删码的空间利用率是k/n，如图2中的5个节点，做3+2纠删码，空间利用率则是3/5。两种存储方式的使用场景不同，多副本方式主要用于生产系统，性能和可靠性要求高；纠删码方式主要用于冷数据存储，例如备份，归档等，对空间利用率高，性能无要求的场景。
3、目前的冗余方案一般使用单节点(绝大多数)或者单机柜作为故障域，如果3个节点集群，纠删码的话最多创建2+1纠删，或者3副本，如果需要创建更高的纠删码ec配比或者更高的副本数，则无法创建，或者创建出来后pg本身就是降级的。
技术实现思路
1、本专利技术的目的是提供一种存储集群多冗余故障隔离方法、系统、设备及介质，本专利技术的存储集群可根据业务实现物理层级的故障域及保护域隔离，提升集群稳定性及数据的可持久性。>
2、为实现上述目的，本专利技术提供的技术方案是：
3、本申请的第一方面提供了一种存储集群多冗余故障隔离方法，将存储集群根据介质类型、节点或槽位分组进行划分，形成使数据资源隔离的多个保护域和/或故障域；所述使数据资源隔离的多个保护域和/或故障域为根据数据资源的不同特性、分级保护或访问控制策略，将不同的数据资源隔离在不同存储池，实现物理层级的保护域和/或故障域的隔离。
4、为优化上述技术方案，所采取的具体措施还包括：
5、所述的将存储集群根据介质类型、节点或槽位分组进行划分为，将存储集群进行横向和纵向综合切分，使存储集群的磁盘拆分为若干磁盘组；根据存储集群隔离出的各存储池中的存储介质种类，通过对应的存储协议接口支持其存储服务承载服务级别协议要求的业务数据。
6、所述的数据资源包括计算资源和存储资源；通过使不同存储池支持不同冗余策略，形成逻辑分区；对不同存储池分别进行备份。
7、所述的将存储集群根据介质类型、节点或槽位分组进行划分，形成多个保护域，包括以下情形中的至少一种：
8、将同一存储集群基于节点划分为几组不同的故障域；
9、将同一存储集群基于节点划分为几组不同的保护域；
10、将同一存储集群基于节点划分为不同的故障域和不同的保护域。
11、所述的根据数据资源的不同特性、分级保护或访问控制策略，将不同的数据资源隔离在不同存储池，包括以下情形中的至少一种：
12、所述的将敏感数据和不敏感数据划分至不同存储池，根据需求应用不同的安全策略和权限控制；
13、将热数据放置在高性能存储设备的存储池，将冷数据迁移到低成本存储设备的存储池，应用不同的存储和网络策略；
14、将具有复杂数据的大规模的文件或系统中的数据划分至不同存储池，对数据进行分层管理及采用不同的数据策略；
15、将具有多单元的数据根据单元划分为不同的保护域，并形成针对每个单元的数据的冗余和备份策略；
16、将不同区域位置的数据划分至不同的存储池，分别进行数据复制和备份。
17、获取不同业务类型及数据；进行数据分类；形成保护域和/或故障域的存储池划分策略；性能压测、有效容量评估；资源池创建；故障分析；故障测试；业务压测；集群创建完成。
18、本申请的第二方面提供了一种存储集群多冗余故障隔离系统，包括：
19、数据获取模块，用于获取不同业务类型及数据的存储集群；
20、存储池划分模块，用于对存储集群划分形成保护域和/或故障域的存储池；划分时将存储集群根据介质类型、节点或槽位分组进行划分，形成使数据资源隔离的多个保护域和/或故障域；所述使数据资源隔离的多个保护域和/或故障域为根据数据资源的不同特性、分级保护或访问控制策略，将不同的数据资源隔离在不同存储池，实现物理层级的保护域和/或故障域的隔离；
21、评估模块，用于对形成的保护域和/或故障域的存储池进行评估。
22、本申请的第三方面提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如上所述的存储集群多冗余故障隔离方法。
23、本申请的第四方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如上所述的存储集群多冗余故障隔离方法。
24、与现有技术相比，本专利技术的有益效果是：
25、本专利技术将存储集群进行横向和纵向综合切分，根据存储集群中的多个节点将磁盘拆分为多个磁盘组，在每个磁盘组上均可创建一个或多个纠删码或副本资源池，即使副本数或者纠删码的m+n>node的个数，依旧可创建出的不同类型的资源池，提升存储集群的sla。
26、本专利技术使得存储集群的管理和维护更加简化，每个故障域和保护域可作为一个单独的管理单元，可以独立配置、监控和维护，降低管理的复杂性，并提供更好的故障排除和调试能力；本专利技术可减少磁盘及服务器故障对存储集群业务的影响，更加有友好的实现数据均衡，减少数据迁移对存储集群所有业务的影响。通过本专利技术的方法可以提高数据的安全性，可以允许有较之前方案故障更多的磁盘或节点。
27、本专利技术的方案具有灵活性和可扩展性，可根据实际需求和环境进行定制化的划分，使得系统能够根据存储规模的变化进行自动扩展，在保证高可用性的同时实现资源的灵活管理和优化。本专利技术可更大限度的容忍各个节点间磁盘介质的区别，比如有的节点配置了ssd，有的节点没有，可以把配置ssd的节点上的ssd划分到一个资源池中等等。
28、本专利技术可根据硬件性能和网络拓扑等因素将数据进行不同的切分以进行系统优化，通过将高性能设备和网络分配给关键业务或热点数据，而将较低性能的设备用于冷数据存储，从而提高整体系统的性能。
29、本专利技术可适用于多种应用场景，公有云或私有云(企业自建云)随着分布式存储集群服务器规模越来越大，越需要更精细、安全的多冗余的存储池故障域隔离策略保证存储提供更高的可靠性、可用性及数据持久性；本专利技术的相关原理和方法也适用于自建分布式存储集群，不仅仅局限于分布式文件系统(ceph)，可用于通用的分布式存储系统。
本文档来自技高网...【技术保护点】
1.一种存储集群多冗余故障隔离方法，其特征在于：将存储集群根据介质类型、节点或槽位分组进行划分，形成使数据资源隔离的多个保护域和/或故障域；所述使数据资源隔离的多个保护域和/或故障域为根据数据资源的不同特性、分级保护或访问控制策略，将不同的数据资源隔离在不同存储池，实现物理层级的保护域和/或故障域的隔离。
2.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于：所述的将存储集群根据介质类型、节点或槽位分组进行划分为，将存储集群进行横向和纵向综合切分，使存储集群的磁盘拆分为若干磁盘组；根据存储集群隔离出的各存储池中的存储介质种类，通过对应的存储协议接口支持其存储服务承载服务级别协议要求的业务数据。
3.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于：所述的数据资源包括计算资源和存储资源；通过使不同存储池支持不同冗余策略，形成逻辑分区；对不同存储池分别进行备份。
4.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于：所述的将存储集群根据介质类型、节点或槽位分组进行划分，形成多个保护域，包括以下情形中的至少一种：将同一存
5.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于：所述的根据数据资源的不同特性、分级保护或访问控制策略，将不同的数据资源隔离在不同存储池，包括以下情形中的至少一种：
6.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于，具体包括以下步骤：
7.权利要求1-6任一项所述方法采用的存储集群多冗余故障隔离系统，其特征在于，包括：
8.根据权利要求7所述的存储集群多冗余故障隔离系统，其特征在于，还包括：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如权利要求1-6任一项所述的存储集群多冗余故障隔离方法。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如权利要求1-6任一项所述的存储集群多冗余故障隔离方法。
...【技术特征摘要】
1.一种存储集群多冗余故障隔离方法，其特征在于：将存储集群根据介质类型、节点或槽位分组进行划分，形成使数据资源隔离的多个保护域和/或故障域；所述使数据资源隔离的多个保护域和/或故障域为根据数据资源的不同特性、分级保护或访问控制策略，将不同的数据资源隔离在不同存储池，实现物理层级的保护域和/或故障域的隔离。
2.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于：所述的将存储集群根据介质类型、节点或槽位分组进行划分为，将存储集群进行横向和纵向综合切分，使存储集群的磁盘拆分为若干磁盘组；根据存储集群隔离出的各存储池中的存储介质种类，通过对应的存储协议接口支持其存储服务承载服务级别协议要求的业务数据。
3.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于：所述的数据资源包括计算资源和存储资源；通过使不同存储池支持不同冗余策略，形成逻辑分区；对不同存储池分别进行备份。
4.根据权利要求1所述的存储集群多冗余故障隔离方法，其特征在于：所述的将存储集群根据介质类型、节点...
【专利技术属性】
技术研发人员：刘飞龙，郭洋，李宏杰，李博奇，杨堃，张磊，朱秀君，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。