一种基于ceph存储提升多种类型数据读写的方法和装置制造方法及图纸

本申请涉及一种基于ceph存储提升多种类型数据读写的方法和装置，该方法包括以下步骤：S1：根据数据结构类型纳入各类磁盘类型，对应部署好ceph，接管各类磁盘统一划分为OSD盘符；S2：在数据上传过程中使用归置算法对数据进行类归置，加速数据归置过程，并对数据进行标签指定，以满足后续pool池类秒级归置；S3：在ceph中划分用于存储各类数据的pool池，并配置节点磁盘写入规则；S4：对存入ceph数据进行持续性归置并进行读写，以对不同数据进行秒级归类。本申请的目的是提供一种基于ceph的分布式存储系统对写入数据进行分类存储，根据不同类型数据划分不同类型磁盘进行数据归类存储，在最大化利用磁盘性能情况下保障数据的高可用性和强一致性。性和强一致性。性和强一致性。

【技术实现步骤摘要】
一种基于ceph存储提升多种类型数据读写的方法和装置


[0001]本申请涉及分布式存储的
，尤其是涉及一种基于ceph存储提升多种类型数据读写的方法和装置。

技术介绍

[0002]随着互联网业务量的增加、访问量和元数据流量的快速增长，分布式系统各个核心部分的处理强度也相对增大，使系统工作负载增大，文件上传至ceph过程中ceph会被分裂成多objects并随机离散进入pgs，pgs则使用crush算法对objects进行标记和计算并生产出pgid，随机之后随机离散仅对应osd，进入osd之后，pool池对文件数据进行归类记录以获取完整文件索引和对应分解日志线条用于数据寻址。
[0003]那么在大量数据离散写入过程中，就会存在大量静态块数据、动态块数据、热静文件数据。在此大量吞吐不同结构类型数据下，如何保证不同类型数据最大化读写性能就成为了ceph分布式存储能力的不足之处，ceph本身是不具备对不同数据进行隔离划分情况，那么解决此问题就可以更大程度上提升ceph整体综合性能。

技术实现思路

[0004]针对上述
技术介绍
中的技术问题，本申请提出了一种基于ceph存储提升多种类型数据读写的方法和装置。
[0005]第一方面，本申请提出了一种基于ceph存储提升多种类型数据读写的方法，包括以下步骤：
[0006]S1：根据数据结构类型纳入各类磁盘类型，对应部署好ceph，接管各类磁盘统一划分为OSD盘符；
[0007]S2：数据上传过程中，对数据属性进行判断，并根据判断结果对数据进行类型划分；在上传过程中使用归置算法对数据进行类归置，加速数据归置过程，并对数据进行标签指定，以满足后续pool池类秒级归置；
[0008]S3：在ceph中划分用于存储各类数据的pool池，并配置节点磁盘写入规则；
[0009]S4：对存入ceph数据进行持续性归置并进行读写，以对不同数据进行秒级归类。
[0010]通过采用上述技术方案，本申请提供一种基于ceph的分布式存储系统对写入数据进行分类存储，根据不同类型数据划分不同类型磁盘进行数据归类存储，在最大化利用磁盘性能情况下保障数据的高可用性和强一致性。
[0011]优选的，在所述S1中，根据数据结构类型纳入三类磁盘类型，分别为HDD、SSD、NAS三类磁盘类型，对应部署好ceph，接管三类磁盘统一划分为OSD盘符。
[0012]优选的，在所述S1中，在单台物理服务器上区分多块磁盘，系统盘使用SSD用于安装Linux操作系统，余下磁盘分别插入HDD、SSD、NAS三类不同磁盘，同等规模下不区分磁盘大小，物理磁盘不做raid，全量方式使用裸盘；之后ceph分布式系统部署接管所有物理服务器裸卷磁盘，标记为(osd.0)...(osd.n)。
[0013]优选的，在所述S2中，所述根据判断结果对数据进行类型划分具体包括：判断结果为静态块数据划分为镜像，判断结果为动态块数据划分为虚拟机，判断结果为热静文件数据划分为文件数据。
[0014]优选的，在所述S2中，所述在上传过程中使用归置算法对数据进行类归置，加速数据归置过程，并对数据进行标签指定具体包括：
[0015]将数据进行核算特征值标记，区分文件数据结构为[0，1，2，3]对应文件不同属性类型，此时，样本数据结构可描述为(0，0)，(1，0)，(2，0)，(3，0)；
[0016]对所有样本点从原来的不可分空间换装到一个新的可分的特种空间，定义一个映射：φ：X
→
φ(X)；此时设定核函数计算结构，定义如下：
[0017]K(X1，X2)＝<φ(X1)，φ(X2)>；
[0018]支持向量机的预测则由支支持向量的内积所决定的，其函数方式则表达为：
[0019][0020]核函数与在映射后的特征空间计算内积是等价的。此种计算可以直接在低维空间计算内积，不需要显示地进行空间映射；
[0021][0022]计算完毕后由函数结构进行统一数据结果进行类别划分，对数据进行类池划分，加速数据归类给ceph并使得ceph可以直接命中其所带属性，高速合并至归置的pool池。
[0023]优选的，在所述S3中，创建Crush
‑
rule规则，归置所有节点磁盘桶，区分不同结构类型磁盘用于不同rule规则；对集群点磁盘桶归置创建完毕后，所有磁盘桶标记归置进rule规则，并设定好对应规则编码，用于后续生产；之后将所有rule规则收纳，整合至crushmap.dump文件，使用crushtool命令将其转码，并重新调配入ceph。
[0024]优选的，在所述S3中，设计pool池副本结构，对所有pool池进行pg_num和pgs_num设定，NUM算法原则为PG_NUM＝(Target PGs per OSD)x(0SD#)x(％Data)/(Size)，replicated副本数据则在保持H.A.(High Availability)下，设计为双副本保持数据可靠性和读写高可用性。
[0025]优选的，在所述S3中，在ceph中划分三种结构pool池分别为，volume、vms、files三类pool池，对应pool池标记为用于存储静态块数据、动态块数据、热静文件数据，并且进行以下rule规则配置：
[0026]配置rule规则归置HDD为rule0，将所有节点HDD盘写入进rule0规则，并配置3副本；
[0027]配置rule规则归置SSD为rule1，将所有节点SSD盘写入进rule1规则，并配置3副本；
[0028]配置rule规则归置NAS为rule2，将所有节点NAS盘写入进rule2规则，并配置3副
本。
[0029]第二方面，本申请还提出了一种基于ceph存储提升多种类型数据读写的装置，其特征在于：所述装置包括：
[0030]ceph部署模块，配置用于根据数据结构类型纳入各类磁盘类型，对应部署好ceph，接管各类磁盘统一划分为OSD盘符；
[0031]数据归类模块，配置用于数据上传过程中，对数据属性进行判断，并根据判断结果对数据进行类型划分；在上传过程中使用归置算法对数据进行类归置，加速数据归置过程，并对数据进行标签指定，以满足后续pool池类秒级归置；
[0032]磁盘写入规则配置模块，配置用于在ceph中划分用于存储各类数据的pool池，并配置节点磁盘写入规则；
[0033]持续性归置模块，配置用于对存入ceph数据进行持续性归置并进行读写，以对不同数据进行秒级归类。
[0034]第三方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
[0035]本申请涉及一种基于ceph存储提升多种类型数据读写的方法和装置，该方法包括以下步骤：S1：根据数据结构类型纳入各类磁盘类型，对应部署好ceph，接管各类磁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ceph存储提升多种类型数据读写的方法，其特征在于：所述方法包括以下步骤：S1：根据数据结构类型纳入各类磁盘类型，对应部署好ceph，接管各类磁盘统一划分为OSD盘符；S2：数据上传过程中，对数据属性进行判断，并根据判断结果对数据进行类型划分；在上传过程中使用归置算法对数据进行类归置，加速数据归置过程，并对数据进行标签指定，以满足后续pool池类秒级归置；S3：在ceph中划分用于存储各类数据的pool池，并配置节点磁盘写入规则；S4：对存入ceph数据进行持续性归置并进行读写，以对不同数据进行秒级归类。2.根据权利要求1所述的一种基于ceph存储提升多种类型数据读写的方法，其特征在于：在所述S1中，根据数据结构类型纳入三类磁盘类型，分别为HDD、SSD、NAS三类磁盘类型，对应部署好ceph，接管三类磁盘统一划分为OSD盘符。3.根据权利要求2所述的一种基于ceph存储提升多种类型数据读写的方法，其特征在于：在所述S1中，在单台物理服务器上区分多块磁盘，系统盘使用SSD用于安装Linux操作系统，余下磁盘分别插入HDD、SSD、NAS三类不同磁盘，同等规模下不区分磁盘大小，物理磁盘不做raid，全量方式使用裸盘；之后ceph分布式系统部署接管所有物理服务器裸卷磁盘，标记为(osd.0)...(osd.n)。4.根据权利要求1所述的一种基于ceph存储提升多种类型数据读写的方法，其特征在于：在所述S2中，所述根据判断结果对数据进行类型划分具体包括：判断结果为静态块数据划分为镜像，判断结果为动态块数据划分为虚拟机，判断结果为热静文件数据划分为文件数据。5.根据权利要求4所述的一种基于ceph存储提升多种类型数据读写的方法，其特征在于：在所述S2中，所述在上传过程中使用归置算法对数据进行类归置，加速数据归置过程，并对数据进行标签指定具体包括：将数据进行核算特征值标记，区分文件数据结构为[0，1,2,3]对应文件不同属性类型，此时，样本数据结构可描述为(0，0)，(1，0)，(2，0)，(3，0)；对所有样本点从原来的不可分空间换装到一个新的可分的特种空间，定义一个映射：φ：X
→
φ(X)；此时设定核函数计算结构，定义如下：K(X1,X2)＝＜φ(X1)，φ(X2)＞；支持向量机的预测则由支支持向量的内积所决定的，其函数方式则表达为：核函数与在映射后的特征空间计算内积是等价的，此种计算可以直接在低维空间计算内积，不需要显示地进行空间映射：
计算完毕后由函数结构进行统一数据结果进行类别划分，对数据进行类池划分，加速数据归类给ceph并使得ceph可以直...

【专利技术属性】
技术研发人员：田晋丞，刘琼，姜海昆，范宇，
申请(专利权)人：长扬科技北京股份有限公司，
类型：发明
国别省市：