一种基于CRUSH的数据存储优化方法和装置制造方法及图纸

本发明专利技术提供了一种基于CRUSH的数据存储优化方法，包括：根据数据特征对多个目标数据进行分类存储；根据所述目标数据所属的类型，调整CRUSH策略，优化写操作映射关系；根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘；由此，可以实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度的目的。

An Optimized Method and Device for Data Storage Based on CRUSH

The invention provides a CRUSH-based data storage optimization method, which includes: classifying and storing multiple target data according to data characteristics; adjusting CRUSH strategy according to the type of target data, optimizing the mapping relationship of write operation; and according to the adjusted CRUSH strategy and the optimized mapping relationship of write operation, classifying and storing multiple target data according to data characteristics; Multiple target data are stored on the corresponding disk; thus, more balanced data distribution can be achieved, thus reducing the frequent thread switching and memory copy operations in the process of storing objects on client side, thus optimizing I/O operations and greatly improving disk writing speed.

【技术实现步骤摘要】
一种基于CRUSH的数据存储优化方法和装置
本专利技术涉及计算机存储
，尤其涉及一种基于CRUSH的数据存储优化方法和装置。
技术介绍
现如今，移动互联网正处于繁荣鼎盛时期，带动了云计算、物联网(IoT)、人工智能(AI)等新兴产业的飞速发展，随之而来的是海量非结构化数据的产生，且在呈爆炸式增长。例如当前人们经常访问的购物网站、视频网站、以及即时通讯工具等，后端存储上保存了海量的视频、图片资源以及用户的访问记录日志等等。传统的技术解决方案通常是多台服务器通过SAN交换网络同时连接FC光纤存储(共享存储型，而非分布式)，然后对外提供服务。采用传统的技术方案存在多个弊端，如硬件成本费用过高；维护管理多个品牌的SAN存储网络存在困难；硬件存储可能存在单点故障；存储I/O存在瓶颈等。因为终端用户的任意操作均涉及到底部存储的I/O操作，当用户数越来越多，并发越来越大时，I/O操作就会成为整个系统架构中最大的性能瓶颈。如何提供较廉价的超大容量存储，并且要支持高性能、高可用、且横向动态扩展的分布式存储系统是当前亟需解决的问题。Ceph文件系统提供了与POSIX兼容的文件系统服务，基于Ceph对象存储集群之上，其内的文件被映射到Ceph存储集群内的对象。客户端可以把此文件系统挂载在内核对象或用户空间文件系统上。Ceph本地存储接口为了支持事务，引入了日志(Journal)机制。所有的写入操作都需要先记录日志，再写入本地文件系统，然后写PGLog。简单来说就是一份数据都需要写两遍，日志和本地文件系统，然而本地文件系统如ext3/ext4/xfs默认也是都是写日志的。这就导致在大规模连续I/O操作的情况下，实际磁盘I/O显示很高，但性能却表现一般。因为有一半的I/O是在写日志操作。另外，Ceph在写操作过程中存在IO路径冗长的问题，以osd为例，一个I/O需要经过消息队列、OSDs、FileJournal、本地存储接口多个模块才能完成，每个模块之间都涉及到队列和线程切换，部分模块在对IO进行处理时还要进行内存拷贝，导致整体性能不高。
技术实现思路
本专利技术针对现有的基于Ceph分布式存储需频繁记录日志以及crush算法策略导致磁盘I/O利用率较低的缺陷，提供一种基于CRUSH的数据存储优化方法和装置，实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度的目的。一方面，本专利技术实施例提供一种基于CRUSH的数据存储优化方法，包括以下步骤：根据数据特征对多个目标数据进行分类存储；根据所述目标数据所属的类型，调整CRUSH策略；根据所述目标数据所属的类型，优化写操作映射关系；根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。在本专利技术的基于CRUSH的数据存储优化方法中，在根据数据特征对多个目标数据进行分类存储的所述步骤中，如果所述目标数据为对事务有强一致性要求的数据，则将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则将所述目标数据标识为第三类型数据。在本专利技术的基于CRUSH的数据存储优化方法中，在根据所述目标数据所属的类型，优化写操作映射关系的所述步骤中，如果所述目标数据为第一类型数据，则将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则将写操作记录更新到Object上。在本专利技术的基于CRUSH的数据存储优化方法中，在根据所述目标数据所属的类型，调整CRUSH策略的所述步骤中，将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以和重要等级指定副本集个数以及机架位置。相应地，本专利技术还提供一种基于CRUSH的数据存储优化装置，包括：分类模块，用于根据数据特征对多个目标数据进行分类存储；调整模块，用于根据所述目标数据所属的类型，调整CRUSH策略；优化模块，用于根据所述目标数据所属的类型，优化写操作映射关系；存储模块，用于根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。在本专利技术的基于CRUSH的数据存储优化装置中，如果所述目标数据为对事务有强一致性要求的数据，则所述分类模块将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则所述分类模块将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则所述分类模块将所述目标数据标识为第三类型数据。在本专利技术的基于CRUSH的数据存储优化装置中，如果所述目标数据为第一类型数据，则所述优化模块将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则所述优化模块将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则所述优化模块将写操作记录更新到Object上。在本专利技术的基于CRUSH的数据存储优化装置中，所述调整模块将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以和重要等级指定副本集个数以及机架位置。实施本专利技术实施例，具有如下有益效果：本专利技术提供的基于CRUSH的数据存储优化方法根据数据特征对多个目标数据进行分类存储；根据所述目标数据所属的类型，调整CRUSH策略，优化写操作映射关系；根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘；由此，可以实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的基于CRUSH的数据存储优化方法的流程图；图2是本专利技术实施例提供的基于CRUSH的数据存储优化装置的原理图；图3是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式本申请实施例通过提供一种网络连接方法和装置，解决了现有的断网方式操作速度慢，操作步骤繁琐；操作准确率完全依赖人员操作水平；无法使用移动端进行操作的技术问题，实现了对内网业务系统的网络连接控制的自动化，减轻操作人员负担，提高整体效率，适应网络安全的互联网快速准确连接需求。为了使本
的技术人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程本文档来自技高网...

【技术保护点】
1.一种基于CRUSH的数据存储优化方法，其特征在于，包括以下步骤：根据数据特征对多个目标数据进行分类存储；根据所述目标数据所属的类型，调整CRUSH策略；根据所述目标数据所属的类型，优化写操作映射关系；根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。

【技术特征摘要】
1.一种基于CRUSH的数据存储优化方法，其特征在于，包括以下步骤：根据数据特征对多个目标数据进行分类存储；根据所述目标数据所属的类型，调整CRUSH策略；根据所述目标数据所属的类型，优化写操作映射关系；根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。2.根据权利要求1中所述的基于CRUSH的数据存储优化方法，其特征在于，在根据数据特征对多个目标数据进行分类存储的所述步骤中，如果所述目标数据为对事务有强一致性要求的数据，则将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则将所述目标数据标识为第三类型数据。3.根据权利要求2中所述的基于CRUSH的数据存储优化方法，其特征在于，在根据所述目标数据所属的类型，优化写操作映射关系的所述步骤中，如果所述目标数据为第一类型数据，则将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则将写操作记录更新到Object上。4.根据权利要求1中所述的基于CRUSH的数据存储优化方法，其特征在于，在根据所述目标数据所属的类型，调整CRUSH策略的所述步骤中，将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以和重要等级指定...

【专利技术属性】
技术研发人员：陈希，陈俊雄，杨世登，吴志力，
申请(专利权)人：深圳市脉山龙信息技术股份有限公司，
类型：发明
国别省市：广东,44