【技术实现步骤摘要】
本专利技术属于分布式存储优化，具体涉及通过持久内存设备优化的分布式存储系统系统。
技术介绍
1、分布式存储系统作为一种可靠的解决方案，广泛应用于海量数据存储业务中。ceph分布式存储系统是其中的软件，同时对其的性能要求也日益增长。参数调优作为一种行之有效的性能调优方式，也得到了广泛关注。
2、持久内存是一种具有非易失性特性的内存技术，在断电的情况下能保留数据。利用持久内存，优化数据存储、元数据管理、日志记录等方面，可以显著提升存储系统的性能，尤其是在频繁写入和高i/o负载的场景下，提高存储系统的响应速度和可靠性。
3、持久内存作为一种非易失性存储技术，具有与传统磁盘类似的持久性，同时具备与ram相似的访问速度。它可以被配置为块设备或内存映射设备。在ceph缓存优化场景中，持久内存可以作为一种高效且可靠的存储介质来使用。
4、ceph存储系统一般使用普通hdd机械硬盘进行数据盘构建，存储系统在面临高速数据存储的时候，由于hdd机械硬盘的读写限制，导致ceph在处理大量高速读写取请求时效率低下，即使使用ssd加速，大量的并发读写请求下的情况，仍然存在数据读写的瓶颈问题。
5、ceph存储系统使用ssd作为存储系统的缓存，在面临高速的数据读写处理时，也可能无法满足高速读写要求，同时，在使用缓存设置后，需要进行合理的配置参数优化，才能提升系统整体性能。
技术实现思路
1、为了解决上述问题，本专利技术针对普通hdd硬盘构建的存储系统数据存储性能
2、本专利技术的技术方案为：
3、一种基于持久内存的ceph缓存系统性能优化方法，基于持久内存的ceph存储系统通过参数优化系统调整缓存和持久内存相关参数配置，并通过性能监控反馈性能数据，完成对配置参数的调优，最终获得最优性能参数组合，包括下列步骤：
4、步骤s1、配置持久内存设备；
5、将持久内存设备配置为文件系统模式；使用libpmem库将持久内存设备直接挂载为文件系统；
6、步骤s2、配置ceph osd；
7、在ceph的配置文件中指定持久内存设备作为缓存设备，在ceph.conf中开启相关的缓存选项并保留默认取值；通过ceph命令创建osd并配置缓存层；
8、步骤s3、性能监控并进行采样，生成样本集；
9、在部署后，持续监控ceph的性能指标，记录ceph存储系统缓存方面的相关参数的初始默认取值及该配置下的ceph集群性能指标；具体使用开源的监控和警报工具prometheus对ceph集群各项指标进行采集和监控，通过开源的数据可视化工具grafana连接prometheus数据源，对采集和监控获得的结果进行可视化展示；可展示的监控指标包括ceph集群的状态、读写性能指标、组件数量、pg、osd信息；
10、步骤s4、参数优化系统动态调整；
11、根据参数配置值及对应监控结果构成的样本集，建立遗传算法ga模型，使用遗传算法动态调整缓存大小和其他参数；使用集群管理工具ansible应用遗传算法执行过程中产生的参数配置组合，获得系统负载和iops性能指标，借助遗传算法ga进行调优；
12、步骤s5、测试与验证；
13、在实际部署前，进行详细的性能测试和验证；使用fio工具模拟负载，测试性能瓶颈，验证参数调优效果；
14、打开fio配置文件，设置读写模式rw参数，使用fio./write.fio命令在osd节点上运行fio测试，获得当前ceph系统的iops性能结果，验证调优参数是否有效。
15、进一步的，步骤s3中生成样本集的具体方法为：
16、步骤s3.1、针对基于持久内存的ceph存储系统缓存方面的相关参数，根据其参数类型和取值范围，使用random函数在合理有效范围内随机取值；目标调优参数为：osd_map_cache_size、cache-mode、hit_set_type、hit_set_count、hit_set_period、target_max_bytes、target_max_objects、cache_target_dirty_ratio、cache_target_dirty_high_ratio、cache_target_full_ratio、osd_journal_size、compression_mode；
17、步骤s3.2、对ceph集群应用目标调优参数的默认取值，测试其对应的系统性能，通过监控工具收集性能监控结果iopsi；
18、步骤s3.3、将目标调优参数的参数配置值集合{conf1，conf2，......，conf12}i与相应的性能监控结果iopsi组合，构成一个样本数据项({conf1，conf2，......，conf12}i，iopsi)，通过循环s3.1、s3.2，当收集的样本数据项数量达到预设值时，即形成构建基于持久内存的ceph缓存系统性能调优模型的样本集。
19、进一步的，步骤s3.2中监控工具收集性能监控结果的具体方法为：
20、步骤s3.2.1：在ceph集群中选择一个节点部署ceph mgr管理服务，在该节点启用ceph mgr内置的ceph prometheus模块，成功启用后可通过ceph_exporter的默认监听端口获取ceph集群的性能；
21、步骤s3.2.2：安装并配置s3中的prometheus服务，将其配置为系统服务进行管理，后续该软件可将ceph_exporter端口作为数据源，获取ceph集群的状态和性能监控指标；
22、步骤s3.2.3：修改s3中的prometheus服务的配置文件prometheus.yml，配置数据源，使得prometheus服务能够从ceph_exporter获取监控数据；
23、步骤s3.2.4：安装并配置grafana服务，将其配置为系统服务进行管理；启动后填写s3中的prometheus的访问地址，连接prometheus数据源，即可通过grafana创建仪表盘进行可视化监控；
24、步骤s3.2.5：在当前参数配置下的ceph系统中通过ceph自带的rados bench工具执行压测脚本，通过prometheus和grafana获取当前参数配置组合下ceph集群负载情况和相应iops值。
25、进一步的，步骤s4中建立遗传算法ga模型，使用遗传算法动态调整缓存大小和其他参数的具体方法为：
26、ga通过模拟生物进化的自然选择和繁殖过程，寻找问题的最优解；设种群规模为m，最大迭代次数为t，在基于持久内存的ceph缓存系统参数调优问题中，ceph系统参数配置组合的数量作为种群规模，参数配本文档来自技高网...
【技术保护点】
1.一种基于持久内存的Ceph缓存系统性能优化方法，其特征在于，基于持久内存的Ceph存储系统通过参数优化系统调整缓存和持久内存相关参数配置，并通过性能监控反馈性能数据，完成对配置参数的调优，最终获得最优性能参数组合，包括下列步骤：
2.根据权利要求1所述的基于持久内存的Ceph缓存系统性能优化方法，其特征在于，步骤S3中生成样本集的具体方法为：
3.根据权利要求2所述的基于持久内存的Ceph缓存系统性能优化方法，其特征在于，步骤S3.2中监控工具收集性能监控结果的具体方法为：
4.根据权利要求1所述的基于持久内存的Ceph缓存系统性能优化方法，其特征在于，步骤S4中建立遗传算法GA模型，使用遗传算法动态调整缓存大小和其他参数的具体方法为：
5.根据权利要求4所述的基于持久内存的Ceph缓存系统性能优化方法，其特征在于，GA算法应用于基于持久内存的Ceph缓存系统参数调优的流程的主要步骤包括：
6.根据权利要求1所述的基于持久内存的Ceph缓存系统性能优化方法，其特征在于，步骤S5中的读写模式rw参数可选write顺序写
...【技术特征摘要】
1.一种基于持久内存的ceph缓存系统性能优化方法，其特征在于，基于持久内存的ceph存储系统通过参数优化系统调整缓存和持久内存相关参数配置，并通过性能监控反馈性能数据，完成对配置参数的调优，最终获得最优性能参数组合，包括下列步骤：
2.根据权利要求1所述的基于持久内存的ceph缓存系统性能优化方法，其特征在于，步骤s3中生成样本集的具体方法为：
3.根据权利要求2所述的基于持久内存的ceph缓存系统性能优化方法，其特征在于，步骤s3.2中监控工具收集性能监控结果的具体方法为：
4.根据权利...
【专利技术属性】
技术研发人员：佘平，郎琨，罗琳，袁铭，周方，张慧萍，陆杰，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。