本申请公开了一种基于分布式存储系统的参数调优方法、装置、设备及介质，该方法包括：获取分布式存储系统中进程对应的日志文件，并利用日志文件确定分布式存储系统中整条带刷新情况与系统读写性能情况，以确定分布式存储系统的业务应用模型，根据业务应用模型展开分析处理以得到性能参数模型与包含目标参数的参数配置列表，利用性能参数模型对目标参数进行随机取值，以生成不同的参数配置组合，利用参数配置组合对分布式存储系统进行性能测试，以得到对应的系统每秒进行读写操作的次数，基于系统每秒进行读写操作的次数并利用预设配置选择方法确定分布式存储系统的最优参数配置。本方法提升了参数调优效率，减少了系统资源的占用与运维成本。源的占用与运维成本。源的占用与运维成本。
【技术实现步骤摘要】
基于分布式存储系统的参数调优方法、装置、设备及介质
[0001]本专利技术涉及分布式存储领域，特别涉及一种基于分布式存储系统的参数调优方法、装置、设备及介质。
技术介绍
[0002]目前，分布式存储系统已经普遍应用于生成环境中，具有高扩展性，高可用性，高可靠性的特点，与此同时，分布式对象存储系统能够应用于多种场景，在商业化模式的推动下，对分布式存储系统的性能要求越来越高。
[0003]一般情况下，选取最佳的分布式存储系统配置参数值，需要对每个模块进行全面、深入的理解和测试验证，提高存储性能的同时也需要保证存储系统的稳定性、可靠性，但由于分布式存储系统参数繁多，模块间交互同步相互影响，采用手动调优并分组测试的方法，将消耗费大量人力时间成本，整个参数调优过程效率较低。
[0004]由上可见，在分布式存储系统参数调优过程中，如何避免出现由于传统手工调优方法导致调优过程效率较低的情况是本领域有待解决的问题。
技术实现思路
[0005]有鉴于此，本专利技术的目的在于提供一种基于分布式存储系统的参数调优方法、装置、设备及介质，能够提升参数调优效率，减少系统资源的占用和测试验证时间，进而减少运维成本。其具体方案如下：
[0006]第一方面，本申请公开了一种基于分布式存储系统的参数调优方法，包括：
[0007]获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型；
[0008]根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；
[0009]利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；
[0010]利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；
[0011]基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
[0012]可选的，所述获取分布式存储系统中进程对应的日志文件，包括：
[0013]通过预设脚本程序获取套接字文件，并从所述套接字文件中提取进程信息；
[0014]确定所述进程信息对应的目标进程，并利用所述目标进程对objectcacher层进行日志收集，以获取与所述目标进程对应的日志文件。
[0015]可选的，所述利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，包括：
[0016]根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率；
[0017]确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
[0018]可选的，所述根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率，包括：
[0019]根据所述日志文件确定所述分布式存储系统中的条带参数，并确定系统的默认条带宽度；
[0020]利用所述条带参数对所述默认条带宽度进行取余操作；
[0021]若所述取余操作的结果为0，则判定相应的刷新类型为整条带刷新；
[0022]若所述取余操作的结果不为0，则判定相应的刷新类型为非整条带刷新；
[0023]基于所述整条带刷新与所述非整条带刷新确定整条带刷新率。
[0024]可选的，所述确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况，包括：
[0025]对所述日志文件进行关键字过滤，并将每个写入对象的大小与预设默认对象大小进行与运算；
[0026]若与运算结果不为0，则获取当前的追加写次数，并统计缓存命中次数与缓存未命次数，然后基于所述缓存命中次数与所述缓存未命次数确定相应的缓存命中率；
[0027]根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。
[0028]可选的，所述基于分布式存储系统的参数调优方法，还包括：
[0029]查询数据存入各对象存储设备的数据落盘耗时和写入日志耗时，并基于所述数据落盘耗时和所述写入日志耗时确定各所述对象存储设备的性能情况；
[0030]确定所述对象存储设备的性能情况中满足预设耗时规则的目标对象存储设备，并对所述目标对象存储设备进行日志统计，以获取与所述目标对象存储设备对应的读写延迟信息与索引节点；
[0031]利用所述索引节点确定客户端数据的目标路径，并基于所述目标路径进行存储池的绑定。
[0032]可选的，所述基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置，包括：
[0033]根据所述业务应用模型确定参数权重组合，并基于所述参数权重组合确定配置选择方法；
[0034]基于不同的参数配置组合所对应的系统每秒进行读写操作的次数，并利用所述配置选择方法进行参数的自动迭代，以确定所述分布式存储系统的最优参数配置。
[0035]第二方面，本申请公开了一种基于分布式存储系统的参数调优装置，包括：
[0036]应用模型确定模块，用于获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述
分布式存储系统对应的业务应用模型；
[0037]参数模型确定模块，用于根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；
[0038]参数取值模块，用于利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；
[0039]性能测试模块，用于利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；
[0040]最优配置确定模块，用于基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。
[0041]第三方面，本申请公开了一种电子设备，包括：
[0042]存储器，用于保存计算机程序；
[0043]处理器，用于执行所述计算机程序，以实现前述的基于分布式存储系统的参数调优方法。
[0044]第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于分布式存储系统的参数调本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于分布式存储系统的参数调优方法，其特征在于，包括：获取分布式存储系统中进程对应的日志文件，并利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，以确定所述分布式存储系统对应的业务应用模型；根据所述业务应用模型展开相应的分析处理以得到相应的性能参数模型，并确定包含目标参数的参数配置列表；所述目标参数为对所述分布式存储系统具有性能影响的参数；利用所述性能参数模型对所述参数配置列表中的所述目标参数进行随机取值，以生成不同的参数配置组合；利用所述参数配置组合对所述分布式存储系统进行性能测试，以得到不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数；基于不同的所述参数配置组合分别对应的系统每秒进行读写操作的次数，并利用预设的基于参数权重的配置选择方法确定所述分布式存储系统的最优参数配置。2.根据权利要求1所述的基于分布式存储系统的参数调优方法，其特征在于，所述获取分布式存储系统中进程对应的日志文件，包括：通过预设脚本程序获取套接字文件，并从所述套接字文件中提取进程信息；确定所述进程信息对应的目标进程，并利用所述目标进程对objectcacher层进行日志收集，以获取与所述目标进程对应的日志文件。3.根据权利要求1所述的基于分布式存储系统的参数调优方法，其特征在于，所述利用所述日志文件确定所述分布式存储系统中整条带刷新情况与系统读写性能情况，包括：根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率；确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况。4.根据权利要求3所述的基于分布式存储系统的参数调优方法，其特征在于，所述根据所述日志文件确定所述分布式存储系统中的条带参数，并利用所述条带参数以及预设条带刷新规则确定整条带刷新率，包括：根据所述日志文件确定所述分布式存储系统中的条带参数，并确定系统的默认条带宽度；利用所述条带参数对所述默认条带宽度进行取余操作；若所述取余操作的结果为0，则判定相应的刷新类型为整条带刷新；若所述取余操作的结果不为0，则判定相应的刷新类型为非整条带刷新；基于所述整条带刷新与所述非整条带刷新确定整条带刷新率。5.根据权利要求3所述的基于分布式存储系统的参数调优方法，其特征在于，所述确定所述日志文件的追加写次数与缓存命中率，并根据所述追加写次数与所述缓存命中率确定当前的系统读写性能情况，包括：对所述日志文件进行关键字过滤，并将每个写入对象的大小与预设默认对象大小进行与运算；若与运算结果不为0，则获取当前的追加写次数，并统计缓存命中...
【专利技术属性】
技术研发人员：臧林劼，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。