本发明专利技术涉及一种面向云平台的自动优化存储系统配置的方法及系统，以解决现有技术需要用户具有大量关于存储系统配置的先验知识或统计分析数据的工作量很大的问题。该方法包括：获取候选参数；对所述候选参数进行重要性排名；根据重要性排名结果提取重要候选参数，利用所述重要候选参数生成训练数据库；根据所述训练数据库建立预测模型；提取出目标应用程序的负载特征；根据预测模型对所述目标应用程序的负载特征进行处理，生成并输出优化配置参数及各优化配置参数的取值。由于只选取了部分候选参数，且收集的数据集可为所有用户共享，减少了用户训练数据收集的均摊代价。整个优化配置过程自动完成，不需要用户具有大量关于存储系统配置的先验知识。
【技术实现步骤摘要】
本专利技术涉及一种面向云平台的自动优化存储系统配置的方法及系统。
技术介绍
云计算方兴未艾，用户在云平台运行程序的主要模式是按照虚拟机、虚拟块设备 为单位申请释放资源，搭建专用的虚拟集群，在其之上直接部署应用程序。其计价模型一般 是按照资源的实际使用量定期结算，资源包括计算资源、存储资源和网络资源。 云平台从底层设备到上层文件系统参数，用户在虚拟集群中搭建存储系统时均可 根据应用本身特点自行设定，以优化性能或降低总运行成本。相比传统计算资源，云平台的 存储系统参数更多。虚拟化层的存在让各个参数对最终性能的影响更为复杂。在云平台上 对相同应用的固定问题规模，不同存储系统配置具有显著的性能和成本差异。因此在云平 台上对存储系统根据具体应用进行配置，兼具可行性和必要性。 尽管不同云平台具有不同的配置参数，但一般来说均包括：底层存储设备类型和 数目、存储阵列的组成、文件服务器的数目和放置策略、上层文件系统的类型和内置参数 等。这些配置参数的组合中，并没有一个是针对所有应用程序及其问题规模的全局最优配 置。显然，不同的应用程序有不同的输入输出特点即负载特征，需要不同的存储配置进行支 撑。这需要专门针对不同的应用程序，对高性能云平台的存储系统进行配置。特别值得一 提的是，针对应用程序的不同优化目标，配置亦不尽相同，其中优化目标可以为提高性能， 也可以为节约成本。 但是如何在云平台上进行配置是十分具有挑战性的问题。首先，用户需要了解 应用程序的负载特征，然后根据这些负载特征从存储系统的配置空间中选取优化配置。一 般来说，要根据先验知识人工选取配置。这种方法的优点是简单、快速，缺点是用户往往并 不具备了解各配置参数组合和选取优化配置的能力。另外，考虑到云平台的配置空间为所 有用户共享，可以根据测试建立优化配置数据库，共享用户可查询相似负载特征的优化配 置。这种方法的优点是较为准确、节省用户负担，缺点是需要统计分析大量的测试数据，代 价较大，数据前期建立和维护成本较高。
技术实现思路
本专利技术所要解决的技术问题是现有技术需要用户具有大量关于存储系统配置的 先验知识或统计分析数据的工作量很大。 为此目的，本专利技术提出了一种面向云平台的自动优化存储系统配置的方法及系 统。 本专利技术面向云平台的自动优化存储系统配置的方法，包括： 获取候选参数，所述候选参数包括存储系统的配置参数和多个应用程序的负载特 征； 根据用户设定的优化目标对所述候选参数进行重要性排名； 根据重要性排名结果提取重要候选参数，利用所述重要候选参数生成训练数据 库； 根据所述训练数据库建立预测模型； 还包括： 提取出目标应用程序的负载特征； 根据预测模型对所述目标应用程序的负载特征进行处理，生成并输出优化配置参 数及各优化配置参数的取值。 进一步的，所述根据优化目标对所述候选参数进行重要性排名包括：使用PB矩阵 法根据优化目标对所述候选参数进行重要性排名。 进一步的，所述利用所述重要候选参数生成训练数据库，包括： 为所有重要候选参数中的每一配置参数和每一负载特征分别设定多个代表性值， 将各重要候选参数的所有代表性值进行组合，对得到的所有组合中的每一组合执行： 按该组合中的配置参数的代表性值对存储系统进行配置，按该组合中的负载特征 的代表性值对基准测评软件进行设置； 在按照该组合对存储系统和基准测评软件进行设置下，采集所述基准测评软件在 存储系统上运行产生的性能或运行成本数据，将该组合中的配置参数的代表性值、该组合 中的负载特征的代表性值及该性能或运行成本数据作为一组训练数据； 执行完所有的组合后，得到的所有训练数据作为训练数据库。 进一步的，所述训练数据库为共享训练数据库。 进一步的，所述根据所述训练数据库建立预测模型包括：通过机器学习方法根据 所述训练数据库建立预测模型。 更进一步的，所述机器学习方法为基于分类和回归的决策树预测方法或者基于排 名的RankBoost方法。 进一步的，所述提取目标应用程序的负载特征包括：使用插粧法提取目标应用程 序的负载特征。 本专利技术面向云平台的自动优化存储系统配置的系统，包括模型建立模块和处理模 块； 所述模型建立模块包括： 获取候选参数单元，用于获取候选参数，所述候选参数包括存储系统的配置参数 和多个应用程序的负载特征； 重要性排名单元，用于根据用户设定的优化目标对所述候选参数进行重要性排 名； 训练数据库生成单元，用于根据重要性排名结果提取重要候选参数，并利用所述 重要候选参数生成训练数据库； 预测模型形成单元，用于根据所述训练数据库建立预测模型； 所述处理模块包括： 特征提取单元，用于提取出目标应用程序的负载特征； 优化配置获取单元，用于根据预测模型对所述目标应用程序的负载特征进行处 理，生成并输出优化配置参数及各优化配置参数的取值。 进一步的，所述重要性排名单元使用PB矩阵法根据优化目标对所述候选参数进 行重要性排名。 进一步的，所述预测模型形成单元包括： 设定代表性值单元，用于为所有重要候选参数中的每一配置参数和每一负载特征 分别设定多个代表性值； 组合单元，用于将各重要候选参数的所有代表性值进行组合； 配置单元，用于按照所有组合中的每一组合对存储系统和基准测评软件进行设 置，其中按该组合中的配置参数的代表性值对存储系统进行配置，按该组合中的负载特征 的代表性值对基准测评软件进行设置； 数据采集单元，用于在按照每一组合对存储系统和基准测评软件进行设置下，采 集所述基准测评软件在存储系统上运行产生的性能或运行成本数据，将该组合中的配置参 数的代表性值、该组合中的负载特征的代表性值及该性能或运行成本数据作为一组训练数 据；执行完所有的组合后，得到的所有训练数据作为训练数据库。 本专利技术根据候选参数的重要性对候选参数进行评估和精简，利用精简后比较重要 的候选参数生成训练数据，进而建好预测模型。由于只选取了部分候选参数，大大减少了训 练数据收集的代价。而且本专利技术利用建立好的预测模型对优化配置进行预测，整个优化配 置的过程自动完成，不需要用户具有大量关于存储系统配置的先验知识。【附图说明】 通过参考附图会更加清楚的理解本专利技术的特征和当前第1页1 2 3 4 本文档来自技高网...
【技术保护点】
一种面向云平台的自动优化存储系统配置的方法，其特征在于，包括：获取候选参数，所述候选参数包括存储系统的配置参数和多个应用程序的负载特征；根据用户设定的优化目标对所述候选参数进行重要性排名；根据重要性排名结果提取重要候选参数，利用所述重要候选参数生成训练数据库；根据所述训练数据库建立预测模型；还包括：提取出目标应用程序的负载特征；根据预测模型对所述目标应用程序的负载特征进行处理，生成并输出优化配置参数及各优化配置参数的取值。
【技术特征摘要】
【专利技术属性】
技术研发人员：陈文光，翟季冬，刘明亮，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。