一种文件系统架构的性能调整方法和装置制造方法及图纸

本发明专利技术公开了一种文件系统架构的性能调整方法和装置，该方法包括：确定文件系统架构中客户端、对象存储服务器、和存储控制器之间的多个互联网络带宽；确定文件系统架构的整体网络架构和文件系统架构的最大传输带宽；测试单个对象存储目标的读写性能以存储节点输入输出处理能力；判断最大传输带宽与存储节点输入输出处理能力是否匹配以相应增减存储阵列以调整对象存储目标的数量；执行性能基准测试以确定文件系统架构的输入输出读写性能；判断最大传输带宽与输入输出读写性能是否匹配以相应调整对象存储服务器的数量或存储阵列的数量。本发明专利技术能够根据网络异构和多网络并存的实际情况来重新评估和调整以优化文件系统架构的整体性能。

【技术实现步骤摘要】
一种文件系统架构的性能调整方法和装置
本专利技术涉及数据存储领域，更具体地，特别是指一种文件系统架构的性能调整方法和装置。
技术介绍
随着信息化技术的飞速发展，信息系统在各种行业的关键业务中扮演着越来越重要的角色。高性能计算(HPC)在20世纪60年代初首次证明了它对政府和学术研究人员的转型价值。在上世纪70年代末，HPC开始渗透一级商业公司，并迅速成为推动创新、产品设计和复杂业务流程的变革者。HPC使用的并行文件系统架构Lustre是面向集群的存储架构，它是基于Linux平台的开源集群(并行)文件系统提供与POSIX兼容的文件系统接口。Lustre高性能网络设计是基于在服务器、存储设备以及网络技术都比较更新的状态下的设计，但是在很多实际应用当中，并不是所有的服务器、存储设备都支持高速网络。在企业网络、设备利旧使用的场景下，Lustre并行文件系统实际应用中会出现多种网络并存的现象，及网络异构。这使得业务网络(即数据传输网络)中数据传输通道带宽不一致，影响系统整体性能输出。另外Lustre系统性能评估和调优方法，并没有考虑到Lustre文件系统在异构网络下，业务输入输出(IO)在模块间处理流程会有所变化，由于存储控制器并未连接到IO网络中，客户端根据文件布局信息LayoutEA也无法直接从OST访问数据，而是要经过IO节点OSS的转发。因此，在网络不成为性能带宽瓶颈的情况下，扩展存储控制器连接的存储阵列，系统总体带宽能力并得不到提高，也就是不能达到节点间最小网络带宽值。针对现有技术中并行文件系统架构中整体性能输出差、无视网络异构问题影响带宽的问题，目前尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种文件系统架构的性能调整方法和装置，能够根据网络异构和多网络并存的实际情况来重新评估和调整以优化文件系统架构的整体性能，以最大程度的获得接近理论值的输出带宽。基于上述目的，本专利技术实施例的第一方面提供了一种文件系统架构的性能调整方法，包括执行以下步骤：确定文件系统架构中客户端、对象存储服务器、和存储控制器之间分别两两互联的多个互联网络带宽；确定文件系统架构的整体网络架构，并根据多个互联网络带宽和整体网络架构确定文件系统架构的最大传输带宽；通过文件系统架构的接口测试单个对象存储目标的读写性能，以计算文件系统架构的存储节点输入输出处理能力；判断最大传输带宽与存储节点输入输出处理能力是否匹配，并响应于二者不匹配而增减存储阵列以调整对象存储目标的数量从而使二者匹配；在客户端对文件系统架构执行性能基准测试，以确定文件系统架构的输入输出读写性能；判断最大传输带宽与输入输出读写性能是否匹配，并响应于二者不匹配而根据整体网络架构来调整对象存储服务器的数量或存储阵列的数量从而使二者匹配。在一些实施方式中，确定文件系统架构的整体网络架构包括：确定文件系统架构为异构网络或非异构网络；根据多个互联网络带宽和整体网络架构确定文件系统架构的最大传输带宽包括：将异构网络的文件系统架构中多个互联网络带宽中的最小值确定为最大传输带宽，并且将非异构网络的文件系统架构中多个互联网络带宽的统一取值确定为最大传输带宽。在一些实施方式中，计算文件系统架构的存储节点输入输出处理能力包括：将单个对象存储目标的读写性能与文件系统架构中对象存储目标的数量之积确定为存储节点输入输出处理能力；响应于二者不匹配而增减存储阵列以调整对象存储目标的数量包括：响应于最大传输带宽不匹配并且显著大于存储节点输入输出处理能力，而通过增加存储阵列以提高对象存储目标的数量进而提高存储节点输入输出处理能力；并且响应于最大传输带宽不匹配并且显著小于存储节点输入输出处理能力，而通过减少存储阵列以降低对象存储目标的数量进而降低存储节点输入输出处理能力。在一些实施方式中，确定文件系统架构的整体网络架构包括：确定文件系统架构为异构网络或非异构网络；响应于二者不匹配而根据整体网络架构来调整对象存储服务器的数量或存储阵列的数量包括：响应于最大传输带宽不匹配并且显著大于输入输出读写性能，而通过在异构网络的文件系统架构中增加对象存储服务器的数量以提高输入输出读写性能，并且通过在非异构网络的文件系统架构中增加存储控制器和存储阵列以提高输入输出读写性能。在一些实施方式中，调整行为只进行一次、或反复进行多次直到二者匹配为止。本专利技术实施例的第二方面提供了一种文件系统架构的性能调整装置，包括：处理器；和存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：确定文件系统架构中客户端、对象存储服务器、和存储控制器之间分别两两互联的多个互联网络带宽；确定文件系统架构的整体网络架构，并根据多个互联网络带宽和整体网络架构确定文件系统架构的最大传输带宽；通过文件系统架构的接口测试单个对象存储目标的读写性能，以计算文件系统架构的存储节点输入输出处理能力；判断最大传输带宽与存储节点输入输出处理能力是否匹配，并响应于二者不匹配而增减存储阵列以调整对象存储目标的数量从而使二者匹配；在客户端对文件系统架构执行性能基准测试，以确定文件系统架构的输入输出读写性能；判断最大传输带宽与输入输出读写性能是否匹配，并响应于二者不匹配而根据整体网络架构来调整对象存储服务器的数量或存储阵列的数量从而使二者匹配。在一些实施方式中，确定文件系统架构的整体网络架构包括：确定文件系统架构为异构网络或非异构网络；根据多个互联网络带宽和整体网络架构确定文件系统架构的最大传输带宽包括：将异构网络的文件系统架构中多个互联网络带宽中的最小值确定为最大传输带宽，并且将非异构网络的文件系统架构中多个互联网络带宽的统一取值确定为最大传输带宽。在一些实施方式中，计算文件系统架构的存储节点输入输出处理能力包括：将单个对象存储目标的读写性能与文件系统架构中对象存储目标的数量之积确定为存储节点输入输出处理能力；响应于二者不匹配而增减存储阵列以调整对象存储目标的数量包括：响应于最大传输带宽不匹配并且显著大于存储节点输入输出处理能力，而通过增加存储阵列以提高对象存储目标的数量进而提高存储节点输入输出处理能力；并且响应于最大传输带宽不匹配并且显著小于存储节点输入输出处理能力，而通过减少存储阵列以降低对象存储目标的数量进而降低存储节点输入输出处理能力。在一些实施方式中，确定文件系统架构的整体网络架构包括：确定文件系统架构为异构网络或非异构网络；响应于二者不匹配而根据整体网络架构来调整对象存储服务器的数量或存储阵列的数量包括：响应于最大传输带宽不匹配并且显著大于输入输出读写性能，而通过在异构网络的文件系统架构中增加对象存储服务器的数量以提高输入输出读写性能，并且通过在非异构网络的文件系统架构中增加存储控制器和存储阵列以提高输入输出读写性能。在一些实施方式中，调整行为只进行一次、或反复进行多次直到二者匹配为止。本专利技术具有以本文档来自技高网...

【技术保护点】
1.一种文件系统架构的性能调整方法，其特征在于，包括执行以下步骤：/n确定所述文件系统架构中客户端、对象存储服务器、和存储控制器之间分别两两互联的多个互联网络带宽；/n确定所述文件系统架构的整体网络架构，并根据所述多个互联网络带宽和所述整体网络架构确定所述文件系统架构的最大传输带宽；/n通过所述文件系统架构的接口测试单个对象存储目标的读写性能，以计算所述文件系统架构的存储节点输入输出处理能力；/n判断所述最大传输带宽与所述存储节点输入输出处理能力是否匹配，并响应于二者不匹配而增减存储阵列以调整所述对象存储目标的数量从而使二者匹配；/n在所述客户端对所述文件系统架构执行性能基准测试，以确定所述文件系统架构的输入输出读写性能；/n判断所述最大传输带宽与所述输入输出读写性能是否匹配，并响应于二者不匹配而根据所述整体网络架构来调整所述对象存储服务器的数量或所述存储阵列的数量从而使二者匹配。/n

【技术特征摘要】
1.一种文件系统架构的性能调整方法，其特征在于，包括执行以下步骤：
确定所述文件系统架构中客户端、对象存储服务器、和存储控制器之间分别两两互联的多个互联网络带宽；
确定所述文件系统架构的整体网络架构，并根据所述多个互联网络带宽和所述整体网络架构确定所述文件系统架构的最大传输带宽；
通过所述文件系统架构的接口测试单个对象存储目标的读写性能，以计算所述文件系统架构的存储节点输入输出处理能力；
判断所述最大传输带宽与所述存储节点输入输出处理能力是否匹配，并响应于二者不匹配而增减存储阵列以调整所述对象存储目标的数量从而使二者匹配；
在所述客户端对所述文件系统架构执行性能基准测试，以确定所述文件系统架构的输入输出读写性能；
判断所述最大传输带宽与所述输入输出读写性能是否匹配，并响应于二者不匹配而根据所述整体网络架构来调整所述对象存储服务器的数量或所述存储阵列的数量从而使二者匹配。


2.根据权利要求1所述的方法，其特征在于，确定所述文件系统架构的整体网络架构包括：确定所述文件系统架构为异构网络或非异构网络；
根据所述多个互联网络带宽和所述整体网络架构确定所述文件系统架构的最大传输带宽包括：将异构网络的所述文件系统架构中所述多个互联网络带宽中的最小值确定为所述最大传输带宽，并且将非异构网络的所述文件系统架构中所述多个互联网络带宽的统一取值确定为所述最大传输带宽。


3.根据权利要求1所述的方法，其特征在于，计算所述文件系统架构的存储节点输入输出处理能力包括：将所述单个对象存储目标的读写性能与所述文件系统架构中所述对象存储目标的数量之积确定为所述存储节点输入输出处理能力；
响应于二者不匹配而增减存储阵列以调整所述对象存储目标的数量包括：响应于所述最大传输带宽不匹配并且显著大于所述存储节点输入输出处理能力，而通过增加所述存储阵列以提高所述对象存储目标的数量进而提高所述存储节点输入输出处理能力；并且响应于所述最大传输带宽不匹配并且显著小于所述存储节点输入输出处理能力，而通过减少所述存储阵列以降低所述对象存储目标的数量进而降低所述存储节点输入输出处理能力。


4.根据权利要求1所述的方法，其特征在于，确定所述文件系统架构的整体网络架构包括：确定所述文件系统架构为异构网络或非异构网络；
响应于二者不匹配而根据所述整体网络架构来调整所述对象存储服务器的数量或所述存储阵列的数量包括：响应于所述最大传输带宽不匹配并且显著大于所述输入输出读写性能，而通过在异构网络的所述文件系统架构中增加所述对象存储服务器的数量以提高所述输入输出读写性能，并且通过在非异构网络的所述文件系统架构中增加所述存储控制器和所述存储阵列以提高所述输入输出读写性能。


5.根据权利要求2或4所述的方法，其特征在于，所述调整行为只进行一次、或反复进行多次直到二者匹配为止。


6.一种文件系统架构的性能调整装...

【专利技术属性】
技术研发人员：冯轶，张新秀，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32