基于虚拟化的文件系统容量的测试系统和方法技术方案

本发明专利技术涉及一种基于虚拟化的文件系统容量的测试系统和方法，在被测试的所述文件系统之下创建出用于所述文件系统容量测试的虚拟存储模块，容量测试管理模块管理所述文件系统对所述虚拟存储模块进行包括创建、读写和删除的文件操作；用于虚拟存储所述容量测试管理模块写入的文件的虚拟存储模块；用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件的物理存储模块；映射管理模块，在操作系统块设备驱动层中动态管理所述虚拟存储模块到所述物理存储模块的映射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的存储单元的文件操作。进而保证虚拟出的虚拟存储模块可进行正常读写，实现对文件系统容量的有效测试。

【技术实现步骤摘要】

本专利技术涉及到一种测试系统和方法，具体是一种基于虚拟化的文件系统容量的测 试系统和方法。
技术介绍
为了存储日益增长的海量信息数据，国内外的研究机构提出了多种单机的或者分布式的文件系统，例如 ext3(全称为 Third extended file system)、Lustre (由 Linux 和Clusters演化而来，是为解决海量存储问题而设计的全新文件系统)等。这些文件系 统所能支持的最大容量各不相同，例如ext3最大支持8TB(全称为TeraByte，太字节)，而 Lustre理论上至少支持64PB(全称PetaByte)空间。虽然目前磁盘阵列的发展早就超过 了 TB级别的限制，但一般情况下要达到PB级别尚有技术以及成本等各种因素的制约。因 此当测试文件系统支持的容量时，需要有一种切实可行的测试方法，该方法的关键是要能 够提供测试所需的大容量存储空间。根据现代操作系统架构，在操作系统底层进行虚拟化，构建虚拟存储设备如硬盘 等是可能的。目前已经有一些类似的存储设备虚拟化工具，如DiskSim和Device mapper 等。DiskSim包含丰富的组件，能够仿真存储子系统的各种行为。但是由DiskSim虚拟出 来的存储设备不能实际的存储和读取数据，无法运用在文件系统容量测试上。另外一个工 具Device mapper理论上能够虚拟出任意容量的存储设备，但是虚拟存储模块只能够部分 正常的读写。这是由于Device mapper在设计上只是简单地、一对一地将虚拟存储模块的 部分block映射到了实际存储设备，导致虚拟存储模块中只有被映射了的block(物理块， 等于512B)可以正常读写，因此实际的存储设备的容量和待测文件系统的容量必须完全一 致，而要提供如此大容量的存储设备，技术上和成本上都不太现实。。因此，上述工具和方法 都无法满足文件系统容量测试的要求。
技术实现思路
为此，本专利技术所要解决的是现有存储设备虚拟化工具无法虚拟出能进行正常读写 的存储设备的技术问题，提供一种可进行正常读写数据的基于虚拟化的文件系统容量的测 试系统和方法。为解决上述技术问题，本专利技术采用的技术方案如下一种基于虚拟化的文件系统容量的测试系统，包括容量测试管理模块，在被测试的所述文件系统之下创建出用于所述文件系统容量 测试的虚拟存储模块，并管理所述文件系统在所述虚拟存储模块上进行包括创建、读写和 删除的文件操作；虚拟存储模块，具有所述文件系统所能支持的最大容量，用于虚拟存储所述容量 测试管理模块写入的文件；物理存储模块，用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件；映射管理模块，在操作系统块设备驱动层中动态管理所述虚拟存储模块到所述物 理存储模块的映射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的 存储单元的文件操作；限制所有写入所述虚拟存储模块的文件容量小于或者等于所述物理 存储模块的容量。所述映射管理模块通过一个映射表实现所述动态管理；所述映射表存储有所述虚 拟存储模块的存储单元与所述物理存储模块的存储单元的映射关系，所述映射管理模块通 过动态维护所述映射表实现映射目标空间的查询、分配和回收。所述虚拟存储模块的存储单元被映射到所述物理存储模块的存储单元，映射块的 大小由所述容量测试管理模块根据测试需要调整。所述映射管理模块通过增加或者删除表项，动态分配或者动态回收所述物理存储 单元。同时，提供一种测试虚拟化的文件系统容量的方法，包括如下步骤，①创建虚拟存储模块，其具有所述文件系统所能支持的最大容量，用于虚拟存储 所述文件系统创建的文件；②设置物理存储模块，其具有预定容量，用于实际存储所述文件系统创建的文 件；③容量测试管理模块管理所述文件系统对所述虚拟存储模块进行包括创建、读写 和删除的文件操作；④通过动态映射，将对所述虚拟存储模块进行的文件操作直接映射为对所述物理 存储模块的文件操作。所述映射管理模块通过一个映射表实现所述动态管理；所述映射表存储有所述虚 拟存储模块的存储单元与所述物理存储模块的存储单元的映射关系，所述映射管理模块通 过动态维护所述映射表实现映射目标空间的查询、分配和回收。所述虚拟存储模块的存储单元被映射到所述物理存储模块的存储单元，映射单元 的大小由所述容量测试管理模块根据测试需要调整。所述映射管理模块通过增加或者删除表项，动态分配或者动态回收所述物理存储 单元。在创建和读写文件中，所述容量测试管理模块指定多个所述文件至少要分别占用 虚拟存储模块的存储空间的开始处、中间处以及结束处。本专利技术的上述技术方案相比现有技术具有以下优点本专利技术的基于虚拟化的文件系统容量的测试系统，包括容量测试管理模块，在被 测试的所述文件系统之下创建出用于所述文件系统容量测试的虚拟存储模块，管理所述文 件系统对所述虚拟存储模块进行包括创建、读写和删除的文件操作；虚拟存储模块，具有 所述文件系统所能支持的最大容量，用于虚拟存储所述容量测试管理模块写入的文件；物 理存储模块，用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件；映射管 理模块，在操作系统块设备驱动层中动态管理所述虚拟存储模块到所述物理存储模块的映 射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的存储单元的文件 操作；限制所有写入所述虚拟存储模块的文件容量小于或者等于所述物理存储模块的容量；进而通过动态智能的按需映射方式实现虚拟存储模块到物理存储模块的映射，保证虚 拟出的虚拟存储模块可进行正常读写，便于测试大容量的文件系统的容量。附图说明为了使本专利技术的内容更容易被清楚的理解，下面根据本专利技术的具体实施例并结合 附图，对本专利技术作进一步详细的说明，其中图1为本专利技术一个实施例中虚拟存储模块到物理存储模块在操作系统中的映射 层次图；图2为图1所示实施例中分布式文件系统Lustre的容量测试环境配置图；图3为图2中所示Lustre的容量测试过程中数据流向示意图；图4为本专利技术中动态智能的按需映射关系示意图；图5为图4中所示映射关系对应的映射表。具体实施例方式作为本专利技术一个实施例中虚拟存储模块到物理存储模块在操作系统中的映射层 次结构如图1所示，文件系统容量测试管理模块在用户空间运行，能够在指定设备上按照 POSIX(Portable Operating System Interface of Unix Wif^,^^口)文件系统访问接口进行文件创建、读写以及删除等操作。内核空间中由虚拟文件系统 VFS (全称为Virtual FileSystem)提供POSIX标准文件访问接口函数。VFS之下是待测试 文件系统如日志式文件系统ext3、分布式文件系统Lustre等。在待测文件系统之下，是块 设备驱动层，虚拟存储模块工作在该层，并由该层提供虚拟存储模块到实际物理存储模块 的动态智能映射。块设备驱动之下是物理存储模块驱动以及物理存储模块。块设备驱动层中，从虚拟存储模块到实际物理存储模块的映射采取动态智能的按 需映射(Intelligent on-demand dynamic mapping)方式。通过这种方式虚拟出来的所述 虚拟存储模块在一定程度上能够正常的读写。动态智能的按需映射方式主要是指操作系 统动态维护一个映射表本文档来自技高网...

【技术保护点】
一种基于虚拟化的文件系统容量的测试系统，其特征在于，包括：容量测试管理模块，在被测试的所述文件系统之下创建出用于所述文件系统容量测试的虚拟存储模块，并管理所述文件系统在所述虚拟存储模块上进行的包括创建、读写和删除的文件操作；虚拟存储模块，具有所述文件系统所能支持的最大容量，用于虚拟存储所述容量测试管理模块写入的文件；物理存储模块，用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件；映射管理模块，在操作系统块设备驱动层中动态管理所述虚拟存储模块到所述物理存储模块的映射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的文件操作；限制所有写入所述虚拟存储模块的文件容量小于或者等于所述物理存储模块的容量。

【技术特征摘要】

【专利技术属性】
技术研发人员：朱立谷，阳小珊，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：11[中国|北京]