一种文件系统管理模型及系统技术方案

本发明专利技术的文件系统模型将文件存储系统划分成文件管理模块第一子模型、对象管理第二子模型和闪存介质管理模块第三子模型三个子模型，文件管理模块通过将文件全部属性赋予对象，将对文件读、写、删除或重写转变为对对象操作，去除了文件系统和块管理模块双重映射逻辑，简化了IO路径，消除了文件系统内部和块管理模块内部双重写放大。对象存储管理模块根据ZNS SSD物理属性，利用继承来的文件本身属性特征做存储优化，如冷热数据、不同应用数据彼此分开存储，减少不同模式数据混合存储造成的垃圾回收开销。同时，通过优化算法，在存储设备端直接通过对象完成基于文件的计算加速，根据Zone分区空间大小对存储的一次性文件进行重组，提高了Zone空间使用效率；并且将同一文件连续存储发挥介质顺序访问时性能优势，提升存储系统整体性能。储系统整体性能。储系统整体性能。

【技术实现步骤摘要】
一种文件系统管理模型及系统


[0001]本专利技术涉及文件系统设计方法，尤其涉及一种基于闪存存储介质的文件系统。

技术介绍

[0002]大数据时代背景下，数据信息的类型与数量急剧增加，给存储系统的设计带来了新的挑战。目前的技术中，文件系统提供各种混合数据的存储、查询、处理功能，各种多媒体数据，记录数据，以及归档数据等通常只会在存储的时候写一次，之后不会修改文件，而管理数据则需要支持可读写，目前的文件系统并不针对这两种情况做区分设计。
[0003]随着SSD的普及应用，文件系统为尽可能利用SSD的性能优势，一般采取合并随机写，转换为顺序日志记录的方式加速存储系统性能，但随着数据混合程度的增加和文件系统自身垃圾回收的影响，SSD内部有效数据分布趋于分散，对于文件系统来说，文件系统本身的空间整理、垃圾回收也会带来额外开销，目前在SSD之上构建的文件系统并不能利用多媒体数据，记录数据，以及归档数据自身特点，发挥出闪存介质最大性能。
[0004]另一方面，随着计算存储技术的应用，存储系统本身能够提供更多的计算功能，但是计算需求通常跟应用场景本身相关，已有的技术方案通过文件系统和块管理等技术搭建计算存储系统，数据存储粒度为定长逻辑块，而应用场景计算则是基于文件级，因此存储端只能完成基于数据块级别计算加速，应用场景的计算模块需要结合文件系统部署在主机端，造成实际上数据存储和计算分离，不能充分发挥计算存储降低系统开销的优势。

技术实现思路

[0005]本专利技术提供一种可以减少闪存存储系统写放大的技术方案，针对一次性写文件和计算存储的应用场景专门优化的文件系统模型和系统。
[0006]本专利技术提供了一种文件系统模型，所述文件系统模型至少包括文件管理模块第一子模型、对象管理第二子模型和闪存介质管理模块第三子模型；
[0007]其中，所述文件管理模块第一子模型被配置为接收用户的文件访问请求，文件管理策略对所述文件访问请求进行处理，将所述文件访问请求转换为对所述对象管理第二子模型的对象访问请求；
[0008]所述对象管理第二子模型被配置为向所述文件管理模块第一子模型提供连续逻辑对象区域，并接收来自所述文件管理模块第一子模型的所述对象访问请求，逻辑对象管理策略对所述对象访问请求进行处理，将所述对象访问请求转换为对闪存介质管理模块第三子模型的闪存读写擦操作请求；
[0009]所述闪存介质管理模块第三子模型提供读、写、擦除接口给所述对象管理第二子模型，并接收来自第二子模型的所述闪存读、写或擦除操作请求，完成对闪存介质的读写擦除操作，并记录闪存运行状态信息和失效介质信息；
[0010]所述文件管理模块第一子模型将所述对象管理第二子模块提供的所述连续逻辑对象区域划分为至少包括管理区、可读写文件区和一次性文件区；所述对象管理第二子模
型将连续的物理地址分区划分成至少包括定长逻辑区和可变长逻辑区。
[0011]进一步，所述定长逻辑区被配置为用于存储来自文件系统的所述管理区的数据和所述可读写文件区的数据，所述定长逻辑区内所述对象数据大小固定；所述可变长逻辑区被配置为存储来自文件系统的所述一次性文件区的数据，所述定长逻辑区和所述变长逻辑区根据用户配置策略决定实际占用物理Zone分区大小以及是否共享物理Zone分区。
[0012]进一步，所述文件管理策略被配置为：对于一次性文件，占用的逻辑对象ID记录在上层目录文件中，所述目录文件记录了所有一次性文件的地址映射，每个映射表项包含文件名、逻辑对象ID和Size等三个字段，其中所述文件名用于索引，所述逻辑对象ID指向实际存储的逻辑对象，所述Size表示该文件大小。
[0013]进一步，所述逻辑对象管理策略对所述对象访问请求进行处理包括：根据一张逻辑对象映射表，将一个逻辑对象映射到一段连续的物理存储空间，所述逻辑对象映射表包括多个映射表项；每个所述映射表项包含至少物理地址PBA和逻辑对象大小Size的两个字段，所述逻辑对象映射表根据所述逻辑对象ID号索引；所述物理地址PBA分成Zone编码和Zone内偏移两部分。
[0014]进一步，所述对象管理第二子模型还包括对象存储优化单元，所述对象存储优化单元用于获取所述逻辑对象的ID和Size信息，形成Size信息池；并通过预定规则将所述Size信息池中Size信息进行组合求和并与所述Zone分区大小进行比较和匹配。
[0015]进一步，所述Size信息池中Size信息大小分别为A1，A2……
，A
m
，A
N
，所述Zone分区大小为2
K
；所述预定规则被配置为包括以下步骤：1)对任意数量的所述逻辑对象的Size进行求和操作，2)若求和的结果小于2
K
，则将相应的所述逻辑对象定义为虚拟逻辑对象；并将所述虚拟对象中对象对应的一次性文件存储于同一个Zone分区内；若求和的结果大于2
K
，则返回步骤1)；3)将结果返回给所述对象管理第二子模型，对相应的所述逻辑对象映射表进行更新操作；其中k为正整数且满足2
K
大于max(A1，A2……
，A
m
，A
N
)。
[0016]进一步，所述闪存介质管理模块根据闪存页读写，按块擦除，块内页顺序写的物理规则特性，将相同操作的物理地址组织成连续的Zone分区，其中所述擦除操作按Zone分区进行，所述写操作必须在一个Zone分区内且地址连续。
[0017]进一步，所述Zone分区按照从小到大的顺序依次排列，且相邻Zone分区大小不同。
[0018]进一步，所述用户配置策略至少包括以下步骤：1)读取所述可读写文件对应的Zone分区的数据到系统内存中，在内存中对所述可读写文件进行读、写、删除或覆盖操作；2)在预设时间间隔内，将内存中最新所述可读写文件对所述定长逻辑区的所述可读写文件对应的Zone分区的数据进行覆盖操作。
[0019]同时，本专利技术提供了一种应用所述的文件系统模型的系统，所述系统包括文件管理模块、逻辑对象管理模块和闪存介质管理模块；所述系统响应于用户请求，完成相应的操作；所述操作包括：
[0020]当收到用户的新写一次性文件请求时，首先所述文件管理模块根据当前可用对象状态，进行可变长写逻辑对象分配，然后由所述逻辑对象管理模块根据当前写入点状态，将对象ID转换为新的物理地址，接着所述闪存介质管理模块启动文件数据传输，将一次文件数据写入到转换后的物理地址，写入完成后将结果反馈给所述文件管理模块，所述文件管理模块修改管理区数据，将文件名、分配的对应逻辑对象号和文件长度记录到管理区数据，
完成写文件操作；
[0021]当收到用户的读一次性文件请求时，首先所述文件管理模块通过管理区数据索引到文件对应逻辑对象号，转换成对象读请求，将相应读请求发往所述逻辑对象管理模块，然后所述逻辑对象管理模块查找对象地址映射表，得到读请求对应闪存物理地址，发起闪存读操作，最后由所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件系统模型，所述文件系统模型至少包括文件管理模块第一子模型、对象管理第二子模型和闪存介质管理模块第三子模型；其中，所述文件管理模块第一子模型被配置为接收用户的文件访问请求，文件管理策略对所述文件访问请求进行处理，将所述文件访问请求转换为对所述对象管理第二子模型的对象访问请求；所述对象管理第二子模型被配置为向所述文件管理模块第一子模型提供连续逻辑对象区域，并接收来自所述文件管理模块第一子模型的所述对象访问请求，逻辑对象管理策略对所述对象访问请求进行处理，将所述对象访问请求转换为对闪存介质管理模块第三子模型的闪存读写擦操作请求；所述闪存介质管理模块第三子模型提供读、写、擦除接口给所述对象管理第二子模型，并接收来自第二子模型的所述闪存读、写或擦除操作请求，完成对闪存介质的读写擦除操作，并记录闪存运行状态信息和失效介质信息；所述文件管理模块第一子模型将所述对象管理第二子模块提供的所述连续逻辑对象区域划分为至少包括管理区、可读写文件区和一次性文件区；所述对象管理第二子模型将连续的物理地址分区划分成至少包括定长逻辑区和可变长逻辑区。2.根据权利要求1所述的文件系统模型，其特征在于：所述定长逻辑区被配置为用于存储来自文件系统的所述管理区的数据和所述可读写文件区的数据，所述定长逻辑区内所述对象数据大小固定；所述可变长逻辑区被配置为存储来自文件系统的所述一次性文件区的数据，所述定长逻辑区和所述变长逻辑区根据用户配置策略决定实际占用物理Zone分区大小以及是否共享物理Zone分区。3.根据权利要求1所述的文件系统模型，其特征在于：所述文件管理策略被配置为：一次性文件的逻辑对象ID记录在上层的目录文件中，所述目录文件记录所有一次性文件的地址映射，所述地址映射中每个映射表项包含文件名、逻辑对象ID和Size等三个字段，其中所述文件名用于索引，所述逻辑对象ID指向实际存储的逻辑对象，所述Size表示文件大小。4.根据权利要求1所述的文件系统模型，其特征在于：所述逻辑对象管理策略对所述对象访问请求进行处理包括：根据一张逻辑对象映射表，将一个逻辑对象映射到一段连续的物理存储空间，所述逻辑对象映射表包括多个映射表项；每个所述映射表项包含至少物理地址PBA和逻辑对象大小Size的两个字段，所述逻辑对象映射表根据所述逻辑对象ID号索引；所述物理地址PBA分成Zone编码和Zone内偏移两部分。5.根据权利要求3或4所述的文件系统模型，其特征在于：所述对象管理第二子模型还包括对象存储优化单元，所述对象存储优化单元用于获取所述逻辑对象的ID和Size信息，形成Size信息池；并通过预定规则将所述Size信息池中Size信息进行组合求和，然后与目标Zone分区进行匹配。6.根据权利要求5所述的文件系统模型，其特征在于：所述Size信息池中Size信息大小分别为A1，A2……
，A
m
，A
N
，所述目标Zone分区大小为2
K
；所述预定规则被配置为包括以下步骤：1)对任意数量的所述逻辑对象的Size进行求和操作，2)若求和的结果小于2
K
，则将相应的所述逻辑对象定义为虚拟逻辑对象；并将所述虚拟逻辑对象中对象对应的一次性文件存储于同一个Z...

【专利技术属性】
技术研发人员：刘烈超，刘兴斌，
申请(专利权)人：武汉麓谷科技有限公司，
类型：发明
国别省市：