对象存储纳管NAS文件的系统技术方案

本发明专利技术提供了一种对象存储纳管NAS文件的系统。该系统包括：对象存储集群及NAS集群，对象存储集群通过NAS路径到对象的映射来纳管NAS文件的系统；应用程序通过S3接口访问NAS纳管后的数据，需要传递NASID和path；NASID在配置NAS代理点时由对象存储分配；对象存储使用不同的桶命名来隔离来自不同NAS设备的数据。本发明专利技术提供的对象存储纳管NAS文件的系统能够实现NAS文件到对象存储的数据迁移，NAS文件路径按一定规则映射为对象存储的桶、对象。对象。对象。

【技术实现步骤摘要】
对象存储纳管NAS文件的系统


[0001]本专利技术涉及NAS
，特别是涉及一种对象存储纳管NAS文件的系统。

技术介绍

[0002]IT建设是一个渐进的过程。最早的时候，企业的业务信息量比较小，只用一个文件服务器就可以解决问题。随着业务发展，数据逐渐增多，磁盘阵列、软件定义存储开始成为数据基础设施的中流砥柱。NAS向对象存储演进成为必由之路，如何用对象存储管理老的NAS存储设备上的文件，将是所有对象存储厂商必须解决的难题。
[0003]现有的技术有通过协议转换的方式来实现通过对象接口访问NAS文件，例如minIO。
[0004]通过“NAS
–
对象”协议转换器(例如minIO)来实现以对象接口访问NAS文件，如图1所示。
[0005]由图1示出的技术方案主要存在如下缺陷：
[0006]1.数据仍然以文件的方式存放在老的NAS设备上，不利于扩容改造。
[0007]2.通过对象接口访问NAS文件，涉及到“NAS
–
对象”协议转换，IO性能会下降。而且随着NAS存储的文件数增多，IO性能会进一步下降。

技术实现思路

[0008]本专利技术要解决的技术问题是提供一种对象存储纳管NAS文件的系统，能够实现NAS文件到对象存储的数据迁移，NAS文件路径按一定规则映射为对象存储的桶、对象。
[0009]为解决上述技术问题，本专利技术提供了一种对象存储纳管NAS文件的系统，所述系统包括：对象存储集群及NAS集群，对象存储集群通过NAS路径到对象的映射来纳管NAS文件的系统；应用程序通过S3接口访问NAS纳管后的数据，需要传递NAS ID和path；NAS ID在配置NAS代理点时由对象存储分配；对象存储使用不同的桶命名来隔离来自不同NAS设备的数据。
[0010]在一些实施方式中，NAS ID用来标识一套NAS集群设备。
[0011]在一些实施方式中，path表示NAS文件路径。
[0012]在一些实施方式中，NAS路径到对象的映射过程包括：确定NAS1迁移需要的桶的数量，假设为N；创建NAS1代理点时分配NAS_ID1；将PATH1通过hash算法映射到[1,N]的范围；PATH1对应的对象名可以直接以PATH1命名，也可以进行hash转换得到一个对象名。
[0013]在一些实施方式中，NAS文件迁移到对象存储，包括两个步骤：NAS目录列举和NAS文件迁移。
[0014]在一些实施方式中，目录列举采用广度优先算法。
[0015]在一些实施方式中，每个目录有一个kv数据库存放目录下的文件、目录，用来维护NAS文件迁移后的目录结构信息。
[0016]在一些实施方式中，每个level也有一个kv数据库存放这个level下的所有目录
名。
[0017]在一些实施方式中，目录列举可以采用多任务的方式同时列举多个目录。
[0018]采用这样的设计后，本专利技术至少具有以下优点：
[0019]1.实现了从NAS存储到对象存储的迁移，提供了NAS存储升级到对象存储的一套解决方案。
[0020]2.规避了传统“文件
–
对象”协议转换方案的缺陷。
附图说明
[0021]上述仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，以下结合附图与具体实施方式对本专利技术作进一步的详细说明。
[0022]图1是协议转换器的原理示意图；
[0023]图2是NAS代理点的原理示意图；
[0024]图3是桶命名的原理示意图；
[0025]图4是目录结构的原理示意图；
[0026]图5是文件列表和列举进度的原理示意图；
[0027]图6是多任务访问方式的原理示意图。
具体实施方式
[0028]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0029]1.对象存储纳管NAS，需要通过NAS代理点去访问NAS。通常的做法是将NAS客户端挂载到对象存储节点上，挂载点就是NAS代理点，如图2所示。
[0030]2.一套对象存储可以同时纳管多套NAS设备(纳管多个NAS代理点)，因此需要需要统一命名空间以确保能正确访问多套NAS设备的数据。应用程序通过S3接口访问NAS纳管后的数据，需要传递NAS ID(用来标识一套NAS集群设备)和path(NAS文件路径)。NAS ID在配置NAS代理点时由对象存储分配。对象存储使用不同的桶命名来隔离来自不同NAS设备的数据，如图3所示。
[0031]3.NAS路径到对象的映射
[0032]举例说明，NAS1中的文件PATH1如何映射：
[0033]首先确定NAS1迁移需要的桶的数量，假设为N。
[0034]创建NAS1代理点时分配NAS_ID1。
[0035]将PATH1通过hash算法映射到[1,N]的范围，比如映射为m，则PATH1对应的桶为NAS_ID1_bucket_m。
[0036]PATH1对应的对象名可以直接以PATH1命名，也可以进行hash转换得到一个对象名。
[0037]在NAS文件迁移、迁移后访问原来的NAS对象，都需要采用这种映射方法。
[0038]4.NAS文件迁移到对象存储，分为两个步骤：NAS目录列举和NAS文件迁移。
[0039]为了支持“目录列举”的中断继续，需要存储目录列举进度。假设有如图4的目录结构(d表示目录，f表示文件)。
[0040]目录列举采用广度优先算法。如上图，假设“Level 2”层已经全部列举出来了，准备列举下一层“Level 3”，当前列举的位置为“d5”，则得到的文件列表和列举进度如图5所示。
[0041]每个目录有一个kv数据库存放目录下的文件、目录，用来维护NAS文件迁移后的目录结构信息。每个level也有一个kv数据库存放这个level下的所有目录名。“cur level”、“cur pos”用来描述列举的位置，发生异常后可以从该位置继续开始目录列举。
[0042]目录列举可以采用多任务的方式同时列举多个目录，以提高列举效率。列举出来的文件列表需要映射为log.shard，各个对象存储节点可以采用多任务的方式访问logshard，从NAS存储中读取文件并写入到对象存储，如图6所示。
[0043]本专利技术技术方案取得的技术效果在于：
[0044]1.实现了从NAS存储到对象存储的迁移，提供了NAS存储升级到对象存储的一套解决方案。
[0045]2.规避了传统“文件
–
对象”协议转换方案的缺陷。
[0046]以上所述，仅是本专利技术的较佳实施例而已，并非对本专利技术作任何形式上的限制，本领域技术人员利用上述揭示的
技术实现思路
做出些许简单修改、等同变化或修饰，均落在本专利技术的保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象存储纳管NAS文件的系统，其特征在于，包括：对象存储集群及NAS集群，对象存储集群通过NAS路径到对象的映射来纳管NAS文件的系统；应用程序通过S3接口访问NAS纳管后的数据，需要传递NAS ID和path；NAS ID在配置NAS代理点时由对象存储分配；对象存储使用不同的桶命名来隔离来自不同NAS设备的数据。2.根据权利要求1所述的对象存储纳管NAS文件的系统，其特征在于，NAS ID用来标识一套NAS集群设备。3.根据权利要求1所述的对象存储纳管NAS文件的系统，其特征在于，path表示NAS文件路径。4.根据权利要求1所述的对象存储纳管NAS文件的系统，其特征在于，NAS路径到对象的映射过程包括：确定NAS1迁移需要的桶的数量，假设为N；创建NAS1代理点时分配NAS_ID1；将PATH1通过hash算法映射到[1...

【专利技术属性】
技术研发人员：谌显，尹微，文中领，周泽湘，
申请(专利权)人：北京同有飞骥科技股份有限公司，
类型：发明
国别省市：