一种Lustre存储系统数据共享方法技术方案

本发明专利技术公开了一种Lustre存储系统数据共享方法。本方法为：1)在lustre系统所在的服务器上增加一dCache系统，然后根据dCache系统与lustre系统的区别，扩展该dcache系统的元数据库；2)服务器读取该Lustre系统的元数据，并将其转换为dCache可识别的元数据结构，然后存入dCache系统的元数据库对应扩展字段中；3)当dCache系统接收到广域网上的用户数据传输请求后，根据该请求从dCache系统的元数据库中查询匹配的元数据，然后从lustre系统读取数据并缓存到dCache系统，返回查询结果给该用户。本发明专利技术提高了数据的安全性和可靠性，实现其它本地存储系统的远程共享。

【技术实现步骤摘要】

本专利技术属于计算系统网络传输领域，具体涉及，可用于高能物理试验大批量数据的传输系统及传输方法。
技术介绍
Lustre是由Peter Braam博士于1999年发起的开源项目，其目的是设id 个面向下一代的高性能、高扩展、高可用的基于对象存储的集群文件系统。Lustre同样采用了元数据和存储数据相分离的技术，可以充分分离计算和存储资源，使得客户端计算机可以专注于用户和应用程序的请求；存储服务器和元数据服务器专注于读、传输和写数据。Lustre使用了 Sandia开放的Portals网络传输协议，支持多种网络，如GigE, QSffElan, Myrinet, InfiniBand, TCP/IP等。它实现了分布式锁管理器，为文件访问提供细粒度的并发控制。基于分布式锁管理器，它还实现了客户端数据写回缓冲。Lustre通过failover机制以及自身的恢复协议，采用双服务器共享存储设备方式的容错机制来消除单点失效，并进行透明恢复，提高了系统的可用性。在Lustre文件系统中，客户端和服务器通过Lustre提供mount命令即可加入存储集群，可以方便的对Lustre集群进行快速配置部署，同时新增的存储容量可以自动合并到存储系统中，还提供数据存储服务器的对象分配的自动均衡技术和静态的数据迀移功能，具有很好的扩展性和易管理性。dCache是由DESY IT (德国电子同步加速器计算中心)和FERMI (美国费米实验室)共同开发的一个分布式的存储系统。主要用于高能物理海量数据的传输和存储。dCache提供广域网访问的协议，支持Gridftp、http、xrootd、srm等数据传输协议。高能物理实验的海量数据都存储在本地的数据中心，这些数据存储在Lustre并行文件系统上。随着高能物理实验设备的升级，加速器能量和亮度的增加，所产生的数据成爆炸式增长，本地的计算中心已经无法满足数据处理的需求，分布式计算已经广泛应用于高能物理实验数据的处理。但是Lustre存储系统只适合局域网内访问，由于lustre的文件传输协议对网络的稳定性和性能要求很高所以在广域网直接使用lustre不现实。原始的使用方法是把存储在Lustre上的数据人工手动传输到dCache系统然后共享给异地用户使用，这种方式需要额外的存储资源，和大量人力资源。因此研究一种可以使Lustre直接提供广域网访问的方法实现数据的异地传输来满足高能物理实验数据的分布式计算和处理。
技术实现思路
针对现有技术中Lustre存储系统无法提供广域网访问的问题，本专利技术提供了一种Lustre和dCache之间的访问接口，dCache系统可以实现广域网的数据传输，通过dCache实现Lustre数据的远程异地共享，从而使得广域网的用户可以通过dCache系统访问本地Lustre的文件系统，本地Lustre系统上存储的海量数据可以通过本专利技术共享到dCache系统，提供给广域网用户使用。此方案的原理是通过扩展Lustre和dCache存储系统的底层元数据结构，建立两种元数据的对应关系，通过这种对应关系把Lustre元数据转换为dCache可以识别的元数据结构，并存入dCache的元数据数据库，使得dCache系统可以识别存储在Lustre上的数据，并对数据进行读写操作。本专利技术的技术方案为:—种Lustre存储系统数据共享方法，其步骤为:I)在lustre系统所在的服务器上增加一 dCache系统，然后根据dCache系统与lustre系统的区别，扩展该dcache系统的元数据库；2)服务器读取该Lustre系统的元数据，并将其转换为dCache可识别的元数据结构，然后存入dCache系统的元数据库对应的扩展字段中；3)当dCache系统接收到广域网上的用户数据传输请求后，根据该数据传输请求从dCache系统的元数据库中查询匹配的元数据信息，然后根据匹配的元数据信息从lustre系统读取数据并缓存到dCache系统，返回查询结果给该用户。进一步的，扩展该dcache系统的元数据库的方法为:对该dcache系统的元数据库中每个文件的条目添加属性用来存储lustre系统中文件的目录信息和校验信息。进一步的，对该dcache系统的元数据库中每个文件的条目添加一文件标示记号用于识别文件的缓存状态。进一步的，当dCache系统接收到广域网上的用户数据传输请求后，首先读取dcache元数据的文件标识信息，判断请求的文件的缓存状态，如果没有缓存则从lustre系统读取该文件并缓存到dcache系统中。进一步的，所述将其转换为dCache可识别的元数据结构的方法为:首先根据存储在lustre系统上的元数据信息读取lustre系统上的文件信息，生成一文件信息列表；然后把文件信息列表中的信息逐条转换成dcache数据的元数据信息。进一步的，所述把文件信息列表中的信息逐条转换成dcache数据的元数据信息的方法为:首先在dcache系统中创建一个目录对应lustre系统的根目录；然后根据文件信息列表在该目录下为每一文件创建一文件唯一识别号pnfsid并在dcache系统元数据库中对应生成一 pnfsid记录；然后根据文件信息列表为dcache系统元数据库中每一 pnfsid记录相应的字段赋值，存入dcache系统的元数据库中。进一步的，所述根据该数据传输请求从dCache系统的元数据库中查询匹配的元数据信息，然后根据匹配的元数据信息从lustre系统读取数据并缓存到dCache系统的方法为:首先根据该数据传输请求从dCache系统的元数据库中获取到所请求lustre文件的原始地址和该lustre文件的pnfsid记录，然后从lustre系统将该文件拷贝到dCache系统的缓存池中，并将文件名修改为该lustre文件的pnfsid。进一步的，所述pnfsid记录的字段包括:权限信息、用户属性、组属性、改动时间、访问时间、修改时间、校验码、lustre目录信息、文件标识。进一步的，所述文件信息列表包括-lustre目录信息、文件的改动时间、访问时间、修改时间、文件大小和文件属性。与现有技术相比，本专利技术具有以下优点:1、本专利技术不需要将真实的数据再存入dCache系统，即只对元数据进行操作，不用读写真实数据，用户通过dCache的协议直接访问存储在Lustre上的数据，提高了数据的安全性和可靠性。2、本专利技术省去了内部数据的传输，可以显著的节省时间，网络带宽和电力消耗。3、本专利技术对原系统的改动小，对建立在原系统的应用不会造成任何影响。4、本专利技术可拓展性强，只需要对现有的系统的前端模块进行修改就可以实现其它本地存储系统的远程共享。【附图说明】图1为lustre元数据和dcache元数据差别展示图。图2为元数据转换存储方法流程图。图3为数据的访问方法流程图。【具体实施方式】本专利技术所述的具体实施方案如下:步骤1，根据dCache和lustre两种文件系统区别，扩展dcache的元数据库。如图1所示本专利技术的关键在于找到两种存储系统的元数据的不同之处，并设计好扩展的元数据使之相互兼容，这样可以通过dcache直接访问lustre数据。dCache和lustre两种文件系统都有存储文件创建时间、修改时间本文档来自技高网...

【技术保护点】
一种Lustre存储系统数据共享方法，其步骤为：1)在lustre系统所在的服务器上增加一dCache系统，然后根据dCache系统与lustre系统的区别，扩展该dcache系统的元数据库；2)服务器读取该Lustre系统的元数据，并将其转换为dCache可识别的元数据结构，然后存入dCache系统的元数据库对应的扩展字段中；3)当dCache系统接收到广域网上的用户数据传输请求后，根据该数据传输请求从dCache系统的元数据库中查询匹配的元数据信息，然后根据匹配的元数据信息从lustre系统读取数据并缓存到dCache系统，返回查询结果给该用户。

【技术特征摘要】

【专利技术属性】
技术研发人员：闫晓飞，郑伟，
申请(专利权)人：中国科学院高能物理研究所，
类型：发明
国别省市：北京;11