一种基于以太网的集群式多级存储管理系统及方法技术方案

本发明专利技术为一种基于以太网的集群式多级存储管理系统及方法，所述的系统包括：客户端、存储单元，控制调度单元，所述的存储单元包括：在线存储区、近线存储区以及离线存储区，其特征在于，所述的控制调度单元包括：至少一网络文件系统服务器、至少一数据迁移器以及一多级存储管理数据服务器，通过以太网连接并相互传输命令，还包括通过上述系统实现的基于以太网的集群式多级存储管理方法，其完成浏览命令拷贝、读写操作、移动文件命令；从而实现高性能的数据访问，系统可高效处理多并发数据访问任务和数据迁移任务的目的。

【技术实现步骤摘要】

本专利技术涉及的是一种存储数据的系统及方法，特别涉及的是
技术介绍
所谓数据的多级存储，是指数据客体存放在不同级别的存储设备(磁盘、磁盘阵列、光盘库、磁带库等)中，通过多级存储管理软件实现数据客体在存储设备之间的自动迁移。数据迁移的规则是可以人为控制的，通常是根据数据的访问频率、保留时间、容量、性能要求等因素来确定的最佳存储策略。在多级数据存储结构中，磁带库等成本较低、速度慢的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。 数据从产生到存储、利用、归档，最后超过存储期限被删除，数据被读取的频率会逐渐下降，数据存储的位置也应该随之变化，以提高存储设备的使用率，降低存储成本。以SAN(存储区域网)为核心的数据多级存储管理(HierarchicalStorage Management，HSM)模式应用越来越普及，而在实际应用过程事中，用户通过以太网访问存储在SAN中的数据，特别是在多并发状态下访问近线、离线存储区中的数据时，由于管理服务器(负责实现数据在在线、近线与离线存储区间迁移和提供数据交互访问服务)只有一台，尽管其能控制多台磁带驱动器，但在海量数据的迁移与访问时，将会造成服务器负载的双重压力，出现数据迁移速度及数据访问性能瓶颈，严重时可能出现系统瘫痪，不能发挥SAN的优势，影响应用系统整体性能。 用户在使用HSM相关软件产品进行存储管理时，存在不可弥补的缺陷，主要表现在以下方面 首先HSM相关软件安装在一台服务器上，负责整个存储系统的管理，并将数据共享给用户。因系统只能运行在一台服务器上不支持服务器集群技术，任务处理能力有限，可扩展性不强，若出现大量的并发数据访问任务时，系统将出现I/O瓶颈，严重时导致单点故障； 其次一个好的HSM软件，数据迁移功能的设计尤为重要。HSM相关软件安装在一台服务器上，负责整个存储系统的管理，并按用户既定的数据迁移规则，实现数据在各级存储区间的自动迁移。一般地，把在线存储区中的数据迁移至近线、离线存储区时，数据迁移可利用系统空闲时段进行集中处理，但发生多并发访问近线、离线存储区中的数据，特别是大数据量时，由于一台服务器数据迁移速度及管理磁带驱动器能力有限，势必出现迁移任务排队现象，形成数据迁移瓶颈，严重时出现机器崩溃，最终导致业务处理系统等待、闲置； 再次HSM相关软件在实现数据迁移时是以单个文件为单位，在读写小而多的文件时，会因磁带驱动器读写速度缓慢影响数据迁移速度； 最后由于HSM相关软件产品的数据存储、迁移的控制信号不能与数据的实际传输通路相分离，部分数据仍然需要通过以太网来传送，因此，数据迁移策略不能和磁盘阵列SAN共享技术并存； 为克服上述的技术缺陷，本专利技术创作人经过长时间的研究和开发终于获得本专利技术的产生。
技术实现思路
本专利技术的目的在于，提供，用以克服上述的技术缺陷。 为实现上述目的，本专利技术采用的技术方案在于，提供一种基于以太网的集群式多级存储管理系统，其包括客户端、存储单元，控制调度单元，所述的存储单元包括在线存储区、近线存储区以及离线存储区，其中，所述的控制调度单元包括至少一网络文件系统服务器、至少一数据迁移器以及一多级存储管理数据服务器，通过以太网连接并相互传输命令； 所述的网络文件系统服务器通过以太网与所述的客户端相互连接，根据客户端的访问请求提供相关数据信息； 所述数据迁移器接收迁移命令控制存储单元中的数据从原始存储位置迁移到目标位置； 所述多级存储管理数据服务器接收所述网络文件系统服务器的访问指令，控制所述数据迁移器进行对存储单元数据的迁移操作； 所述的在线存储区、近线存储区以及离线存储区通过存储区域网相互连接进行数据传输，所述的网络文件系统服务器、数据迁移器以及多级存储管理数据服务器也通过所述的存储区域网实现对存储单元的控制； 较佳的，所述的在线存储区为至少一磁盘阵列构成； 较佳的，所述的近线存储区为磁带库或光盘库； 较佳的，所述的离线存储区为离线磁带架或光盘架； 较佳的，还包括一作为缓冲池的低速磁盘阵列设置与所述在线存储区与近线存储区之间； 其次提供一种基于以太网的集群式多级存储管理方法，其是通过上述基于以太网的集群式多级存储管理系统实现的，其包括的步骤为 步骤a客户端向网络文件系统服务器集群发送访问指令； 步骤b所述的网络文件系统服务器集群判断访问命令的类型，是浏览命令则执行下述步骤c；若是拷贝、读写操作、移动文件命令，则执行下述步骤d； 步骤c获取在线存储区、近线存储区和离线存储区中的所有数据文件列表传输给客户端，执行下述步骤i； 步骤d网络文件系统服务器集群判断客户端所需文件是否存储于在线存储区，若是执行下述步骤h，若不在执行下述步骤e； 步骤e所述的网络文件系统服务器集群向多级存储管理数据服务器发出数据请求指令； 步骤f所述的多级存储管理数据服务器向所述的数据迁移器集群下达数据迁移指令； 步骤g磁带库管理与控制模块自动完成数据从近线或离线存储区迁移至在线存储区的迁移任务； 步骤h所述网络文件系统服务器集群将数据从近线存储区取出传输给客户端； 步骤i操作结束； 较佳的，所述的网络文件系统服务器集群用多台主机分别处理多用户在同一时刻提交的多个数据访问请求； 较佳的，所述的网络文件系统服务器集群配置负载均衡设备实现数据访问任务在网络文件系统服务器之间的任务分配； 较佳的，上述步骤c包括的步骤为 步骤c1网络文件系统服务器集群读取在线存储区中的文件列表； 步骤c2调用多级存储管理数据服务器以获取存储在近线存储区和离线存储区的所有文件信息； 步骤c3网络文件系统服务器集群将上述两份文件列表传输至客户端； 较佳的，所述的网络文件系统服务器集群和数据迁移器集群安装有磁盘共享软件。 本专利技术的优点在于1、高性能的数据访问，系统可高效处理多并发数据访问任务和数据迁移任务； 2、高可用性，系统拥有较强的容错能力，避免出现单点故障； 3、高可扩展性，系统可根据用户实际应用环境进行灵活配置； 4、面向对象的存储方法，支持用户定义存储对象； 5、可配合SAN磁盘共享软件，充分发挥SAN系统结构的性能。 附图说明 图1为本专利技术基于以太网的集群式多级存储管理系统的结构图； 图2为本专利技术基于以太网的集群式多级存储管理方法流程图； 图3为本专利技术基于以太网的集群式多级存储管理浏览命令的过程流程图。 具体实施例方式 以下结合附图，对本专利技术上述的和另外的技术特征和优点作更详细的说明。 请参阅图1所示，其为本专利技术基于以太网的集群式多级存储管理系统的结构图；其包括客户端1、存储单元，控制调度单元，所述的存储单元包括在线存储区31、近线存储区32以及离线存储区33，所述的控制调度单元包括至少一网络文件系统服务器(NFS)组成的网络文件系统服务器集群51、至少一数据迁移器组成的数据迁移器集群52以及一多级存储管理数据服务器53，通过以太网2连接并相互传输命令； 所述的在线存储区31一般由至少一高速的光纤磁盘阵列构成； 所述的近线存储区32一般由磁本文档来自技高网...

【技术保护点】
一种基于以太网的集群式多级存储管理系统，其包括：客户端、存储单元，控制调度单元，所述的存储单元包括：在线存储区、近线存储区以及离线存储区，其特征在于，所述的控制调度单元包括：至少一网络文件系统服务器、至少一数据迁移器以及一多级存储管理数据服务器，通过以太网连接并相互传输命令；　　　　所述的网络文件系统服务器通过以太网与所述的客户端相互连接，根据客户端的访问请求提供相关数据信息；　　　　所述数据迁移器接收迁移命令控制存储单元中的数据从原始存储位置迁移到目标位置；　　　　所述多级存储管理数据服务器接收所述网络文件系统服务器的访问指令，控制所述数据迁移器进行对存储单元数据的迁移操作；　　　　所述的在线存储区、近线存储区以及离线存储区通过存储区域网相互连接进行数据传输，所述的网络文件系统服务器、数据迁移器以及多级存储管理数据服务器也通过所述的存储区域网实现对存储单元的控制。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄疆，
申请(专利权)人：北京亚细亚智业科技有限公司，
类型：发明
国别省市：11[中国|北京]