分布式存储系统中逻辑目标与卷之间映射的处理方法技术方案

本发明专利技术公开了分布式存储系统中逻辑目标与卷之间映射的处理方法，包括：S1、在分布式存储系统中保存目标映射信息，包括网关节点与逻辑目标的映射关系、逻辑目标与卷的映射关系以及逻辑目标与客户端的映射关系；S2、基于该目标映射信息，通过SCSI网关加载并对外暴露逻辑目标，以处理客户端发送而来的访问请求；S3、基于订阅通知机制，使SCSI网关订阅分布式存储系统中目标映射信息和/或配置信息的变更通知；当用户修改目标映射信息和/或配置信息时，通知已订阅变更通知的SCSI网关；S4、当SCSI网关收到变更通知，重新加载分布式存储系统的存储集群中维护的元数据映射表，并基于最新的元数据映射表去更新对应的逻辑目标与卷的映射关系。系。系。

【技术实现步骤摘要】
分布式存储系统中逻辑目标与卷之间映射的处理方法


[0001]本专利技术涉及数据存储管理领域，具体涉及一种分布式存储系统中逻辑目标与卷之间映射的处理方法。

技术介绍

[0002]科技的迅猛发展使得数据呈指数型增长，人们对数据的安全可靠性和读写效率越发重视，同时也在追求易扩展性和低成本，传统的单一介质数据存储方式已经不能满足大数据处理的需求。由此衍生了兼具安全可靠、读写效率、易扩展性和低成本等特点的分布式存储系统，这种系统架构是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成。在分布式存储系统中，通常会建立多个数据节点和网关节点。数据节点用于数据存储；网关节点用于对外提供接口，如SCSI、FC等，外部设备可通过连接网关节点从而访问数据节点以存取数据。分布式存储的提出，在高性能、高可靠、易扩展、低成本等方面相较于传统存储有了显著的提升，但与此同时，也带来了诸多难题，如多节点间的消息通知和信息同步，卷映射和卷挂载的管理等。

技术实现思路

[0003]本专利技术的主要目的在于针对现有的分布式存储系统中存在的多节点间消息通知和信息同步的难题，以及多节点目标器之间的逻辑目标与卷映射的难题，提出一种分布式存储系统中逻辑目标与卷之间映射的处理方法，以解决现有的分布式存储系统存在的上述难题。
[0004]为达上述目的，本专利技术采用以下技术方案：
[0005]一种分布式存储系统中逻辑目标与卷之间映射的处理方法，包括如下步骤：S1、在分布式存储系统中保存目标映射信息，所述目标映射信息包括网关节点与逻辑目标的映射关系、逻辑目标与卷的映射关系以及逻辑目标与客户端的映射关系；S2、基于所述目标映射信息，通过SCSI网关上的目标器加载并对外暴露所述逻辑目标，以处理客户端发送而来的访问请求；S3、基于订阅通知机制，使所述目标器订阅分布式存储系统中所述目标映射信息和/或配置信息的变更通知；当用户修改目标映射信息和/或配置信息时，通知已经订阅所述变更通知的目标器；S4、当所述目标器收到关于用户修改目标映射信息和/或配置信息的通知后，重新加载分布式存储系统的存储集群中维护的元数据映射表，并基于最新的元数据映射表去更新对应的逻辑目标与卷的映射关系。
[0006]本专利技术的有益效果在于：客户端通过网关节点，访问该节点上关联的逻辑目标来访问逻辑目标下关联的卷，在逻辑目标和卷进行关联后，利用分布式存储系统的订阅通知机制，将逻辑目标和卷关联的元数据信息推送到该逻辑目标关联的所有网关节点，解决了众多网关节点间消息同步的难题；另一方面，通过合理的元数据管理，使得在添加、删除、修改、查询这些元数据时更加可靠和高效，保证在庞大复杂的分布式存储系统中，客户端能够访问到正确的卷。
附图说明
[0007]图1是分布式存储系统中客户端、目标器和存储集群三者之间的交互示意图；
[0008]图2是将卷映射给逻辑目标的过程示意图；
[0009]图3是逻辑目标target创建流程图；
[0010]图4是逻辑目标target与卷关联的流程图；
[0011]图5是逻辑目标target与客户端关联的流程图。
具体实施方式
[0012]下面结合附图和具体的实施方式对本专利技术作进一步说明。
[0013]首先对本实施例中出现的缩略词、英文术语和其它技术术语进行解释。
[0014]SCSI，即SmallComputerSystemInterface，小型计算机系统接口。
[0015]iSCSI，即InternetSmallComputerSystemInterface，基于英特网的小型计算机系统接口。在分布式存储中，iSCSI架构将存储服务的提供方定义为用于转换TCP/IP包中的SCSI命令和数据的iSCSItgt，即存储服务端；同时将存储服务的使用方定义为用于产生SCSI请求，并将SCSI命令和数据封装为TCP/IP包发送到IP网络中的iSCSIinitiator，即存储客户端。存储服务端和存储客户端之间基于TCP进行通信，存储服务端将块存储设备映射为卷提供给存储客户端，从而实现远程块存储服务。
[0016]目标器(Linuxtargetframework,tgt)是为创建和维护存储服务端驱动提出的架构，target是保存于tgt内的逻辑目标，target间接地集成到SCSI中间层。tgt为独立运行的一个进程，充当iSCSI服务端的角色。在存储服务端创建目标器后，即可将相关的target和卷映射信息保存至目标器内。目标器可以接收并处理存储客户端发起的请求、并将处理结果反馈给存储客户端。iSCSI客户端可以通过tgt访问其内的target，来达到访问target下关联的卷。在网关节点上创建并启动目标器服务进程，接收并处理客户端发起的iSCSI指令，保存存储服务端发送的target和卷映射信息，下发IO(数据的输入输出)到存储服务端完成数据读写。
[0017]卷挂载：卷(lun)是硬盘上的存储区域，驱动器使用一种文件系统(如FAT或NTFS)格式化卷，并给它指派一个驱动器号；挂载是指将一个设备(通常是指存储设备)挂接到一个目录，并通过这个目录来访问挂载设备。在分布式存储系统中，数据写入端和数据存储端往往不是直接相连的，即在客户端提交待写入数据和待写入卷，通过网络通信的方式通知服务端，然后在服务端完成数据写入。因此，挂载卷是分布式存储中数据读写的前提。
[0018]watch/notify机制，订阅通知机制，通过watch订阅消息，通过notify发布消息。分布式存储系统提供watch/notify机制，解决了多网关节点之间通信的难题。客户端向OSD(objectstoragedevice，对象存储守护进程)注册watch对象，并保持与主OSD的会话连接。客户端可以向所有已注册watch对象的客户端(也叫监视者)发送通知消息和消息内容，并在监视者收到通知时接收通知，这使得客户端可以使用任何对象作为同步通信通道。比如，有三个客户端分别向OSD注册了watch对象，并保持与OSD的会话连接，当其中一个客户端向OSD推送了一条消息时，OSD收到消息后，会向所有已注册了watch对象的客户端推送这条消息。
[0019]cluster，分布式存储集群，记录并维护target映射的元数据信息，包括target的
信息、映射卷的信息、网关节点与target的映射关系、target与卷的映射关系。这些元数据信息被保存到图1中的元数据映射表TARGETS.NODES.MAP.LIST、TARGETS.LUNS.MAP.LIST、node.targets.list和target.list这四类对象中，应当理解的是，图1中node1.targets.list、node2.targets.list仅是用数字1、2区分两个节点对应的node.targets.list；target.list也如此。同时，cluster对外提供这四个对象的增、删、改、查的接口来完成元数据的更新。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统中逻辑目标与卷之间映射的处理方法，其特征在于，包括如下步骤：S1、在分布式存储系统中保存目标映射信息，所述目标映射信息包括网关节点与逻辑目标的映射关系、逻辑目标与卷的映射关系以及逻辑目标与客户端的映射关系；S2、基于所述目标映射信息，通过SCSI网关上的目标器加载并对外暴露所述逻辑目标，以处理客户端发送而来的访问请求；S3、基于订阅通知机制，使所述目标器订阅分布式存储系统中所述目标映射信息和/或配置信息的变更通知；当用户修改目标映射信息和/或配置信息时，通知已经订阅所述变更通知的目标器；S4、当所述目标器收到关于用户修改目标映射信息和/或配置信息的通知后，重新加载分布式存储系统的存储集群中维护的元数据映射表，并基于最新的元数据映射表去更新对应的逻辑目标与卷的映射关系。2.如权利要求1所述的分布式存储系统中逻辑目标与卷之间映射的处理方法，其特征在于，步骤S3中：为避免订阅通知机制失效，所述SCSI网关上的目标器被配置为可定期读取所述元数据映射表，以使所述SCSI网关的内存中记录的元数据信息与所述元数据映射表中记录的元数据信息保持一致。3.如权利要求1所述的分布式存储系统中逻辑目标与卷之间映射的处理方法，其特征在于，通过创建逻辑目标、创建卷并将卷与逻辑目标关联，来建立所述逻辑目标与卷的映射关系。4.如权利要求3所述的分布式存储系统中逻辑目标与卷之间映射的处理方法，其特征在于，所述创建逻辑目标包括：用户通过配置工具下发目标创建指令；所述目标创建指令中包含逻辑目标名称和至少一个接入网关的信息；所述配置工具检查逻辑目标名称的合法性以及当前目标列表中是否已包含待创建逻辑目标：若逻辑目标名称不合法或者当前目标列表中已包含待创建逻辑目标，则不执行所述目标创建指令并返回执行失败的信息；若逻辑目标名称合法且当前目标列表中并不包含待创建逻辑目标，则所述配置工具直接调用存储集群对外提供的目标创建接口完成逻辑目标的创建；在完成逻辑目标的创建之后，所述配置工具向所有与创建的逻辑目标关联的SCSI网关的目标器推送更新消息；其中，SCSI网关在收到所述更新消息后，重新加载所述元数据映射表，并基于最新的元数据映射表去更新对应的逻辑目标与卷的映射关系。5.如权利要求4所述的分布式存储系统中逻辑目标与卷之间映射的处理方法，其特征在于，所述配置工具通过从存储集群获取元数据来检查逻辑目标名称的合法性以及当前目标列表中是否已包含待创建逻辑目标。6.如权利要求4所述的分布式存储系统中逻辑目标与卷之间...

【专利技术属性】
技术研发人员：陈坚，文刘飞，刘华兴，
申请(专利权)人：深圳市杉岩数据技术有限公司，
类型：发明
国别省市：