用于异步存储服务的自组织存储系统技术方案

归档云存储服务可以被利用有成本效益的组件来创建以用于大规模数据存储，并且可以高效地使用这些组件。云存储服务的前端向云存储服务的消费设备呈现异步存储接口。提供异步存储服务接口避免了伴随时间受限接口（例如，具有以秒为单位的超时的基于请求‑响应的接口）的状态数据开销中的至少一些。云存储服务的后端节点周期性地查询前端服务器以选择后端节点可以实现的请求。每个后端节点基于后端节点的后端特性信息（可能是动态特性）来选择请求。因此，构成云存储服务的基础的存储系统可以被认为是自组织存储系统。

【技术实现步骤摘要】
【国外来华专利技术】用于异步存储服务的自组织存储系统
技术介绍
本公开一般地涉及数据存储领域，并且更特别地涉及异步存储接口。云服务提供商向云服务消费者提供云服务。一个类型的云服务是云存储服务。虽然云存储服务是指提供云存储的服务，但是存储网络工业协会（SNIA）正式将云存储定义为数据存储即服务（“DSaaS”）的同义词。SNIA将DSaaS定义为通过网络对虚拟存储和相关服务的递送。根据通常表达被请求的服务级别的云消费者请求来配置虚拟存储和相关服务。云消费者设备根据驻留在通信协议之上或利用通信协议的定义接口与DSaaS交互。SNIA已将云数据管理接口（CDMI）定义为针对控制和数据路径二者的接口。云消费者设备还可以根据基于客户端-服务器模型的接口消费云存储服务，所述接口诸如是基于表述性状态转移的接口（“RESTful接口”）。附图说明可以通过参考附图更好地理解本公开的各方面。图1是云存储服务的自组织存储系统的概念图。图2描绘了图1中描绘的自组织存储系统的后端的概念图，所述后端创建用于由进行选择的后端节点实现的所选请求的列表。图3描绘了用于处理云服务消费者存储请求的流程图。图4描绘了云存储服务的后端节点从云存储服务的前端检索存储服务请求的操作的流程图。图5描绘了用于选择要由后端存储节点实现的写入请求的示例操作。图6描绘了用于选择要由后端存储节点实现的删除请求的示例操作。图7描绘了前端服务器处理由存储服务后端节点生成的节点请求列表的示例操作的流程图。图8描绘了前端服务器处理由后端节点生成的实现消息的示例操作的流程图。图9描绘了具有自组织存储介质设备控制器的示例云存储服务后端存储节点。具体实施方式以下描述包括体现本公开的各方面的示例系统、方法、技术和程序流程。然而，应理解，可以在没有这些具体细节的情况下实践本公开。在其他实例中，没有详细地示出公知的指令实例、协议、结构和技术，以便不使描述模糊。介绍形式上，“云服务消费者”是指使用或消费云服务的个人或组织。然而，在设备上执行的软件便于个人或组织消费或使用云存储服务。该设备可以被描述为使用云存储服务和/或与云存储服务的组件交互。因此，该描述将涉及云服务消费者设备。云服务消费者设备根据用于云存储服务的定义接口向云存储服务传送请求。该接口定义了云服务消费者设备和云存储服务之间的请求-响应类型的交换。面向云存储服务侧的客户端（即，前端）通过维持（一个或多个）映射来定位要读取或删除的数据来对请求进行服务。前端还确定数据将被存储在哪里。通常，前端维持状态数据以确保响应被在如由接口定义的适当时间内提供到云服务消费者设备。然而，云存储服务的重要用途是将数据归档。“将数据数字地归档”涉及长保留期（例如，数十年）和对应的访问模式（即，不频繁地访问并接受高的访问等待时间）。由于访问模式要求较低，云存储提供商将使用成本较低的存储系统组件用于数字地归档的数据，并且云存储消费者接受可能花费比数秒显著更多的时间（例如，数天）的响应。综述可以利用有成本效益的组件创建云存储服务以用于大规模归档数据存储，并且所述云存储服务可以高效地使用这些组件。云存储服务的前端向云存储服务的消费设备呈现异步存储接口。提供异步存储服务接口避免了伴随时间受限接口（例如，具有以秒为单位的超时的基于请求-响应的接口）的状态数据开销中的至少一些。前端服务器按如下请求类型来组织从云服务消费者设备接收的请求：读取、写入和删除。云存储服务的后端节点周期性地从前端服务器检索请求，以选择后端节点可以实现的请求。每个后端节点基于后端节点的后端特性信息（可能是动态特性）来选择请求。因此，构成云存储服务的基础的存储系统可以被认为是自组织存储系统。示例图示图1是云存储服务的自组织存储系统的概念图。云存储服务在逻辑上被划分成存储服务前端103和存储服务后端105。存储服务前端103的组件包括向云存储服务消费者（“消费者”）101呈现存储服务接口的软件和硬件。前端组件接受来自消费者101的符合接口的请求（例如，请求的结构和请求的参数），并在请求已被实现时向消费者提供响应。存储服务前端103诸如通过临时存储来维持请求，但是不实现请求。存储服务后端105从存储服务前端103检索请求，并根据包括本地维持的存储索引的本地信息来实现请求。构成云存储服务的基础的存储系统常常是大型的。例如，云存储服务可以包括跨许多地理位置的数千个存储服务器和存储介质设备。为了避免因试图反映比例而使图复杂化，图1仅图示了具有两个存储服务器107、123的存储服务前端103。图1图示了具有三个“后端存储节点”161、163、165的存储服务后端105。术语“后端存储节点”或“存储节点”在本文中用于共同地指代一组存储介质设备（例如，磁带驱动器、固态设备/闪存驱动器、磁盘驱动器等）和管理存储介质设备的网络连接设备。在所描绘的阶段之前，存储服务前端103已经接收了各种存储服务请求。图1在服务器107、123中的每个处描绘了按请求类型的列表。每个列表的内容表示已经从消费者101接收的请求。服务器107维持指示四个接收到的读取请求的读取列表111。这些读取请求被表示为rA、rB、rG和rH。对于此图示，记法方案使用第一个字符来指示请求的类型，并且使用第二个字符来指示请求的对象。例如，rA表示针对对象“A”的读取请求。字符“w”用于指示写入请求，并且字符“d”用于指示删除请求。服务器107维持删除列表113，其指示请求dM。服务器107还维持写入列表115，其指示写入请求wK、wT和wS。写入请求wK引用被标识为对象“K”的数据对象117。写入请求wT和wS分别引用数据对象119和数据对象121。数据对象119被标识为对象“T”，并且数据对象121被标识为对象“S”。在阶段A1-A3，节点161读取列表111、113、115中的每个以选择要实现的请求。节点161包括存储介质设备控制器137和闪速存储（flashstorage）的两个存储体（bank）171、173。存储介质设备控制器137维持本地存储索引135，其指示存储在存储体171、173中的对象的位置信息。存储介质设备控制器137使用本地存储索引135来访问闪速存储存储体171、173。在阶段A1，存储介质设备控制器137从服务器107检索读取列表111。存储介质设备控制器137基于本地存储索引135确定节点161可以实现读取列表111中的哪些读取请求。本地存储索引135指示对象C和G被存储在闪速存储存储体171、173中。作为响应，存储介质设备控制器137选择实现rG。在阶段A2，存储介质设备控制器137从服务器107检索删除列表113。存储介质设备控制器137基于本地存储索引135确定节点161可以实现删除列表113中的哪些删除请求。由于对象M未被存储在闪速存储存储体171、173中，存储介质设备控制器137不能实现删除请求。在阶段A3，存储介质设备控制器137从服务器107检索写入列表115。存储介质设备控制器137基于关于节点161和写入请求的信息来选择要实现的写入请求。存储介质设备控制器137可以基于要写入的对象的大小、要写入的对象的类型、以及针对对象的另外的相关服务请求（例如，加密、压缩等）来选择写入请求。存储介质设备控制器137本文档来自技高网...

【技术保护点】
1.一种方法，包括：在存储服务的前端中维持指示在前端处接收到的存储服务请求的一个或多个结构的集合；通过存储服务的后端从前端获得对第一组存储服务请求的指示；至少部分地基于后端的第一存储索引，通过后端从第一组存储服务请求选择要实现的存储服务请求；从后端向前端传送对所选存储服务请求的指示；在第二结构中存储所传送的对由后端选择的存储服务请求的指示并基于由后端进行的选择来更新结构的集合，其中第二结构在前端中；以及从后端向前端传送所选存储服务请求的实现。

【技术特征摘要】
【国外来华专利技术】2016.04.29 US 15/1430981.一种方法，包括：在存储服务的前端中维持指示在前端处接收到的存储服务请求的一个或多个结构的集合；通过存储服务的后端从前端获得对第一组存储服务请求的指示；至少部分地基于后端的第一存储索引，通过后端从第一组存储服务请求选择要实现的存储服务请求；从后端向前端传送对所选存储服务请求的指示；在第二结构中存储所传送的对由后端选择的存储服务请求的指示并基于由后端进行的选择来更新结构的集合，其中第二结构在前端中；以及从后端向前端传送所选存储服务请求的实现。2.根据权利要求1所述的方法，还包括：对于由后端实现的所选存储服务请求中的每个，前端在接收到来自后端的所述实现的传送之后向对应的请求者通知所述实现。3.根据权利要求1所述的方法，其中当每个所选存储服务请求被后端实现时，后端传送所选存储服务请求的实现。4.根据权利要求1所述的方法，还包括后端至少部分地基于后端中的存储节点的操作属性来安排用于实现的所选存储服务请求。5.根据权利要求1所述的方法，还包括对于所选存储服务请求中的每个写入请求，后端从前端检索由写入请求标识的对象。6.根据权利要求1所述的方法，其中维持结构的集合包括前端为每个存储服务请求类型维持不同的结构。7.根据权利要求1所述的方法，其中选择要实现的存储服务请求包括：在后端中的第三结构中指示所选存储服务请求，其中传送对所选存储服务请求的指示包括将第三结构从后端传送到前端。8.根据权利要求7所述的方法，其中维持对由后端选择的存储服务请求的指示并更新结构的集合包括：将第三结构存储在前端中；对于后端选择的每个写入请求，更新第三结构以引用前端中的由写入请求标识的对象；以及对于每个所选存储服务请求，从结构的集合移除对所选存储服务请求的指示。9.根据权利要求1所述的方法，还包括：比起第一组存储服务请求，后端从前端的不同服务器获得对第二组一个或多个存储服务请求的指示；至少部分地基于第一存储索引从第二组存储服务请求选择要实现的存储服务请求；以及向所述不同的服务器传送对后端从第二组存储服务请求选择的存储服务请求的指示。10.根据权利要求9所述的方法，其中后端在获得对第一组存储服务请求的指示之后的定义时间段期满之后获得对第二组存储服务请求的指示。11.根据权利要求1所述的方法，还包括：通过后端的与获得对第一组存储服务请求的指示的存储节点不同的存储节点从前端获得对第二组一个或多个存储服务请求的指示，其中第二组一个或多个存储服务请求至少包括未被存储节点选择的存储服务请求；至少部分地基于所述不同的存储节点的第二存储索引从第二组存储服务请求选择要实现的存储服务请求；以及向前端传送对所述不同的存储节点从第二组存储服务请求选择的存储服务请求的指示。12.一种机器可读介质，包括用于云存储服务的自组织存储系统的机器可执行指令...

【专利技术属性】
技术研发人员：DA斯利克，
申请(专利权)人：网络存储技术公司，
类型：发明
国别省市：美国,US