数据存储中心中的交换机辅助的数据存储网络业务管理制造技术

在一个实施例中，数据存储中心中的交换机辅助的数据存储网络业务管理将数据放置请求和数据放置确认合并以减少网络业务。本文描述了其它方面。

Switch-assisted Data Storage Network Service Management in Data Storage Center

【技术实现步骤摘要】
数据存储中心中的交换机辅助的数据存储网络业务管理
本专利技术的某些实施例一般涉及数据存储中心中的交换机辅助的数据存储网络业务管理。
技术介绍
数据存储中心通常采用分布式存储系统来存储大量数据。为了增强这种存储的可靠性，采用了诸如全数据复制或纠删编码（EC）数据的各种数据冗余技术。基于纠删编码的冗余能在大规模系统中提供改进的存储容量效率，并且从而在许多商业分布式云存储系统中被依赖。纠删编码一般能通过术语EC（k，m）来描述，其中客户端的用于存储的原始输入数据被分成k个数据块。此外，基于分布矩阵计算m个奇偶校验块。来自数据冗余的可靠性可以通过将总共k+m个编码块中的每个块分开放置到不同的k+m个存储节点中来实现。作为结果，如果由于存储节点故障或者诸如擦除的其它原因而丢失了任何m（或小于m）个编码块，则可以从奇偶校验数据或客户端存储数据的尚存的k个编码块中重构客户端的原始数据。在典型的分布式数据存储系统中，客户端节点为数据的每个块生成分开的数据放置请求，其中每个放置请求是用于将数据的具体块放置在系统的具体存储节点中的请求。从而，在通过纠删编码提供冗余的情况下，客户端节点通常将生成k+m个分开的数据放置请求，对于客户端数据的k+m个块中的每个块一个数据放置请求。k+m个数据放置请求通过分布式数据存储系统的各种交换机被传送到存储节点以用于存储。每个数据放置请求通常都包含目的地地址，该地址是已经被指配成将由数据放置请求携带的数据块存储为数据放置请求的有效载荷的具体存储节点的地址。数据放置请求通过的交换机记录数据放置请求的预期目的地地址，并将数据放置请求路由到指配的存储节点，以用于作为请求的有效载荷被携带的数据块存储。例如，目的地地址可采取TCP/IP（传输控制协议/因特网协议）地址的形式，使得为每个TCP/IP目的地形成TCP/IP连接。附图说明本公开的实施例在附图的各图中作为示例而非限制进行图示，附图中相似附图标记指的是类似元件。图1描绘了图示现有技术单独数据放置请求通过用于数据存储系统的现有技术存储网络被路由的示例的高级框图。图2描绘了用于以块形式编码数据以用于存储在数据存储系统中的现有技术纠删编码方案。图3描绘了图1的单独数据放置请求，每个请求都用于将图2的数据的单独编码块放置在数据存储系统中的指配的存储节点中。图4描绘了现有技术单独数据放置确认通过用于数据存储系统的现有技术存储网络被路由的示例。图5描绘了图示按照本公开的实施例的数据存储中心中的交换机辅助的数据存储网络业务管理的示例的高级框图。图6描绘了图5的用于将数据的多个编码块放置在数据存储系统的存储节点中的合并数据放置请求的示例。图7描绘了按照本公开的实施例在数据存储中心中的采用交换机辅助的数据存储网络业务管理的客户端节点的操作的示例。图8A-8E图示了按照本公开的实施例在数据存储中心中的采用交换机辅助的数据存储网络业务管理的各种网络节点和交换机的逻辑的示例。图9描绘了按照本公开的实施例在数据存储中心中的交换机辅助的数据存储网络业务管理的另一示例。图10描绘了按照本公开的实施例在数据存储中心中的采用交换机辅助的数据存储网络业务管理的网络交换机的操作的示例。图11描绘了图5的用于将数据的多个编码块放置在数据存储系统的存储节点中的合并的数据放置请求的附加示例。图12描绘了按照本公开的实施例在数据存储中心中的采用交换机辅助的数据存储网络业务管理的网络交换机的操作的另一示例。图13描绘了图5的用于将数据的编码块放置在数据存储系统的存储节点中的数据块放置请求的示例。图14描绘了按照本公开的实施例的在数据存储中心中的网络存储节点的操作的示例。图15描绘了图9的用于确认数据的编码块在数据存储系统的存储节点中的放置的数据块放置确认的示例。图16描绘了图9的用于确认数据的编码块在数据存储系统的存储节点中的放置的合并的多块放置确认的示例。图17描绘了图9的用于确认数据的编码块在数据存储系统的存储节点中的放置的合并的多块放置确认的另一示例。图18描绘了按照本公开的实施例在采用交换机辅助的数据存储网络业务管理的各方面的存储系统中的网络存储节点或网络交换机的逻辑的示例。具体实施方式在如下的描述中，相似组件已经被给出了相同附图标记，不管它们是否被示出在不同实施例中。为了以清晰且简明的方式图示本公开的实施例，附图可能不一定按比例，并且某些特征可能以某种示意的形式示出。相对于一个实施例描述和/或图示的特征可以相同方式或以类似方式用在一个或更多其它实施例中，和/或与其它实施例的特征组合或代替它们。如上所述，在通过纠删编码（EC）提供冗余的情况下，现有客户端节点通常将生成k+m个分开的数据放置请求，客户端和奇偶校验数据的k+m个块中的每个块一个数据放置请求。从而，对于纠删编码，本文中要认识到，一般有相当大量的附加存储网络业务被生成，并且作为结果，频繁要求大量网络带宽以将EC编码数据的冗余块放置到存储系统的存储节点上。要进一步认识到，由于将原始客户端数据分成包含奇偶校验数据的多个编码块的性质，各种数据放置请求的时延也可能被加剧，因为对于数据的编码块的所有数据放置请求通常以与将它们从客户端节点被路由到存储节点和存储节点的存储介质的方式相同方式同时处理。而且，当请求的数据被成功存储在存储节点中时，k+m个分开的数据放置请求通常导致k+m个分开的确认，每一个数据放置请求一个确认。从而，分开的确认也能促成附加存储网络业务，并且作为结果，还能增大存储网络带宽要求。如下面所更详细说明的，按照本专利技术一个方面的交换机辅助的数据存储网络业务管理可以显著降低由于EC或其它冗余技术而生成的增加的存储网络业务，并且作为结果，显著降低网络带宽和数据放置时延两者的成本。更确切地说，在采用多机架的数据存储节点的分布式数据存储系统中，携带要存储的数据的机架内和机架间网络业务都可被降低，尽管为了可靠性目的采用EC编码数据块或其它冗余方法。而且，确认EC编码数据块在指配的存储节点中的放置的机架内和机架间网络业务两者也可以被降低。然而，要认识到，取决于具体应用，按照本说明书采用交换机辅助的数据存储网络业务管理的特征和优点可以变化。在本说明书的一个方面中，利用软件定义的存储（SDS）级信息来改进存储网络内的数据流的优化。在一个实施例中，SDS级信息是互连分布式存储系统中的存储节点的机架和存储节点的分层交换机的层级的函数。此外，SDS级信息被分层交换机的各级采用来改进存储网络内的数据流的优化。例如，在一个实施例中，分布式数据存储系统的存储网络在第一层级采用机架顶部（ToR）交换机和在比ToR交换机的层级更高的第二层级采用行末端（EoR）交换机。SDS级信息被分层EoR和ToR交换机的各级采用来改进存储网络内的数据流的优化。在另一方面，按照本说明书的一个方面的交换机辅助的数据存储网络业务管理能促进分布式数据存储系统的缩放，其中存储节点、存储节点的机架和交换机的层级的数量以这样的缩放增大。作为结果，按照本说明书的一个方面由交换机辅助的数据存储网络业务管理实现的存储网络带宽和时延两者的降低可能随着为分布式存储系统部署的服务器机架的数量或层级的数量增加甚至更加显著。图1示出了现有分布式数据存储系统的示例，其具有用于存储客户本文档来自技高网...

【技术保护点】
1.一种用于与具有配置成存储数据的多个存储节点的存储系统的分层通信网络一起使用的设备，包括：在所述存储系统的所述分层通信网络中在第一层级的第一分层交换机，所述第一分层交换机具有机架内请求生成逻辑，所述机架内请求生成逻辑配置成：检测第一分布式多块数据放置请求的收到以将第一存储数据放置在所述存储系统的第一组存储节点中，并且响应于所述第一分布式多块数据放置请求而生成第一组数据块放置请求并将所述第一组数据块放置请求传送到所述第一组存储节点中的指配的存储节点，其中每个数据块放置请求是用于将所述第一存储数据的数据的单独纠删编码块放置在所述第一组存储节点中的指配的存储节点中的请求。

【技术特征摘要】
2018.01.12 US 15/8707091.一种用于与具有配置成存储数据的多个存储节点的存储系统的分层通信网络一起使用的设备，包括：在所述存储系统的所述分层通信网络中在第一层级的第一分层交换机，所述第一分层交换机具有机架内请求生成逻辑，所述机架内请求生成逻辑配置成：检测第一分布式多块数据放置请求的收到以将第一存储数据放置在所述存储系统的第一组存储节点中，并且响应于所述第一分布式多块数据放置请求而生成第一组数据块放置请求并将所述第一组数据块放置请求传送到所述第一组存储节点中的指配的存储节点，其中每个数据块放置请求是用于将所述第一存储数据的数据的单独纠删编码块放置在所述第一组存储节点中的指配的存储节点中的请求。2.如权利要求1所述的设备，进一步包括：在所述存储系统的所述分层通信网络中在所述第一层级的第二分层交换机，所述第二分层交换机具有机架内请求生成逻辑，所述机架内请求生成逻辑配置成：检测第二分布式多块数据放置请求的收到以将第二存储数据放置在所述存储系统的第二组存储节点中，并且响应于所述第二分布式多块数据放置请求而生成第二组数据块放置请求并将所述第二组数据块放置请求传送到所述第二组存储节点中的指配的存储节点，其中所述第二组的每个数据块放置请求是用于将所述第二存储数据的数据的单独纠删编码块放置在所述第二组存储节点中的指配的存储节点中的请求。3.如权利要求2所述的设备，其中所述第一和第二分层交换机的所述第一层级与所述存储系统的所述分层通信网络的第二层级相比较处于较低层级，所述设备进一步包括：在所述第二层级的第三分层交换机，所述第三分层交换机具有机架间请求生成逻辑，所述机架间请求生成逻辑配置成：检测合并的多块放置请求，所述合并的多块放置请求用于将包含所述第一和第二存储数据的存储数据放置在包含所述第一组和第二组存储节点的所述存储系统的一组存储节点中的存储装置中，并且响应于所述合并的多块放置请求，而生成所述第一分布式多块数据放置请求并将所述第一分布式多块数据放置请求传送到所述第一分层交换机以将所述第一存储数据放置在所述存储系统的所述第一组存储节点中，并且生成所述第二分布式多块数据放置请求并将所述第二分布式多块数据放置请求传送到所述第二分层交换机以将所述第二存储数据放置在所述存储系统的所述第二组存储节点中。4.如权利要求3所述的设备，进一步包括：客户端节点，耦合到所述第三分层交换机，并且具有合并的放置请求逻辑，所述合并的放置请求逻辑配置成：接收包含所述第一和第二存储数据的存储数据，将所接收的数据纠删编码成所述第一和第二存储数据的纠删编码块的块，其中至少一些包含奇偶校验数据，并且生成具有所述第一和第二存储数据的纠删编码块的有效载荷的所述合并的多块放置请求并将所述合并的多块放置请求传送到所述第三分层交换机，以用于分别存储在所述第一组和第二组存储节点中。5.如权利要求4所述的设备，进一步包括：具有所述第一组存储节点的第一存储机架，所述第一组中的每个存储节点具有块放置逻辑，所述块放置逻辑配置成响应于由所述第一组存储节点中的指配的存储节点接收的所述第一组数据块放置请求中的数据块放置请求而对数据的所述第一组纠删编码块中的数据的单独纠删编码块进行存储，所述第一组中的每个存储节点进一步具有放置确认生成逻辑，所述放置确认生成逻辑配置成向所述第一分层交换机发送数据块放置确认，所述数据块放置确认用于确认对数据的所述第一组纠删编码块中的数据的单独纠删编码块的存储；其中所述第一分层交换机具有机架内确认合并逻辑，所述机架内确认合并逻辑配置成：接收第一多个数据块放置确认，每个数据块放置确认都确认将数据的所述第一组纠删编码块中的数据的单独纠删编码块存储在所述第一组存储节点中的指配的存储节点中，并且响应于收到所述第一多个数据块放置确认而生成第一多块数据放置确认并将所述第一多块数据放置确认传送到所述第三交换机，所述第一多块数据放置确认用于确认将所述第一存储数据存储在所述存储系统的所述第一组存储节点中；具有所述第二组存储节点的第二存储机架，所述第二组中的每个存储节点具有块放置逻辑，所述块放置逻辑配置成响应于由所述第二组存储节点中的指配的存储节点接收的所述第二组数据块放置请求中的数据块放置请求而对数据的所述第二组纠删编码块中的数据的单独纠删编码块进行存储，所述第二组中的每个存储节点进一步具有放置确认生成逻辑，所述放置确认生成逻辑配置成向所述第二分层交换机发送数据块放置确认，所述数据块放置确认用于确认对数据的所述第二组纠删编码块中的数据的单独纠删编码块的存储；其中所述第二分层交换机具有机架内确认合并逻辑，所述机架内确认合并逻辑配置成：接收第二多个数据块放置确认，每个数据块放置确认都确认将数据的所述第二组纠删编码块中的数据的单独纠删编码块存储在所述第二组存储节点中的指配的存储节点中，并且响应于收到所述第二多个数据块放置确认而生成第二多块数据放置确认并将所述第二多块数据放置确认传送到所述第三交换机，所述第二多块数据放置确认用于确认将所述第二存储数据存储在所述存储系统的所述第二组存储节点中。6.如权利要求5所述的设备，其中所述第三分层交换机具有机架间确认合并逻辑，所述机架间确认合并逻辑配置成接收所述第一和第二多块数据放置确认，并且生成合并的多块放置确认并将所述合并的多块放置确认传送到所述存储系统的所述客户端节点，所述合并的多块放置确认用于确认将所述第一和第二存储数据分别存储在所述存储系统的所述第一组和第二组存储节点中。7.如权利要求1所述的设备，其中所述机架内请求生成逻辑进一步配置成：将由所述第一分层交换机接收的所述第一分布式多块数据放置请求的所述第一存储数据纠删编码成用于所述第一组数据块放置请求的数据的所述纠删编码块，以将所述第一存储数据的数据的单独纠删编码块放置在所述第一组存储节点中的指配的存储节点中。8.一种方法，包括：由在存储系统的分层通信网络中的第一层级的第一分层交换机检测第一分布式多块数据放置请求，以将第一存储数据放置在所述存储系统的第一组存储节点中，以及响应于所述第一分布式多块数据放置请求，由所述第一分层交换机将第一组数据块放置请求传送到所述第一组存储节点中的指配的存储节点，其中每个数据块放置请求是用于将所述第一存储数据的数据的单独纠删编码块放置在所述第一组存储节点中的指配的存储节点中的请求。9.如权利要求8所述的方法，进一步包括：由在存储系统的分层通信网络中的所述第一层级的第二分层交换机检测第二分布式多块数据放置请求，以将第二存储数据放置在所述存储系统的第二组存储节点中；以及响应于所述第二分布式多块数据放置请求，由所述第二分层交换机将第二组数据块放置请求传送到所述第二组存储节点中的指配的存储节点，其中所述第二组数据块放置请求中的每个数据块放置请求是用于将所述第二存储数据的数据的单独纠删编码块放置在所述第二组存储节点中的指配的存储节点中的请求。10.如权利要求9所述的方法，其中所述第一和第二分层交换机的所述第一层级与所述存储系统的所述分层通信网络中的第三分层交换机的第二层级相比较处于较低层级，所述方法进一步包括：由所述第三分层交换机检测将包含所述第一和第二存储数据的存储数据放置在包含所述第一组和第二组存储节点的所述存储系统的一组存储节点中的存储装置中的合并的多块放置请求；响应于所述合并的多块放置请求，由所述第三分层交换机将所述第一分布式多块数据放置请求传送到所述第一分层交换机，以将所述第一存储数据放置在所述存储系统的所述第一组存储节点中；以及响应于数据的第三传输，由所述第三分层交换机将所述第二分布式多块数据放置请求传送到所述第二分层交换机，以将所述第二存储数据放置在所述存储系统的所述第二组存储节点中。11.如权利要求10所述的方法，进一步包括：由所述存储系统的客户端节点接收包含所述第一和第二存储数据的存储数据以用于存储在所述存储系统中；将所接收到的数据纠删编码成所述第一和第二存储数据的纠删编码块的块，其中至少一些包含奇偶校验数据；以及将具有所述第一和第二存储数据的纠删编码块的有效载荷的所述合并的多块放置请求传送到所述第三分层交换机，以用于分别存储在所述第一组和第二组...

【专利技术属性】
技术研发人员：A拉格纳特，AR查加姆雷迪，Y邹，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US