分布式存储系统及其数据处理方法、相关装置制造方法及图纸

本申请涉及分布式存储技术领域，公开了分布式存储系统及其数据处理方法、相关装置。分布式存储系统包括主节点设备、至少一个从节点设备和至少一个学习节点设备，主节点设备、从节点设备和学习节点设备用于与至少一个控制设备交互，方法应用于学习节点设备，方法包括：在学习节点设备创建时，接收至少一控制设备中目标控制设备发送的第一读请求；将第一读请求发送至主节点设备；接收主节点设备发送的对应第一读请求的目标数据；将目标数据进行存储，以及将目标数据发送至目标控制设备。通过上述方式，能够更快地承接读请求的流量，以缓解主节点设备和从节点设备的负载，同时快速响应目标控制设备，提升目标控制设备的用户的体验。提升目标控制设备的用户的体验。提升目标控制设备的用户的体验。

【技术实现步骤摘要】
分布式存储系统及其数据处理方法、相关装置


[0001]本申请涉及分布式存储
，特别是涉及分布式存储系统及其数据处理方法、相关装置。

技术介绍

[0002]对于分布式存储系统，主节点设备和从节点设备相互配合，主节点设备提供写请求和读请求，从节点设备提供读请求，以此方式增加整个分布式存储系统的读请求吞吐量。
[0003]专利技术人研究发现，如果由于一些特殊情况，导致向分布式存储系统中发起的读请求迅速上升，此时的主节点设备和从节点设备可能无法承载这些读请求。

技术实现思路

[0004]本申请主要解决的技术问题是提供分布式存储系统及其数据处理方法、相关装置，能够更快地承接读请求的流量，以缓解主节点设备和从节点设备的负载。
[0005]为了解决上述问题，本申请采用的一种技术方案是提供一种分布式存储系统的数据处理方法，该分布式存储系统包括主节点设备、至少一个从节点设备和至少一个学习节点设备，主节点设备、从节点设备和学习节点设备用于与至少一个控制设备交互，方法应用于学习节点设备，该方法包括：在学习节点设备创建时，接收至少一控制设备中目标控制设备发送的第一读请求；将第一读请求发送至主节点设备；接收主节点设备发送的对应第一读请求的目标数据；将目标数据进行存储，以及将目标数据发送至目标控制设备。
[0006]其中，接收主节点设备发送的对应第一读请求的目标数据，还包括：接收主节点设备发送的对应第一读请求的目标数据和主节点设备当前所应用的第一日志；方法还包括：获取所应用的第二日志；其中，第二日志由学习节点设备从主节点设备中复制至少部分第一日志形成；根据第一日志和第二日志的索引大小关系，对第二日志进行处理。
[0007]其中，根据第一日志和第二日志的索引大小关系，对第二日志进行处理，包括：若第一日志的索引大于第二日志的索引，则确定第一日志的索引和第二日志的索引之间的索引差范围；
[0008]确定在索引差范围内的第二日志；不执行与读请求相关的索引差范围内的第二日志所记录的操作。
[0009]其中，根据第一日志和第二日志的索引大小关系，对第二日志进行处理，包括：若第二日志的索引大于第一日志的索引，则确定第一日志的索引和第二日志的索引之间的索引差范围；确定在索引差范围内的第二日志；以目标数据为基准数据，重新执行与读请求相关的索引差范围内的第二日志所记录的操作。
[0010]其中，以目标数据为基准数据，重新执行与读请求相关的第二日志所记录的操作，包括：按照索引差范围内的索引依次执行与读请求相关的索引差范围内的第二日志所记录的操作；将每次更新的目标数据进行存储，以作为下次更新的基准数据。
[0011]其中，该方法还包括：在将第一读请求发送至主节点设备之后，接收至少一控制设
备中另一目标控制设备发送的第二读请求；若第二读请求和第一读请求对应同一目标；基于第二读请求接收主节点设备当前所应用的第一日志的索引；获取当前所应用的第二日志的索引；在第二日志的索引大于或等于第一日志的索引时，获取学习节点设备中存储的当前的目标数据；将目标数据发送至另一目标控制设备。
[0012]其中，将目标数据进行存储之后，包括：接收至少一控制设备中目标控制设备发送的第三读请求；基于第三读请求接收主节点设备当前所应用的第一日志的索引；获取当前所应用的第二日志的索引；在第二日志的索引大于或等于第一日志的索引时，获取学习节点设备中存储的当前的目标数据；将目标数据发送至另一目标控制设备。
[0013]其中，学习节点设备中的第二日志的数量小于主节点设备的第一日志的数量。
[0014]其中，该方法还包括：获取当前应用的第二日志；若第二日志中的目标没有对应的基准数据，则不执行第二日志中的操作。
[0015]为了解决上述问题，本申请采用的另一种技术方案是提供一种分布式存储系统的数据处理方法，该分布式存储系统包括主节点设备、至少一个从节点设备和至少一个学习节点设备，主节点设备、从节点设备和学习节点设备用于与至少一个控制设备交互，方法应用于主节点设备，该方法包括：响应于节点设备创建指令，建立至少一个学习节点设备；接收学习节点设备发送的至少一个读请求；其中，读请求是由至少一控制设备中目标控制设备向学习节点设备发送的；将对应读请求的目标数据发送至学习节点设备，以使学习节点设备将目标数据发送至目标控制设备并将目标数据进行存储。
[0016]为了解决上述问题，本申请采用的另一种技术方案是提供一种分布式存储系统，该分布式存储系统包括：主节点设备；至少一个从节点设备，与主节点设备通信连接；至少一个学习节点设备，与主节点设备通信连接；其中，主节点设备、从节点设备和学习节点设备用于与至少一个控制设备交互，学习节点设备用于实现如上述应用于学习节点设备的方法，主节点设备用于实现如上述应用于主节点设备的方法。
[0017]为了解决上述问题，本申请采用的另一种技术方案是提供一种节点设备，该节点设备包括处理器以及与处理器耦接的存储器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序，以实现如上述任一技术方案提供的方法。
[0018]为了解决上述问题，本申请采用的另一种技术方案是提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现如上述任一技术方案提供的方法。
[0019]本申请的有益效果是：区别于现有技术的情况，本申请提供的分布式存储系统及其数据处理方法、相关装置。该分布式存储系统包括主节点设备、至少一个从节点设备和至少一个学习节点设备，主节点设备、从节点设备和学习节点设备用于与至少一个控制设备交互，该方法应用于学习节点设备，该方法包括：在学习节点设备创建时，接收至少一控制设备中目标控制设备发送的第一读请求；将第一读请求发送至主节点设备；接收主节点设备发送的对应第一读请求的目标数据；将目标数据进行存储，以及将目标数据发送至目标控制设备。通过上述方式，利用在学习节点创建时就接收读请求，使学习节点设备可以通过不断的响应读请求的方式，渐进式的从主节点设备获取到数据，以此建立起学习节点设备的数据库，相比于相关技术中在学习节点需要接收完所有快照数据后，再响应读请求的方式，能够更快地承接读请求的流量，以缓解主节点设备和从节点设备的负载，同时快速响应
目标控制设备，提升目标控制设备的用户的体验。
附图说明
[0020]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0021]图1是本申请提供的分布式存储系统一实施例的结构示意图；
[0022]图2是本申请提供的分布式存储系统另一实施例的结构示意图；
[0023]图3是本申请提供的分布式存储系统的数据处理方法一实施例的流程示意图；
[0024]图4是本申请提供的分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统的数据处理方法，其特征在于，所述分布式存储系统包括主节点设备、至少一个从节点设备和至少一个学习节点设备，所述主节点设备、所述从节点设备和所述学习节点设备用于与至少一个控制设备交互，所述方法应用于所述学习节点设备，所述方法包括：在所述学习节点设备创建时，接收所述至少一控制设备中目标控制设备发送的第一读请求；将所述第一读请求发送至所述主节点设备；接收所述主节点设备发送的对应所述第一读请求的目标数据；将所述目标数据进行存储，以及将所述目标数据发送至所述目标控制设备。2.根据权利要求1所述的方法，其特征在于，所述接收所述主节点设备发送的对应所述第一读请求的目标数据，还包括：接收所述主节点设备发送的对应所述第一读请求的目标数据和所述主节点设备当前所应用的第一日志；所述方法还包括：获取所应用的第二日志；其中，所述第二日志由所述学习节点设备从所述主节点设备中复制至少部分所述第一日志形成；根据所述第一日志和所述第二日志的索引大小关系，对所述第二日志进行处理。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一日志和所述第二日志的索引大小关系，对所述第二日志进行处理，包括：若所述第一日志的索引大于所述第二日志的索引，则确定所述第一日志的索引和所述第二日志的索引之间的索引差范围；确定在所述索引差范围内的第二日志；不执行与所述读请求相关的所述索引差范围内的第二日志所记录的操作。4.根据权利要求2所述的方法，其特征在于，所述根据所述第一日志和所述第二日志的索引大小关系，对所述第二日志进行处理，包括：若所述第二日志的索引大于所述第一日志的索引，则确定所述第一日志的索引和所述第二日志的索引之间的索引差范围；确定在所述索引差范围内的第二日志；以所述目标数据为基准数据，重新执行与所述读请求相关的所述索引差范围内的第二日志所记录的操作。5.根据权利要求4所述的方法，其特征在于，所述以所述目标数据为基准数据，重新执行与所述读请求相关的第二日志所记录的操作，包括：按照所述索引差范围内的索引依次执行与所述读请求相关的所述索引差范围内的第二日志所记录的操作；将每次更新的所述目标数据进行存储，以作为下次更新的基准数据。6.根据权利要求1所述的方法，其特征在于，
所述方法还包括：在将所述第一读请求发送至所述主节点设备之后，接收所述至少一控制设备中另一目标控制设备发送的第二读请求；若所述第二读请求和所述第一读请求对应同一目标；基于所述第二读请求接收所述主节点设备当前所应用的第一日志的索引；获取当前所应用的第二日志的索引；在所...

【专利技术属性】
技术研发人员：练文健，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：