数据处理和节点部署的方法、装置、电子设备及介质制造方法及图纸

本公开涉及一种数据处理和节点部署的方法、装置、电子设备及介质，应用于服务集群的主节点的数据处理的方法包括：接收携带有待存储数据的数据提交请求；对上述待存储数据进行分段和编码处理，得到包含预设个数的原始数据段和校验数据段的目标数据，并生成对应的目标日志；根据预定义的节点存储角色，将上述目标日志和上述目标数据中匹配于上述主节点的数据段进行存储，并向上述服务集群中的从节点发送日志复制指令；其中，针对每个从节点，上述日志复制指令中携带有上述目标日志的信息和上述目标数据中匹配于当前从节点的数据段；以及根据从节点对上述日志复制指令的执行反馈结果，生成针对上述数据提交请求的响应结果。生成针对上述数据提交请求的响应结果。生成针对上述数据提交请求的响应结果。

【技术实现步骤摘要】
数据处理和节点部署的方法、装置、电子设备及介质


[0001]本公开涉及存储
，尤其涉及一种数据处理和节点部署的方法、装置、电子设备及介质。

技术介绍

[0002]随着各种应用的不断开发和更新，用户数据、运维数据、运营数据等相关的数据量呈指数级增加，存储容量和存储可靠性成为衡量存储系统的关键指标。为了提升存储系统的可靠性、可用性和存取效率，分布式存储系统应运而生。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了存储系统的可靠性、可用性和存取效率，还易于扩展。
[0003]然而，目前的存储系统在多副本管理层面，基于日志一致性的相关共识算法/协议(例如Paxos共识算法，Raft共识算法等)能够实现副本存储的一致性，但是应用场景局限，仅支持在存储系统中的各个节点存储数据一致的情况，数据冗余度较高。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种数据处理和节点部署的方法、装置、电子设备及介质。
[0005]第一方面，本公开的实施例提供了一种数据处理的方法，上述方法应用于服务集群的主节点。上述方法包括：接收携带有待存储数据的数据提交请求；对上述待存储数据进行分段和编码处理，得到包含预设个数的原始数据段和校验数据段的目标数据，并生成对应的目标日志；根据预定义的节点存储角色，将上述目标日志和上述目标数据中匹配于上述主节点的数据段进行存储，并向上述服务集群中的从节点发送日志复制指令；其中，针对每个从节点，上述日志复制指令中携带有上述目标日志的信息和上述目标数据中匹配于当前从节点的数据段；以及根据从节点对上述日志复制指令的执行反馈结果，生成针对上述数据提交请求的响应结果。
[0006]根据本公开的实施例，上述根据预定义的节点存储角色，将上述目标日志和匹配于上述主节点的数据段进行存储，并向上述服务集群中的从节点发送日志复制指令，包括：根据预定义的节点存储角色，在上述目标数据中确定匹配于上述主节点的数据段和匹配于各个从节点的数据段；将上述目标日志存储于日志文件存储区域，将上述匹配于上述主节点的数据段存储至上述主节点的存储引擎；以及向上述服务集群中的从节点发送日志复制指令，上述日志复制指令用于指示每个从节点来存储上述目标日志和对应存储各自匹配的数据段。
[0007]根据本公开的实施例，上述服务集群包括用于存储的T个节点，T为正整数。上述对上述待存储数据进行分段和编码处理，得到包含预设个数的原始数据段和校验数据段的目标数据，并生成对应的目标日志，包括：根据预设分段个数K，将上述待存储数据划分为K个原始数据段，K为正整数；根据预设校验个数M，对上述K个原始数据段进行纠删码编码计算，
得到M个校验数据段，M为自然数；其中上述K个原始数据段和上述M个校验数据段构成目标数据，节点个数T满足：T＝K+M；为上述目标数据分配对应的数据标识；以及在上述主节点的日志序列的末尾追加一条与上述目标数据的数据标识相关的目标日志。
[0008]根据本公开的实施例，以键
‑
值对的形式存储上述匹配于上述主节点的数据段，上述目标数据的数据标识作为键
‑
值对中的键进行存储，上述目标数据中匹配于上述主节点的数据段对应作为键
‑
值对中的值进行存储。
[0009]根据本公开的实施例，上述根据从节点对上述日志复制指令的执行反馈结果，生成针对上述数据提交请求的响应结果，包括：根据上述从节点的执行反馈结果是否满足预设的提交共识条件，确定是否将上述目标日志提交至状态机；以及根据上述目标日志的提交状态，生成针对上述数据提交请求的响应结果。
[0010]根据本公开的实施例，上述原始数据段的个数为预设的K个，上述校验数据段的个数为预设的M个，K为正整数，M为自然数；上述提交共识条件包括：当上述主节点和上述从节点中至少有K
′
+F个节点将目标日志存储成功时，将上述目标日志提交至状态机；其中，K
′
表示原始数据段对应的节点个数，F为预设的整数值，用于表征容错可靠性，F满足以下条件：0≤F≤M
′
，M
′
表示校验数据段对应的节点个数，K
′
的值与K的值相等，M
′
的值与M的值相等。
[0011]根据本公开的实施例，在上述服务集群中，上述主节点的产生条件为：在本轮任期内，在上述服务集群中存在目标候选节点接收到其余候选节点的投票个数值超过：Max(T/2+1，K
′
+F)的情况下，将上述目标节点作为本轮任期内的主节点，其中，T为服务集群中用于存储的节点总个数，T＝K
′
+M
′
，K
′
表示原始数据段对应的节点个数，M
′
表示校验数据段对应的节点个数，F为预设的整数值，用于表征容错可靠性，F满足以下条件：0≤F≤M
′
。
[0012]第二方面，本公开的实施例提供了一种数据处理的方法，上述方法应用于服务集群的从节点。针对每个从节点，上述方法包括：接收上述服务集群中的主节点发送的日志复制指令，上述日志复制指令中携带有：目标日志的信息，目标数据中匹配于当前从节点的数据段；其中上述目标数据包含待存储数据经过分段和编码处理后得到的预设个数的原始数据段和校验数据段；将上述目标数据中匹配于当前从节点的数据段和上述目标日志进行存储；监测上述匹配于当前从节点的数据段的第一存储状态和上述目标日志的第二存储状态；根据上述第一存储状态和上述第二存储状态，生成用于向上述服务集群的主节点反馈的执行反馈结果。
[0013]根据本公开的实施例，根据上述第一存储状态和上述第二存储状态，生成用于向上述服务集群的主节点反馈的执行反馈结果，包括：在上述第一存储状态和上述第二存储状态均为存储成功的情况下，生成目标日志存储成功的执行反馈结果；在上述第一存储状态和上述第二存储状态中至少有一个为存储失败的情况下，生成目标日志存储失败的执行反馈结果。
[0014]根据本公开的实施例，以键
‑
值对的形式存储上述匹配于上述从节点的数据段，上述目标数据的数据标识作为键
‑
值对中的键进行存储，上述目标数据中匹配于上述从节点的数据段对应作为键
‑
值对中的值进行存储。
[0015]第三方面，本公开的实施例提供了一种服务集群的节点部署的方法。上述方法包括：接收对服务集群中的节点进行存储定义的定义信息，其中，上述定义信息用于限定上述节点与数据段序号之间的存储映射关系；根据上述定义信息，为各个节点配置节点存储角
色；以及根据主节点的产生条件，在上述服务集群中生成主节点和从节点，上述主节点和上述从节点各自具有对应的节点存储角色。其中，上述数据段序号的总个数为预设分段个数和预设校验个数的总和，上述预设分段个数用于划分待存储数据以得到原始数据段，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，应用于服务集群的主节点，所述方法包括：接收携带有待存储数据的数据提交请求；对所述待存储数据进行分段和编码处理，得到包含预设个数的原始数据段和校验数据段的目标数据，并生成对应的目标日志；根据预定义的节点存储角色，将所述目标日志和所述目标数据中匹配于所述主节点的数据段进行存储，并向所述服务集群中的从节点发送日志复制指令；其中，针对每个从节点，所述日志复制指令中携带有所述目标日志的信息和所述目标数据中匹配于当前从节点的数据段；以及根据从节点对所述日志复制指令的执行反馈结果，生成针对所述数据提交请求的响应结果。2.根据权利要求1所述的方法，其特征在于，所述根据预定义的节点存储角色，将所述目标日志和匹配于所述主节点的数据段进行存储，并向所述服务集群中的从节点发送日志复制指令，包括：根据预定义的节点存储角色，在所述目标数据中确定匹配于所述主节点的数据段和匹配于各个从节点的数据段；将所述目标日志存储于日志文件存储区域，将所述匹配于所述主节点的数据段存储至所述主节点的存储引擎；以及向所述服务集群中的从节点发送日志复制指令，所述日志复制指令用于指示每个从节点来存储所述目标日志和对应存储各自匹配的数据段。3.根据权利要求1所述的方法，其特征在于，所述服务集群包括用于存储的T个节点，T为正整数；所述对所述待存储数据进行分段和编码处理，得到包含预设个数的原始数据段和校验数据段的目标数据，并生成对应的目标日志，包括：根据预设分段个数K，将所述待存储数据划分为K个原始数据段，K为正整数；根据预设校验个数M，对所述K个原始数据段进行纠删码编码计算，得到M个校验数据段，M为自然数；其中所述K个原始数据段和所述M个校验数据段构成目标数据，节点个数T满足：T＝K+M；为所述目标数据分配对应的数据标识；以及在所述主节点的日志序列的末尾追加一条与所述目标数据的数据标识相关的目标日志。4.根据权利要求3所述的方法，其特征在于，以键
‑
值对的形式存储所述匹配于所述主节点的数据段，所述目标数据的数据标识作为键
‑
值对中的键进行存储，所述目标数据中匹配于所述主节点的数据段对应作为键
‑
值对中的值进行存储。5.根据权利要求1所述的方法，其特征在于，所述根据从节点对所述日志复制指令的执行反馈结果，生成针对所述数据提交请求的响应结果，包括：根据所述从节点的执行反馈结果是否满足预设的提交共识条件，确定是否将所述目标日志提交至状态机；以及根据所述目标日志的提交状态，生成针对所述数据提交请求的响应结果。6.根据权利要求5所述的方法，其特征在于，所述原始数据段的个数为预设的K个，所述
校验数据段的个数为预设的M个，K为正整数，M为自然数；所述提交共识条件包括：当所述主节点和所述从节点中至少有K
′
+F个节点将目标日志存储成功时，将所述目标日志提交至状态机；其中，K
′
表示原始数据段对应的节点个数，F为预设的整数值，用于表征容错可靠性，F满足以下条件：0≤F≤M
′
，M
′
表示校验数据段对应的节点个数，K
′
的值与K的值相等，M
′
的值与M的值相等。7.根据权利要求1所述的方法，其特征在于，在所述服务集群中，所述主节点的产生条件为：在本轮任期内，在所述服务集群中存在目标候选节点接收到其余候选节点的投票个数值超过：Max(T/2+1，K
′
+F)的情况下，将所述目标节点作为本轮任期内的主节点，其中，T为服务集群中用于存储的节点总个数，T＝K
′
+M
′
，K
′
表示原始数据段对应的节点个数，M
′
表示校验数据段对应的节点个数，F为预设的整数值，用于表征容错可靠性，F满足以下条件：0≤F≤M
′
。8.一种数据处理的方法，其特征在于，应用于服务集群的从节点，针对每个从节点，所述方法包括：接收所述服务集群中的主节点发送的日志复制指令，所述日志复制指令中携带有：目标日志的信息，目标数据中匹配于当前从节点的数据段；其中所述目标数据包含待存储数据经过分段和编码处理...

【专利技术属性】
技术研发人员：郝敬龙，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：