分布式集群系统及数据写入方法、电子设备、存储装置制造方法及图纸

本发明专利技术公开了分布式集群系统及数据写入方法、电子设备、存储装置。该分布式集群系统包括互相连接的管理节点和多个数据节点；管理节点用于：将包含待写入数据的第一写入指令发送给所有数据节点，确定已写入待写入数据的正常数据节点和未写入待写入数据的故障数据节点；以及将故障数据节点的节点信息发送给正常数据节点；正常数据节点用于：接收第一写入指令，写入待写入数据；以及接收故障数据节点的节点信息，并基于节点信息将包含待写入数据的第二写入指令发送至故障数据节点，以指示接收到第二写入指令的故障数据节点写入待写入数据。通过上述方法，本发明专利技术能够避免分布式集群系统的数据写入过程对网络情况的过度依赖，以确保其高可用性。

【技术实现步骤摘要】
分布式集群系统及数据写入方法、电子设备、存储装置
本专利技术涉及数据处理
，特别是涉及一种分布式集群系统及数据写入方法、电子设备、存储装置。
技术介绍
在分布式集群的实际应用中，常常需要同时写入多个文件的数据，以确保一致，而要写入的可能是多个备份文件，也可能是多个配置文件等。即便使用现有的分布式文件系统或数据库保存此类数据，那至少也需要在各节点的本地文件中配置分布式文件系统或数据库其他节点的网络地址，这个地址在变化时也需要统一修改。而在写入多个文件时，为了确保一致性往往采用完整严格的验证，即所有节点写入成功才执行成功，但当个别节点出现网络问题时，会导致写入一直无法执行成功。或者直接使用人工写入各个文件，配置完成后再启动各个节点的方式，这种方式在写入时工作量过大。因此，如何解决分布式集群的数据写入过程对网络情况的过度依赖，是本领域技术人员目前需要解决的技术问题。
技术实现思路
本专利技术主要解决的技术问题提供一种分布式集群系统及数据写入方法、电子设备、存储装置，以解决分布式集群系统的数据写入过程对网络情况的过度依赖的问题，确保分布式集群系统的高可用性。为解决上述技术问题，本专利技术采用的一个技术方案是提供一种分布式集群系统，所述分布式集群系统包括互相连接的管理节点和多个数据节点；所述管理节点用于：将包含待写入数据的第一写入指令发送给所有所述数据节点，并将所述多个数据节点确定为已写入所述待写入数据的正常数据节点和未写入所述待写入数据的故障数据节点；以及将所述故障数据节点的节点信息发送给所述正常数据节点；所述正常数据节点用于：接收由所述管理节点发送的所述第一写入指令，响应所述第一写入指令以写入所述待写入数据；以及接收所述管理节点发送的所述故障数据节点的节点信息，并基于所述节点信息确定所述故障数据节点并将包含待写入数据的第二写入指令发送至所述故障数据节点，以指示接收到所述第二写入指令的所述故障数据节点写入所述待写入数据。为解决上述技术问题，本专利技术采用的另一个技术方案是提供一种数据写入方法，所述方法应用于由管理节点和多个数据节点组成的分布式集群系统，所述方法包括：所述管理节点将包含待写入数据的第一写入指令发送给所有所述数据节点；基于所述第一写入指令的执行结果，将所述多个数据节点确定为已写入所述待写入数据的正常数据节点和未写入所述待写入数据的故障数据节点；将所述故障数据节点的节点信息发送给所述正常数据节点，以使所述正常数据节点指示所述故障数据节点重新写入所述待写入数据。为解决上述技术问题，本专利技术采用的另一个技术方案是提供一种电子设备，所述电子设备包括相互耦接的通信电路、存储器和处理器；所述通信电路用于与各数据节点进行通信；所述存储器用于存储程序数据；所述处理器执行所述程序数据，用于实现如上所述的方法；或所述电子设备为上述的分布式集群系统中的管理节点。为解决上述技术问题，本专利技术采用的另一个技术方案是提供一种存储装置，所述存储装置存储有程序数据，所述程序数据能够被执行以实现如上所述的方法。本专利技术的有益效果是：区别于现有技术的情况，本申请的分布式集群系统，通过管理节点将包含待写入数据的第一写入指令发送给所有数据节点，并将多个数据节点确定为已写入待写入数据的正常数据节点和未写入待写入数据的故障数据节点，由于数据节点中的正常数据节点可以接收由管理节点发送的第一写入指令，响应第一写入指令以写入待写入数据，而故障数据节点则不能写入待写入数据，于是管理节点将故障数据节点的节点信息发送给正常数据节点，正常数据节点接收管理节点发送的故障数据节点的节点信息，并基于节点信息确定故障数据节点并将包含待写入数据的第二写入指令发送至故障数据节点，以指示接收到第二写入指令的故障数据节点写入待写入数据，使得在通过管理节点对故障数据节点写入数据失败时，可以通过其他正常数据节点再次对故障数据节点进行数据的写入，可以避免由于网闸或网络故障等原因而使部分故障数据节点无法进行数据的写入、进而导致分布式集群系统的数据写入过程无法完成，解决了分布式集群系统的数据写入过程对网络情况的过度依赖的问题，确保了分布式集群系统的高可用性。附图说明图1是本专利技术提供的一种分布式集群系统的一实施例的结构示意图；图2是本专利技术提供的分布式集群系统的第一应用场景的工作原理示意图；图3是本专利技术提供的分布式集群系统的第二应用场景的工作原理示意图；图4是本专利技术提供的分布式集群系统的第三应用场景的工作原理示意图；图5是本专利技术提供的一种数据写入方法的第一实施例的流程示意图；图6是本专利技术提供的一种数据写入方法的第二实施例的流程示意图；图7是本专利技术提供的一种数据写入方法的第三实施例的流程示意图；图8是本专利技术提供的电子设备一实施例的结构示意图；图9是本专利技术提供的存储装置一实施例的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本专利技术保护的范围。请参阅图1，图1是本专利技术提供的一种分布式集群系统的一实施例的结构示意图。本申请中的分布式集群系统包括管理节点10和多个数据节点12，其中，管理节点10与每个数据节点12之间互相连接，且每个数据节点12之间也相互连接，数据节点12的数量为多个，例如4个、5个等等，可以根据实际需要进行设置，在此不做限定。本申请中，管理节点10用于：将包含待写入数据的第一写入指令发送给所有数据节点12，并将多个数据节点12确定为已写入待写入数据的正常数据节点和未写入待写入数据的故障数据节点；以及将故障数据节点的节点信息发送给正常数据节点。正常数据节点用于：接收由管理节点10发送的第一写入指令，响应第一写入指令以写入待写入数据；以及接收管理节点10发送的故障数据节点的节点信息，并基于节点信息确定故障数据节点并将包含待写入数据的第二写入指令发送至故障数据节点，以指示接收到第二写入指令的故障数据节点写入待写入数据。在分布式集群系统的数据写入过程中，通过管理节点10将包含待写入数据的第一写入指令发送给所有的数据节点12，由数据节点12接收该第一写入指令，并响应该第一写入指令以写入该待写入数据；但由于数据节点12自身故障原因或者与管理节点10之间的网络原因，部分数据节点12可能并不能接收到该第一写入指令，或者接收到该第一写入指令却不能响应该第一写入指令，因此这部分数据节点12无法写入待写入数据，这些未写入待写入数据的数据节点12被确定为故障数据节点，而其他可以接收到该第一写入指令、并且可以响应该第一写入指令以写入待写入数据的数据节点12被确定为正常数据节点。若故障数据节点是由于其与管理节点10之间的网络原因而导致不能接收到该第一写入指令时，此时管理节点10可以将故障数据节点的节点信息发送给正常数据节点，而正常数据节点在接收到管理节点10本文档来自技高网...

【技术保护点】
1.一种分布式集群系统，其特征在于，所述分布式集群系统包括互相连接的管理节点和多个数据节点；/n所述管理节点用于：将包含待写入数据的第一写入指令发送给所有所述数据节点，并将所述多个数据节点确定为已写入所述待写入数据的正常数据节点和未写入所述待写入数据的故障数据节点；以及将所述故障数据节点的节点信息发送给所述正常数据节点；/n所述正常数据节点用于：接收由所述管理节点发送的所述第一写入指令，响应所述第一写入指令以写入所述待写入数据；以及接收所述管理节点发送的所述故障数据节点的节点信息，并基于所述节点信息确定所述故障数据节点并将包含待写入数据的第二写入指令发送至所述故障数据节点，以指示接收到所述第二写入指令的所述故障数据节点写入所述待写入数据。/n

【技术特征摘要】
1.一种分布式集群系统，其特征在于，所述分布式集群系统包括互相连接的管理节点和多个数据节点；
所述管理节点用于：将包含待写入数据的第一写入指令发送给所有所述数据节点，并将所述多个数据节点确定为已写入所述待写入数据的正常数据节点和未写入所述待写入数据的故障数据节点；以及将所述故障数据节点的节点信息发送给所述正常数据节点；
所述正常数据节点用于：接收由所述管理节点发送的所述第一写入指令，响应所述第一写入指令以写入所述待写入数据；以及接收所述管理节点发送的所述故障数据节点的节点信息，并基于所述节点信息确定所述故障数据节点并将包含待写入数据的第二写入指令发送至所述故障数据节点，以指示接收到所述第二写入指令的所述故障数据节点写入所述待写入数据。


2.如权利要求1所述的分布式集群系统，其特征在于，在执行所述将所述故障数据节点的节点信息发送给所述正常数据节点之后，所述管理节点还用于：更新所述数据节点中的正常数据节点和故障数据节点，并判断更新后的所述正常数据节点是否满足预设条件；若满足，则确定所述分布式集群系统的数据写入成功。


3.如权利要求2所述的分布式集群系统，其特征在于，
所述预设条件为所述多个数据节点中的预设重要数据节点均为所述正常数据节点。


4.如权利要求3所述的分布式集群系统，其特征在于，
所述故障数据节点用于：在自身的故障被排除后，获取所述预设重要数据节点中的当前数据，并将所述当前数据更新至自身节点中。


5.如权利要求2所述的分布式集群系统，其特征在于，
每个所述数据节点预设有对应权重值；所述预设条件为所有正常数据节点的权重值之和大于预设阈值。


6.如权利要求5所述的分布式集群系统，其特征在于，
所述故障数据节点用于：在自身的故障被排除后，获取每个所述数据节点中的当前数据，选择具有相同当前数据、且权重值之和大于所述预设阈值的所述数据节点的当前数据，并将所述选择的当前数据更新至自身节点中。


7.如权利要求2所述的分布式集群系统，其特征在于，所述故障数据节点的节点信息包括所述故障数据节点的地址信息；和/或
所述管理节点在执行所述将所述多个数据节点确定为已写入所述待写入数据的正常数据节点和未写入所述待写入数据的故障数据节点时，包括：
接收所述数据节点反馈的对所述待写入数据的第一写入成功消息，将发送所述第一写入成功消息的数据节点确定为所述正常数据节点，其余数据节点确定为所述故障数据节点；
所述管理节点在执行所述更新所述数据节点中的正常数据节点和故障数据节点时，包括：
接收所述故障数据节点反馈的所述待写入数据的第二写...

【专利技术属性】
技术研发人员：关超，卜辉，
申请(专利权)人：海能达通信股份有限公司，
类型：发明
国别省市：广东;44