The invention relates to a distributed fault-tolerant key value storage method, which comprises the following steps: establishing a ring topology of key value storage based on Cassandra architecture; setting a coordination service architecture of each node in the ring topology; selecting at least two nodes from the nodes based on coordination service architecture as coordination nodes in response to receiving multiple add, delete, and modify tasks; processing add, delete, and modify in coordination nodes Task search. The coordination service architecture endows all nodes with the ability to realize all functions, and can complete the work as coordination nodes and service nodes. At the same time, the storage will contain multiple nodes, establish multiple copies, and each copy is backup to each other. Data read and write requests can be distributed to multiple nodes and multiple copies, thus realizing distributed fault-tolerant function, improving data consistency, solving the problem of load balance and task delay of nodes.
【技术实现步骤摘要】
一种分布式容错键值存储的方法及装置
本专利技术涉及大数据数据存储
本专利技术进一步涉及一种分布式容错键值存储的方法及装置。
技术介绍
分布式系统中的数据存储器通常可以包括跨分布式系统的多个存储结构实施键值存储,其中键可以表示索引并且值可以表示存储和/或检索的对象。通过分布式系统的协调节点可以对指定的键值存储结构进行访问。NoSQL的结构通常提供弱一致性的保证,如最终一致性,或仅限于单个的数据项。这些特性意味着NoSQL数据库、Key-Value键值存储给予最终更多的自由度去选择更高性能、高可用以及更好扩展性的数据存储方法及方案。在对数据库中的数据进行CRUD增删改查操作时,基于Cassandra构架建立拓扑结构,Cassandra使用了分布式的Hash-Table环,这个环实现了Key->ServerNode键-服务节点的映射,映射到这个环的键被关联到了特定的服务器节点。分配、映射键使用了某种特定的算法,如hash、基于键范围选值或者某种更复杂的方法。在环中的所有服务器节点中有一个协调节点,通过类似于Paxos的一致性算法选出。然而,基于键值存储的关系型数据库在执行规模小而读写频繁、者大批量极少写访问的事务时,表现出来的性能通常不够理想,一致性不足、容错能力较差并且节点资源负载不均衡。因此,需要提供一种在基于键值存储的关系型数据库执行大批量、小型读写任务时提高一致性、增强容错能力并均衡节点负载的解决方案。
技术实现思路
一方面,本专利技术基于上述目的提出了一种分布式容错键值存储的方法,包括以下步骤:基于Cassandra构架建立键值存储的环形拓扑 ...
【技术保护点】
1.一种分布式容错键值存储的方法,其特征在于,所述方法包括以下步骤:基于Cassandra构架建立所述键值存储的环形拓扑;设置所述环形拓扑中各节点的协调服务架构;响应于接收到多个增删改查任务,从基于所述协调服务架构的所述节点中选择至少两个所述节点作为协调节点;在所述协调节点处理所述增删改查任务。
【技术特征摘要】
1.一种分布式容错键值存储的方法,其特征在于,所述方法包括以下步骤:基于Cassandra构架建立所述键值存储的环形拓扑;设置所述环形拓扑中各节点的协调服务架构;响应于接收到多个增删改查任务,从基于所述协调服务架构的所述节点中选择至少两个所述节点作为协调节点;在所述协调节点处理所述增删改查任务。2.根据权利要求1所述的方法,其特征在于,所述协调服务架构包括私有成员协议、虚拟环拓扑和增删改查功能组件。3.根据权利要求2所述的方法,其特征在于,所述私有成员协议由传输层协议和故障检测协议组成,所述传输层协议配置为以组播的方式通知各节点所述环形拓扑的拓扑信息;所述故障检测协议配置为通过所述节点对于节点恢复请求的响应判断所述节点的故障情况。4.根据权利要求3所述的方法,其特征在于,还包括:基于所述拓扑信息通过哈希算法计算得出所述虚拟环拓扑。5.根据权利要求2所述的方法,其特征在于,所述在所述协调节点处理所述增删改查任务进一步包括:将所述多个增删改查任务分配至至少两个所述协调节点;所述至少两个协调节点并行地根据所分配到的所述增删改查任务基于所述增删改查功能组件生成执行指令;将所述执行指令发送至相应的所述服务节点,使所述服务节点按照写时复制机制和/或读时同步机制执行所述增删改查任务。6.根据权利要求5所述的方法,其特征在于,所述写时复制...
【专利技术属性】
技术研发人员:孙希发,陈英南,
申请(专利权)人:苏州浪潮智能科技有限公司,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。