一种多存储节点负载均衡的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种多存储节点负载均衡的方法及装置。其中，方法包括引入了基本节点的概念，具体的根据存储节点的存储容量信息和性能信息对其进行量化得到量化值，根据量化值的大小分配基本节点，所述基本节点的个数随着所述量化值的升高而增多，然后将所述存储节点加入集群，接收数据请求，根据一致性哈希算法从所述存储节点进行数据的读写。根据性能信息和容量信息充分有效的利用了各存储节点，有效的解决了容量和性能异构的多存储节点负载均衡的问题。此外，本发明专利技术实施例还针对实现多存储节点负载均衡的方法提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。

【技术实现步骤摘要】

本专利技术涉及存储
，特别是涉及一种多存储节点负载均衡的方法及装置。
技术介绍
随着计算机技术的飞速发展和数字化时代的到来，在日常生活、科研研究以及公司业务中越来越多的开始使用数字化和网络化技术，使得数据呈现爆炸式增长，而数据的产生往往是需要承载或记录的，这就迫使存储技术快速发展以容纳快速增长的数据，分布式存储系统应用而生。分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存储所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。由于其良好的扩展性、较高的可靠性和高的性价比，受到越来越多的公司和科研机构尤其是互联网领域的公司的青睐。在分布式存储系统中由于有多个存储节点可以储存客户数据，这就引发一个问题即数据存在哪个节点或哪些节点，并且保证在读取的时候可以快速找到存储的节点，这就需要在存储和读取时满足单调性、分散性要求。现有技术中，往往通过一致性的哈希算法解决上述问题。所述哈希算法就是单向散列算法，它把某个较大的集合P映射到另一个较小的集合Q中，假如这个算法叫H，那么就有Q＝H(P)。对于P中任何一个值p都有唯一确定的q与之对应，但是一个q可以对应多个p。应用在分布式存储领域，如图1所示，哈希算法具体为首先计算出各存储节点的哈希值，并将其配置到0～232-1的圆上；然后采用同样的方法求出存储数据的键的哈希值，并映射到相同的圆上；然后从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个存储节点上，如果超过232仍然找不到存储节点，就会保存到第一个存储节点上。一致性哈希算法尽管解决了多个存储节点间数据分布问题，但是由于每个节点的性能或容量可能是不同的，而一致性哈希算法平等无差别的对待环上的每一个存储节点，这就导致对于性能高的节点没有很好的有效利用，而性能低的节点可能会由于存储太多导致运行太慢甚至崩溃。
技术实现思路
本专利技术实施例的目的是提供一种多存储节点负载均衡的方法及装置，根据节点的性能和容量充分有效的利用各存储节点，有效的解决了容量和性能异构的多存储节点负载均衡的问题。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种多存储节点负载均衡的方法，包括：获取存储节点的存储容量信息和性能信息；根据所述存储容量信息和所述性能信息对所述存储节点进行量化，得到量化值；根据所述量化值确定所述存储节点分配基本节点的个数，所述基本节点的个数随着所述量化值的升高而增多；将所述存储节点加入集群，接收读写请求；根据一致性哈希算法从所述存储节点进行读写数据。优选的，所述将所述存储节点加入集群具体为：从当前基本节点Ni的映射位置查找下一个基本节点N1；判断所述基本节点N1是否属于所述当前基本节点Ni对应的所述存储节点；当判定所述基本节点N1不属于所述存储节点时，将所述当前基本节点Ni与所述基本节点N1的映射关系移动到与所述当前基本节点Ni对应的所述存储节点；当判定所述基本节点N1属于所述存储节点时，继续执行下述步骤；继续查找下一个基本节点N2，执行相同的判断操作；当所述存储节点对应的所述基本节点都查找结束，将所述存储节点加入所述集群。优选的，还包括：当所述存储节点的所述量化值发生变化时，将所述存储节点移出所述集群。优选的，所述将所述存储节点移出所述集群为：获取所述存储节点对应的各基本节点信息；从当前基本节点Nj的映射位置查找不属于所述存储节点的基本节点Na，将所述当前基本节点Nj与所述基本节点Na的映射关系移动到与所述基本节点Na对应的所述存储节点上，将所述当前基本节点Nj从所述一致性哈希算法的圆空间上移除；继续查找下一个基本节点Nb，执行相同的操作；当所述存储节点对应的所述基本节点都查找结束，将所述存储节点移出所述集群。优选的，所述根据一致性哈希算法从所述存储节点进行读写数据为：根据所述一致性哈希算法计算待读写数据的哈希值，并将所述哈希值映射到所述一致性哈希算法的圆空间上；从所述哈希值映射到所述一致性哈希算法的圆空间上的位置处找到第一个基本节点；寻找所述基本节点对应的所述存储节点；发送读写请求到所述存储节点；从所述存储节点对所述数据进行读写。优选的，所述根据所述存储容量信息和所述性能信息对所述存储节点进行量化，得到量化值为：根据所述存储节点的存储容量信息以及所述性能信息，利用公式max{容量值*性能值，1本文档来自技高网...

【技术保护点】
一种多存储节点负载均衡的方法，其特征在于，包括：获取存储节点的存储容量信息和性能信息；根据所述存储容量信息和所述性能信息对所述存储节点进行量化，得到量化值；根据所述量化值确定所述存储节点分配基本节点的个数，所述基本节点的个数随着所述量化值的升高而增多；将所述存储节点加入集群，接收读写请求；根据一致性哈希算法从所述存储节点进行读写数据。

【技术特征摘要】
1.一种多存储节点负载均衡的方法，其特征在于，包括：获取存储节点的存储容量信息和性能信息；根据所述存储容量信息和所述性能信息对所述存储节点进行量化，得到量化值；根据所述量化值确定所述存储节点分配基本节点的个数，所述基本节点的个数随着所述量化值的升高而增多；将所述存储节点加入集群，接收读写请求；根据一致性哈希算法从所述存储节点进行读写数据。2.根据权利要求1所述的方法，其特征在于，所述将所述存储节点加入集群具体为：从当前基本节点Ni的映射位置查找下一个基本节点N1；判断所述基本节点N1是否属于所述当前基本节点Ni对应的所述存储节点；当判定所述基本节点N1不属于所述存储节点时，将所述当前基本节点Ni与所述基本节点N1的映射关系移动到所述当前基本节点Ni对应的所述存储节点；当判定所述基本节点N1属于所述存储节点时，继续执行下述步骤；继续查找下一个基本节点N2，当所述存储节点对应的所述基本节点都查找结束，将所述存储节点加入所述集群。3.根据权利要求2所述的方法，其特征在于，还包括：当所述存储节点的所述量化值发生变化时，将所述存储节点移出所述集群。4.根据权利要求3所述的方...

【专利技术属性】
技术研发人员：卓保特，张仁峰，姜怡坤，闫永刚，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南;41