一种基于分布式存储系统的负载均衡方法及装置制造方法及图纸

本申请实施例提供一种基于分布式存储系统的负载均衡方法及装置，涉及计算机领域，该方法包括：接收数据传输请求；当数据传输请求为数据存储请求时，获取数据存储请求包括的待存储数据；根据待存储数据和预设的节点副本映射表，确定用于负载均衡的分发策略；根据分发策略对待存储数据进行分布式存储处理。可见，实施这种实施方式，能够针对到每个数据传输请求，完成定向分发，达到负载均衡的目标，进而提升存储效率。

A load balancing method and device based on distributed storage system

【技术实现步骤摘要】
一种基于分布式存储系统的负载均衡方法及装置
本申请涉及计算机
，具体而言，涉及一种基于分布式存储系统的负载均衡方法及装置。
技术介绍
在分布式存储系统中，通常是使用多副本的形式实现数据冗余，防止物理磁盘损坏导致数据丢失。多副本使用了多倍的存储空间，存放在不同的物理机器(存储主机)和物理磁盘上。现有基于分布式存储系统的负载均衡方法，通常采用轮询算法，将请求按顺序轮流分配到每个存储副本上，均衡的对待每个存储副本。然而，在实践中发现，不同的存储副本的负载情况不同，均衡分配请求至每个存储副本，容易导致分布式存储不均衡以及存储效率低问题。
技术实现思路
本申请实施例的目的在于提供一种基于分布式存储系统的负载均衡方法及装置，能够针对到每个数据传输请求，完成定向分发，达到负载均衡的目标，进而提升存储效率。本申请实施例第一方面提供了一种基于分布式存储系统的负载均衡方法，所述方法包括：接收数据传输请求；当所述数据传输请求为数据存储请求时，获取所述数据存储请求包括的待存储数据；根据所述待存储数据和预设的节点副本映射表，确定用于负载均衡的分发策略；根据所述分发策略对所述待存储数据进行分布式存储处理。在上述实现过程中，该方法优先接收用户数发送过来的数据传输请求，并判断数据传输请求是否为数据存储请求；若数据传输请求确为数据存储请求，则在数据存储请求中获取该数据存储请求包括的待存储数据；在获取到待存储数据之后，该方法再根据待存储数据和预设的节点副本映射表来确定用于负载均衡的分发策略；以使该方法可以通过该分发策略对待存储数据进行分布式存储处理。可见，实施这种实施方式，该方法能够根据用户的指令请求来进行后续工作，以使负载均衡的方法是基于最初指令所进行的，从而提高负载均衡方法的执行准确度；同时，因为负载均衡体现在数据存储之上，而该数据存储又是基于待存储数据和负载均衡的分发策略的，可见，该种方法能够针对到每个数据传输请求来完成数据的定向分发，从而实现负载均衡的目的，进而提升存储效率。进一步地，基于分布式存储系统的负载均衡方法还包括：当所述数据传输请求为数据读取请求时，获取所述数据读取请求包括的读取地址信息；根据所述读取地址信息和预设的编号计算规则，计算待读取数据的目标虚拟节点编号；根据预设的节点副本映射表，计算与所述目标虚拟节点编号对应的目标副本编号；在所述目标副本编号对应的存储副本中读取所述待读取数据。在上述实现过程中，该方法还能够在数据传输请求为数据读取请求时，获取数据读取请求包括的读取地址信息；然后再根据读取地址信息和预设的编号计算规则，计算待读取数据的目标虚拟节点编号，以使该方法可以根据预设的节点副本映射表，计算出与目标虚拟节点编号对应的目标副本编号；再根据该目标副本编号查找对应的存储副本，并在该存储副本中读取待读取数据。可见，实施这种实施方式，该负载均衡方法可以在读取的过程中通过多存储副本进行存储分流，从而实现负载均衡的效果，进而提升数据读取效率。进一步地，在所述接收数据传输请求之前，所述方法还包括：获取初始节点副本映射表；根据预设的负载数据收集策略，获取所述分布式存储系统的负载数据；根据所述负载数据，计算所述分布式存储系统中每个存储副本的权重系数；根据所述每个存储副本的权重系数对所述初始节点副本映射表进行调整，得到预设的节点副本映射表。在上述实现过程中，该方法可以在接收数据传输请求之前，可以预先获取初始节点副本映射表；然后再根据预设的负载数据收集策略，获取分布式存储系统的负载数据；在负载数据收集完成之后，根据该负载数据可以准确地计算出分布式存储系统中每个存储副本的权重系数；以使该方法可以根据每个存储副本的权重系数对上述初始节点副本映射表进行调整，得到预设的节点副本映射表。可见，实施这种实施方式，可以在数据传输请求接收或整体负载均衡过程前，预设好节点副本映射表，以使该节点副本映射表是与当前分布式存储系统相对应的，从而提高负载均衡的针对性，进而提高负载均衡的准确程度。进一步地，所述根据所述负载数据，计算所述分布式存储系统中每个存储副本的权重系数包括：根据所述负载数据和预设的配置参数，计算所述分布式存储系统中每个存储副本的权重值；根据所述每个存储副本的权重值，计算权重总值；根据所述权重总值和所述每个存储副本的权重值，计算所述每个存储副本的权重系数。在上述实现过程中，在计算每个存储副本的权重系数的过程中，该方法具体可以根据负载数据和预设的配置参数，优先计算出分布式存储系统中每个存储副本的权重值；然后再根据每个存储副本的权重值，计算权重总值；最后，再根据权重总值和每个存储副本的权重值，计算每个存储副本的权重系数。可见，实施这种实施方式，能够具体化权重系数的获取，以使权重系数可以根据权重总值进行均衡计算而得到，从而具体化了权重系数的获取方式，进而可以通过准确的权重系数来提高分布式存储系统中负载均衡的效果。进一步地，所述负载数据包括每个存储副本对应磁盘的输入输出延迟数据、所述每个存储副本对应磁盘的读写性能均值、所述每个存储副本所在主机设备的中央处理器使用率以及所述每个存储副本所在主机设备的内存使用率。在上述实现过程中，负载数据可以通过其包括的输入输出延迟数据、读写性能均值、中央处理器使用率以及内存使用率来综合判定每个存储副本对应的磁盘、中央处理器以及内存的使用情况，从而可以使得权重的计算是会根据上述多方面的数据具体计算得到的，进而使得权重系数具有更高的针对性与准确性，以保证分布式存储系统中负载均衡的有效性和准确性。进一步地，所述根据所述负载数据和预设的配置参数，计算所述分布式存储系统中每个存储副本的权重值的步骤中，计算其中一个存储副本的权重值的计算公式为：Weight＝k*(1/Delay)+m*(1-CPU)+n*(1-Mem)+x*(1/IOPS)+w；其中，k、m、n、x和w均为所述配置参数；Weight用于表示该存储副本的权重值；Delay用于表示该存储副本对应磁盘的输入输出延迟数据；IOPS用于表示该存储副本对应磁盘的读写性能均值；CPU用于表示该存储副本所在主机设备的中央处理器使用率；Mem用于表示该存储副本所在主机设备的内存使用率。在上述实现过程中，该方法可以通过预设的计算公式计算每个存储副本的权重值，以使每个副本的权重值可以数值化，便于对存储式分布系统进行负载均衡，从而提高负载均衡过程的稳定性，提高负载均衡的效率与效果。本申请实施例第二方面提供了一种分布式存储系统中负载均衡装置，所述分布式存储系统中负载均衡装置包括：接收单元，用于接收数据传输请求；获取单元，用于当所述数据传输请求为数据存储请求时，获取所述数据存储请求包括的待存储数据；确定单元，用于根据所述待存储数据和预设的节点副本映射表，确定用于负载均衡的分发策略；写入处理单元，用于根据本文档来自技高网...

【技术保护点】
1.一种基于分布式存储系统的负载均衡方法，其特征在于，所述方法包括：/n接收数据传输请求；/n当所述数据传输请求为数据存储请求时，获取所述数据存储请求包括的待存储数据；/n根据所述待存储数据和预设的节点副本映射表，确定用于负载均衡的分发策略；/n根据所述分发策略对所述待存储数据进行分布式存储处理。/n

【技术特征摘要】
1.一种基于分布式存储系统的负载均衡方法，其特征在于，所述方法包括：
接收数据传输请求；
当所述数据传输请求为数据存储请求时，获取所述数据存储请求包括的待存储数据；
根据所述待存储数据和预设的节点副本映射表，确定用于负载均衡的分发策略；
根据所述分发策略对所述待存储数据进行分布式存储处理。


2.根据权利要求1所述的基于分布式存储系统的负载均衡方法，其特征在于，所述方法还包括：
当所述数据传输请求为数据读取请求时，获取所述数据读取请求包括的读取地址信息；
根据所述读取地址信息和预设的编号计算规则，计算待读取数据的目标虚拟节点编号；
根据预设的节点副本映射表，计算与所述目标虚拟节点编号对应的目标副本编号；
在所述目标副本编号对应的存储副本中读取所述待读取数据。


3.根据权利要求1所述的基于分布式存储系统的负载均衡方法，其特征在于，在所述接收数据传输请求之前，所述方法还包括：
获取初始节点副本映射表；
根据预设的负载数据收集策略，获取所述分布式存储系统的负载数据；
根据所述负载数据，计算所述分布式存储系统中每个存储副本的权重系数；
根据所述每个存储副本的权重系数对所述初始节点副本映射表进行调整，得到预设的节点副本映射表。


4.根据权利要求3所述的基于分布式存储系统的负载均衡方法，其特征在于，所述根据所述负载数据，计算所述分布式存储系统中每个存储副本的权重系数包括：
根据所述负载数据和预设的配置参数，计算所述分布式存储系统中每个存储副本的权重值；
根据所述每个存储副本的权重值，计算权重总值；
根据所述权重总值和所述每个存储副本的权重值，计算所述每个存储副本的权重系数。


5.根据权利要求4所述的基于分布式存储系统的负载均衡方法，其特征在于，所述负载数据包括每个存储副本对应磁盘的输入输出延迟数据、所述每个存储副本对应磁盘的读写性能均值、所述每个存储副本所在主机设备的中央处理器使用率以及所述每个存储副本所在主机设备的内存使用率。


6.根据权利要求5所述的基于分布式存储系统的负载均衡方法，其特征在于，所述...

【专利技术属性】
技术研发人员：张朝潞，
申请(专利权)人：北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：北京;11