一种存储资源负载均衡方法及装置制造方法及图纸

本发明专利技术公开了一种存储资源负载均衡方法及装置，应用于数据存储系统中的存储管理服务器，存储管理服务器获取应用设备写任务中携带的设备信息，根据所述设备信息计算所述写任务对应的任务哈希值，将所述任务哈希值与存储虚拟化组件中的各虚拟节点的节点哈希值进行比较，根据比较结果，选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储。本发明专利技术对应的装置包括任务接收模块和任务分配模块。本发明专利技术的方法及装置，通过保证负载的稳定性及均衡性，提高了读写检索等业务的性能。

Storage resource load balancing method and device

The invention discloses a storage resource load balancing method and device, storage management server application in a data storage system, storage management server obtains the application equipment write information carrying equipment task, according to the equipment information to calculate the writing task corresponding to the task of hash values, the task node hash hash value with the virtual node storage virtualization component in the value, according to the results, choose to meet the physical storage resources corresponding to the virtual node set rules are stored as the physical storage resources of the write task. The corresponding device of the invention comprises a task receiving module and a task distributing module. The method and the device of the invention improve the performance of the reading, writing and retrieval service by ensuring the stability and the balance of the load.

【技术实现步骤摘要】
一种存储资源负载均衡方法及装置
本专利技术属于数据存储
，尤其涉及一种存储资源负载均衡方法及装置。
技术介绍
随着监控业务的发展，监控规模越来越大，对存储资源的承压是一种考验。为了提高监控业务的读写性能，需要对存储资源的负载进行均衡，降低单个资源的压力。例如如图1所示的云存储系统，一般在CDV上挂载多个SAN存储资源，需要对每个CDV上的业务均匀分摊到每个存储资源上来提供各种业务性能。现有技术方案，往往根据单个存储资源上的读写任务数和容量来做负载均衡，在容量足够时，选取任务数最少的存储资源来使用。该方案简单易用，一般情况下负载比较均衡，在每个存储资源上维护一个任务计数，每个存储资源上的任务数能根据读写任务打开关闭及时更新。但该方案随着存储业务的增加，网络环境的复杂，具有比较明显的缺点：在瞬时密集业务时，无法完全保证任务数均衡，达到负载均衡；网络环境的复杂，比如关闭文件失败时，可能导致任务数残留，这时候根据任务数最少来选择资源，实际并不均衡；根据任务数来选资源，即文件的分布具有很大的随机性，会增加资源上目录数，降低检索读取业务的性能。
技术实现思路
本专利技术的目的是提供一种存储资源负载均衡方法及装置，避免根据任务数进行负载均衡时所具有的上述缺点。为了实现上述目的，本专利技术技术方案如下：一种存储资源负载均衡方法，应用于数据存储系统中的存储管理服务器，所述数据存储系统还包括应用设备和存储虚拟化组件，所述存储虚拟化组件包括至少两个物理存储资源，每个物理存储资源虚拟出至少两个虚拟节点，每个虚拟节点对应有一个被存储管理服务器管理的虚拟节点信息，以及根据该虚拟节点信息计算出的节点哈希值，所述存储资源负载均衡方法包括：存储管理服务器获取应用设备写任务中携带的设备信息，根据所述设备信息计算所述写任务对应的任务哈希值；将所述任务哈希值与存储虚拟化组件中的各虚拟节点的节点哈希值进行比较，根据比较结果，选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储。优选地，所述设备信息为所述写任务对应的用户目录编码。优选地，所述选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储，包括：从按照节点哈希值排序的虚拟节点中，选择第一个节点哈希值比任务哈希值大的虚拟节点；将该虚拟节点所在的物理存储资源作为该写任务的物理存储资源进行存储。进一步地，所述存储资源负载均衡方法还包括：如果所选择的物理存储资源不可用或者容量不足，则计算所有可用并且容量足够的物理存储资源上的写任务数，选择写任务数最小的物理存储资源作为该写任务的物理存储资源进行存储。优选地，所述单个存储虚拟化组件下的物理存储资源虚拟出的虚拟节点总数不小于单个存储虚拟化组件的最大存储路数。本专利技术还提出了一种存储资源负载均衡装置，应用于数据存储系统中的存储管理服务器，所述数据存储系统还包括应用设备和存储虚拟化组件，所述存储虚拟化组件包括至少两个物理存储资源，每个物理存储资源虚拟出至少两个虚拟节点，每个虚拟节点对应有一个被存储管理服务器管理的虚拟节点信息，以及根据该虚拟节点信息计算出的节点哈希值，所述存储资源负载均衡装置包括：任务接收模块，用于获取应用设备写任务中携带的设备信息，根据所述设备信息计算所述写任务对应的任务哈希值；任务分配模块，用于将所述任务哈希值与存储虚拟化组件中的各虚拟节点的节点哈希值进行比较，根据比较结果，选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储。优选地，所述设备信息为所述写任务对应的用户目录编码。优选地，所述任务分配模块选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储，执行如下操作：从按照节点哈希值排序的虚拟节点中，选择第一个节点哈希值比任务哈希值大的虚拟节点；将该虚拟节点所在的物理存储资源作为该写任务的物理存储资源进行存储。进一步地，所述任务分配模块还用于：如果所选择的物理存储资源不可用或者容量不足，则计算所有可用并且容量足够的物理存储资源上的写任务数，选择写任务数最小的物理存储资源作为该写任务的物理存储资源进行存储。优选地，所述单个存储虚拟化组件下的物理存储资源虚拟出的虚拟节点总数不小于单个存储虚拟化组件的最大存储路数。本专利技术提出的一种存储资源负载均衡方法及装置，存储管理服务器根据写任务对应的任务哈希值，将任务哈希值与存储虚拟化组件中的虚拟节点的节点哈希值进行比较，根据比较结果，从虚拟节点中选择满足设定规则的虚拟节点所在的物理存储资源作为该写任务的物理存储资源进行存储。由于写任务对应的任务哈希值是固定的，保证了负载均衡的稳定性，使单个应用设备尽量存储在某个物理存储资源上。通过增加虚拟节点，使物理存储资源尽量分散开，增加负载的均衡性，使多个应用设备尽量分散存储在多个物理存储资源上，在异常情况下，通过计算物理存储资源上的写任务数进行负载均衡调整。并通过保证负载的稳定性及均衡性，提高了读写检索等业务的性能。附图说明图1为视频监控中常用的云存储系统结构示意图；图2为存储虚拟化组件的结构示意图；图3为本专利技术存储资源负载均衡方法流程图；图4为实验数据分布图；图5为本专利技术存储资源负载均衡装置结构示意图。具体实施方式下面结合附图和实施例对本专利技术技术方案做进一步详细说明，以下实施例不构成对本专利技术的限定。如图1所示，为一种视频监控中常用的云存储CDS(CloudDirectStorage)方案，在该云存储系统中，应用设备包括网络摄像机IPC、编码器EC或其他数据源设备，IPC拍摄的视频数据需要存储到存储资源中。云存储管理服务器CDM(CloudDirectManagement)集中统一管理底层的存储虚拟化组件CDV(CloudDirectVirtual)，构成全局统一的虚拟存储空间。一般在一个CDV上挂载多个IPSAN/FCSAN/NAS存储设备，本实施例将一个IPSAN/FCSAN/NAS存储设备称为一个物理存储资源，即一个CDV上挂载多个物理存储资源。在如图1所示的云存储系统中，当应用设备要进行读写时，首先向CDM请求可以访问的存储空间，并将视频数据离散存储到各底层标准的物理存储资源上去，当某一物理存储资源发生故障时，CDM会自动重新分配一个新的存储空间给应用设备进行访问，从而实现业务不停顿的读写，支持动态扩容和缩容，提供不间断的视频和图片存储服务。同时也能提供视频实况、视频点播回放、报警管理、布防撤防、地图应用等多种视频业务。本实施例以图1所示的视频监控中常用的云存储为例，来详细阐述本专利技术的存储资源负载均衡方法，应用于数据存储系统中的存储管理服务器。本技术方案中数据存储系统还包括应用设备和存储虚拟化组件，存储虚拟化组件包括至少两个物理存储资源，每个物理存储资源虚拟出至少两个虚拟节点，每个虚拟节点对应有一个被存储管理服务器管理的虚拟节点信息，以及根据该虚拟节点信息计算出的节点哈希值。例如，如图2所示，物理存储资源有三个Res1、Res2和Res3，Res1对应有虚拟节点Res1-1、Res1-2和Res1-3，Res2对应有虚拟节点Res2-1、Res2-2和Res2-3，Res3对应有虚拟节点Res3-1、Res3-2和Res3-3。假设R本文档来自技高网...

【技术保护点】
一种存储资源负载均衡方法，应用于数据存储系统中的存储管理服务器，所述数据存储系统还包括应用设备和存储虚拟化组件，其特征在于，所述存储虚拟化组件包括至少两个物理存储资源，每个物理存储资源虚拟出至少两个虚拟节点，每个虚拟节点对应有一个被存储管理服务器管理的虚拟节点信息，以及根据该虚拟节点信息计算出的节点哈希值，所述存储资源负载均衡方法包括：存储管理服务器获取应用设备写任务中携带的设备信息，根据所述设备信息计算所述写任务对应的任务哈希值；将所述任务哈希值与存储虚拟化组件中的各虚拟节点的节点哈希值进行比较，根据比较结果，选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储。

【技术特征摘要】
1.一种存储资源负载均衡方法，应用于数据存储系统中的存储管理服务器，所述数据存储系统还包括应用设备和存储虚拟化组件，其特征在于，所述存储虚拟化组件包括至少两个物理存储资源，每个物理存储资源虚拟出至少两个虚拟节点，每个虚拟节点对应有一个被存储管理服务器管理的虚拟节点信息，以及根据该虚拟节点信息计算出的节点哈希值，所述存储资源负载均衡方法包括：存储管理服务器获取应用设备写任务中携带的设备信息，根据所述设备信息计算所述写任务对应的任务哈希值；将所述任务哈希值与存储虚拟化组件中的各虚拟节点的节点哈希值进行比较，根据比较结果，选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储。2.根据权利要求1所述的存储资源负载均衡方法，其特征在于，所述设备信息为所述写任务对应的用户目录编码。3.根据权利要求1所述的存储资源负载均衡方法，其特征在于，所述选择满足设定规则的虚拟节点所对应的物理存储资源作为所述写任务的物理存储资源进行存储，包括：从按照节点哈希值排序的虚拟节点中，选择第一个节点哈希值比任务哈希值大的虚拟节点；将该虚拟节点所在的物理存储资源作为该写任务的物理存储资源进行存储。4.根据权利要求1所述的存储资源负载均衡方法，其特征在于，所述存储资源负载均衡方法还包括：如果所选择的物理存储资源不可用或者容量不足，则计算所有可用并且容量足够的物理存储资源上的写任务数，选择写任务数最小的物理存储资源作为该写任务的物理存储资源进行存储。5.根据权利要求1所述的存储资源负载均衡方法，其特征在于，所述单个存储虚拟化组件下的物理存储资源虚拟出的虚拟节点总数不小于单个存储虚拟化组件的最大存储路数。6.一种存储资源负...

【专利技术属性】
技术研发人员：韩磊，吕志明，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33