实现负载均衡的云存储系统技术方案

本发明专利技术公开了一种实现负载均衡的云存储系统，包括负载监控服务单元用于在检测出第一云存储站点的负载超过负载阈值时，将应用请求转发给第二云存储站点；第二云存储站点的多个服务接入点中的一个用于将应用请求发送给多个元数据位置管理服务单元中负载较轻的元数据位置管理服务单元；该元数据位置管理服务单元用于根据应用请求确定出与应用相对应的元数据位置信息，以及根据所确定出的元数据位置信息从相应的元数据服务器获取相应的元数据；服务接入点还用于将所获取的元数据以及应用请求发送给数据文件管理子系统以便数据文件管理子系统根据应用请求执行相应的操作。本发明专利技术还公开了用于云存储系统的负载均衡方法。本发明专利技术可改善云存储系统的性能。

【技术实现步骤摘要】

本专利技术涉及计算机
，更具体地，涉及实现负载均衡的云存储系统以及用于云存储系统的负载均衡方法。
技术介绍
云存储系统面对的是海量用户操作海量数据的应用场景，在生产环境中，可能会出现各个层级上的性能瓶颈。这些性能瓶颈可包括例如站点级别的性能瓶颈、站点内部元数据访问瓶颈、站点内部负载数据访问瓶颈以及站点内部数据存储不均衡。例如，云存储站点通常部署在某个区域，通过互联网对外提供云存储服务。在云存储站点提供云存储服务过程中，可能出现该地区的访问量超过该站点服务能力的现象或者其他原因导致网络拥堵，因而影响业务响应。然而，现有存在的云存储产品或解决方案中，只是对各个层级上的某一层级的不均衡情况或者部分不均衡情况进行了处理。由于性能瓶颈可能发生在各个层级上，对某一个层级的不均衡情况进行处理只能部分地改善云存储系统的性能，不能够从整体上改善云存储系统的性能。
技术实现思路
为解决现有技术存在的问题，本专利技术提供了一种实现负载均衡的云存储系统以及用于云存储系统的负载均衡方法，使得能够较好地改善云存储的系统的性能。根据本专利技术的一个方面，提供了一种实现负载均衡的云存储系统，包括负载监控服务单元、多个云存储站点，所述多个云存储站点包括第一云存储站点和第二云存储站点，其中所述负载监控服务单元用于在检测出所述第一云存储站点的负载超过负载阈值时，将应用请求转发给所述第二云存储站点；所述第二云存储站点包括多个服务接入点、多个元数据位置管理服务单元、至少一个元数据服务器和数据文件管理子系统，其中从多个服务接入点中选择的一个服务接入点用于将接收到的所述应用请求发送给所述多个元数据位置管理服务单元中负载较轻的元数据位置管理服务单元；所述负载较轻的元数据位置管理服务单元用于根据所述应用请求确定出与应用相对应的元数据位置信息，以及根据所确定出的元数据位置信息从相应的元数据服务器获取相应的元数据；所选择的服务接入点用于将所获取的元数据以及所述应用请求发送给所述数据文件管理子系统以便所述数据文件管理子系统根据所述应用请求执行相应的操作。在可选实施例中，所述应用请求包括应用的读请求或者写请求，所述数据文件管理子系统，包括多个存储服务器，用于存储数据文件，其中数据文件以对象存储的方式管理并且一份数据文件具有至少一个对象；负载均衡管理单元，用于监测所述多个存储服务器中每一个的负载情况，以及在监测到多个存储服务器中的第一存储服务器的写负载较重时，发送对象迁移指示，或者，在监测到所述第一存储服务器的读负载较重时，发送副本建立指示；以及，数据迁移单元，用于根据所述对象迁移指示将第一存储服务器中的数据文件的部分对象迁移到负载较轻的存储服务器中；或者，根据所述副本建立指示为所述第一存储服务器中读访问频繁的数据文件在负载较轻的存储服务器中建立多个只读副本。在可选实施例中，所述数据文件管理子系统还包括存储均衡管理单元，用于监测所述多个存储服务器中每一个的空间使用率，当监测到第二存储服务器的空间使用率超过空间使用率阈值时，选择所述第二存储服务器服务负载较轻的时间段，指示所述数据迁移单元将所述二存储服务器的数据文件的部分对象迁移到空间使用率较小的存储服务器。在可选实施例中，所述数据文件管理子系统的存储服务器包括缓存单元、SSD/SAS磁盘和SATA磁盘，其中高热点数据文件存储在所述缓存单元中；以及普通热点数据文件存储在所述SSD或SAS磁盘中；以及非热点数据文件存储在所述SATA磁盘中。根据本专利技术的另一个方面，还提供了一种用于云存储系统的负载均衡方法，所述云存储系统包括负载监控服务单元和多个云存储站点，其中，所述多个云存储站点包括第一云存储站点和第二云存储站点，所述第二云存储站点包括多个服务接入点、多个元数据位置管理服务单元、至少一个元数据服务器和数据文件管理子系统，所述负载均衡方法包括所述负载监控服务单元在检测出所述第一云存储站点的负载超过负载阈值时，将应用请求转发给所述第二云存储站点；所述第二云存储站点从多个服务接入点中选择一个服务接入点，并将接收到的所述应用请求发送给所选择的服务接入点；所选择的服务接入点将应用请求发送给多个元数据位置管理服务单元中负载较轻的元数据位置管理服务单元；所述负载较轻的元数据位置管理服务单元根据所述应用请求确定出与应用相对应的元数据位置信息，然后根据所确定出的元数据位置信息从相应的元数据服务器获取相应的元数据；所选择的服务接入点将所获取的元数据以及所述应用请求发送给所述数据文件管理子系统以便所述数据文件管理子系统根据所述应用请求执行相应的操作。在可选实施例中，所述应用请求包括应用的读请求或者写请求，所述数据文件管理子系统包括多个存储有数据文件的存储服务器，其中数据文件以对象存储的方式管理并且一份数据文件具有至少一个对象。所述负载均衡方法还包括所述数据文件管理子系统监测所述多个存储服务器中每一个的负载情况，当监测到第一存储服务器的写负载较重时，将所述第一存储服务器中的部分数据文件的部分对象迁移到负载较轻的存储服务器中；和/或，当监测到所述第一存储服务器的读负载较重时，为所述第一存储服务器中读访问频繁的数据文件在负载较轻的存储服务器中建立多个只读副本以响应应用的读请求。在可选实施例中，所述负载均衡方法还包括所述数据文件管理子系统监测到所述多个存储服务器中每一个的空间使用率，当监测到第二存储服务器的空间使用率超过空间使用率阈值时，选择所述第二存储服务器服务负载较轻的时间段，将所述第二存储器的部分数据文件的部分对象迁移到空间使用率较小的存储服务器。在可选实施例中，所述云存储系统对数据文件采取全局命名空间管理，所述元数据存储位置管理服务单元在每个文件创建时，为每个数据文件分配一个全局空间命名标识ID0在可选实施例中，所述第二云存储站点是所述多个云存储站点中负载较轻的云存储站点。在可选实施例中，所述数据文件管理子系统将高热点数据文件存储在存储服务器的缓存单元中；将普通热点数据文件存储在存储服务器的SSD或SAS磁盘中；以及将非热点数据文件存储在存储服务器的SATA磁盘中。本专利技术通过在至少两个层级上对云存储系统的负载进行均衡处理，使得可以较好地改善云存储系统的性能。附图说明·图1是根据本专利技术一实施例的实现负载均衡的云存储系统的结构示意图。图2是图1示出的云存储系统中的云存储站点的结构示意图。图3是图2示出的云存储站点的数据文件管理子系统的结构示意图。图4是根据本专利技术一实施例的用于云存储系统的负载均衡方法的流程示意图。具体实施例方式下面结合附图对本专利技术进行进一步地详细说明。图1是根据本专利技术一实施例的实现负载均衡的云存储系统的结构示意图。如图1所示，本专利技术实施例的实现负载均衡的云存储系统，包括负载监控服务单元10和多个云存储站点。为了本专利技术描述清楚的目的，图1中示意性地示出了第一云存储站点22和第二云存储站点24以及其他的云存储站点。负载监控服务单元10用于在检测出所述第一云存储站点22的负载超过负载阈值时，将应用请求转发给所述第二云存储站点24。需要说明的是，在本专利技术实施例中，多个云存储站点中的任意的云存储站点可以是第一云存储站点和第二云存储站点。在可选实施例中，第二云存储站点可以是多个云存储站点中负载较轻的云存储站点，例如负载最轻的云存储本文档来自技高网...

【技术保护点】
一种实现负载均衡的云存储系统，包括负载监控服务单元、多个云存储站点，所述多个云存储站点包括第一云存储站点和第二云存储站点，其中：所述负载监控服务单元用于在检测出所述第一云存储站点的负载超过负载阈值时，将应用请求转发给所述第二云存储站点；所述第二云存储站点包括多个服务接入点、多个元数据位置管理服务单元、至少一个元数据服务器和数据文件管理子系统，其中：从多个服务接入点中选择的一个服务接入点用于将接收到的所述应用请求发送给所述多个元数据位置管理服务单元中负载较轻的元数据位置管理服务单元；所述负载较轻的元数据位置管理服务单元用于根据所述应用请求确定出与应用相对应的元数据位置信息，以及根据所确定出的元数据位置信息从相应的元数据服务器获取相应的元数据；所选择的服务接入点还用于将所获取的元数据以及所述应用请求发送给所述数据文件管理子系统以便所述数据文件管理子系统根据所述应用请求执行相应的操作。

【技术特征摘要】
1.一种实现负载均衡的云存储系统，包括负载监控服务单元、多个云存储站点，所述多个云存储站点包括第一云存储站点和第二云存储站点，其中 所述负载监控服务单元用于在检测出所述第一云存储站点的负载超过负载阈值时，将应用请求转发给所述第二云存储站点； 所述第二云存储站点包括多个服务接入点、多个元数据位置管理服务单元、至少一个元数据服务器和数据文件管理子系统，其中 从多个服务接入点中选择的一个服务接入点用于将接收到的所述应用请求发送给所述多个元数据位置管理服务单元中负载较轻的元数据位置管理服务单元； 所述负载较轻的元数据位置管理服务单元用于根据所述应用请求确定出与应用相对应的元数据位置信息，以及根据所确定出的元数据位置信息从相应的元数据服务器获取相应的元数据； 所选择的服务接入点还用于将所获取的元数据以及所述应用请求发送给所述数据文件管理子系统以便所述数据文件管理子系统根据所述应用请求执行相应的操作。2.根据权利要求1的云存储系统，其特征在于，所述应用请求包括应用的读请求或者写请求，所述数据文件管理子系统，包括 多个存储服务器，用于存储数据文件，其中数据文件以对象存储的方式管理并且一份数据文件具有至少一个对象； 负载均衡管理单元，用于监测所述多个存储服务器中每一个的负载情况，以及在监测到多个存储服务器中的第一存储服务器的写负载较重时，发送对象迁移指示，或者，在监测到所述第一存储服务器的读负载较重时，发送副本建立指示； 数据迁移单元，用于根据所述对象迁移指示将第一存储服务器中的数据文件的部分对象迁移到负载较轻的存储服务器中；或者， 根据所述副本建立指示为所述第一存储服务器中读访问频繁的数据文件在负载较轻的存储服务器中建立多个只读副本。3.根据权利要求2所述的云存储系统，其特征在于，所述数据文件管理子系统还包括 存储均衡管理单元，用于监测所述多个存储服务器中每一个的空间使用率，当监测到第二存储服务器的空间使用率超过空间使用率阈值时，选择所述第二存储服务器服务负载较轻的时间段，指示所述数据迁移单元将所述第二存储服务器的数据文件的部分对象迁移到空间使用率较小的存储服务器。4.根据权利要求2所述的云存储系统，其特征在于，所述数据文件管理子系统的存储服务器包括缓存单元、SSD/SAS磁盘和SATA磁盘，其中高热点数据文件存储在所述缓存单元中；以及普通热点数据文件存储在所述SSD或SAS磁盘中；以及非热点数据文件存储在所述SATA磁盘中。5.根据权利要求1所述的云存储系统，其特征在于 所述云存储系统对数据文件采取全局命名空间管理，所述元数据存储位置管理服务单元在每个文件创建时，为每个数据文件分配一个全局空间命名标识ID ;或者， 所述第二云存储站点是所述多个云存储站点中...

【专利技术属性】
技术研发人员：杨浩，马照云，马振杰，苗艳超，刘新春，邵宗有，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：