一种存取文件的方法、装置及分布式存储系统制造方法及图纸

本发明专利技术涉及一种在在分布式存储系统中存取文件的方法、装置及分布式存储系统。在一个实施例中，上述方法包括：接收客户端上传的文件；向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引；将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储；以及将所述文件或者所述文件的分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索引发送给所述元数据服务器集群进行关联存储。根据上述的方法、装置及系统，由于数据是被存储在位于不同数据中心的数据服务器集群内，因此可降低数据中心的分布式存储系统的运营成本。

【技术实现步骤摘要】

本专利技术涉及数据传输技术，尤其涉及一种存取文件的方法、装置及分布式存储系统。
技术介绍
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。然而现有的分布式存储系统中，为了确保存储安全，需要在一个数据中心内至少保存各个文件的一份副本。在互联网的业务场景下，随着业务数据量的不断增大，即使只保存一份副本，最终会超过单个数据中心的带宽及机器数量的承载能力。
技术实现思路
有鉴于此，有必要提供一种在分布式存储系统中存取文件的方法、装置及分布式存储系统，其可降低数据中心的运营成本。一种在分布式存储系统中存取文件的方法，所述分布式存储系统包括:元数据服务器集群以及多个数据服务器集群；每个数据服务器集群内包括多台数据服务器，所述多个数据服务器集群体内的服务器至少分布在两个不同的数据中心内；所述方法包括:接收客户端上传的文件；向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引；将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储；以及将所述文件或者所述文件的分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索弓I发送给所述元数据服务器集群进行关联存储。一种在分布式存储系统中存取文件的装置，包括:上传请求接收模块，用于接收客户端上传的文件；文件索引请求模块，用于向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引；文件存储模块，用于将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储；以及文件索引提交模块，用于将所述文件或者所述文件的分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索引发送给所述元数据服务器集群进行关联存储。—种分布式存储系统,包括:入口服务器、元数据服务器集群以及多个数据服务器集群；每个数据服务器集群内包括多台数据服务器，所述多个数据服务器集群体内的服务器至少分布在两个不同的数据中心内；所述入口服务器用于:接收客户端上传的文件；向所述元数据服务器集群发送文件索引获取请求；所述元数据服务器集群用于:根据所述文件索引获取请求返回元数据索引；所述入口服务器还用于:将所述文件或者所述文件的分片发送给选择的数据服务器集群；所述数据服务器用于:接收所述入口服务器上传的文件；存储所述文件； 所述入口服务器还用于:将所述文件在数据服务器集群内的存储索引以及所存储的数据服务器集群的标识提交给所述元数据服务器集群；所述元数据服务器集群还用于:存储所述入口服务器提交的所述文件在数据服务器集群内的存储索引以及对应的数据服务器集群的标识。根据上述的方法、装置及系统，元数据与数据正文分别存储在元数据服务器集群与数据服务器集群中，而且数据服务器集群是分布在不同的数据中心内。因此，可以避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。为让本专利技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。【附图说明】图1为第一实施例提供的分布式存储系统的架构示意图。图2为图1的分布式存储系统中元数据服务器集群的一个实施例的架构示意图。图3为图1的分布式存储系统中入口服务器的结构框图。图4为图1的分布式存储系统上传文件时的交互示意图。图5为图1的分布式存储系统下载文件时的交互示意图。图6为图1的分布式存储系统删除文件时的交互示意图。图7为图1的分布式存储系统更新文件时的交互示意图。图8为第二实施例提供的在分布式存储系统存储文件的方法流程图。图9为第三实施例提供的在分布式存储系统存储文件的方法流程图。图10为第四实施例提供的在分布式存储系统存储文件的方法流程图。图11为第五实施例提供的在分布式存储系统存储文件的方法流程图。图12为第六实施例提供的在分布式存储系统存储文件的装置结构框图。图13为第七实施例提供的在分布式存储系统存储文件的装置结构框图。图14为第八实施例提供的在分布式存储系统存储文件的装置结构框图。图15为第九实施例提供的在分布式存储系统存储文件的装置结构框图。【具体实施方式】为更进一步阐述本专利技术为实现预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术的【具体实施方式】、结构、特征及其功效，详细说明如后。数据中心数据中心(data center)，指用于安置计算机系统及相关部件的设施，例如电信和储存系统。一般它包含冗余和备用电源，冗余数据通信连接，环境控制(例如空调、灭火器)和安全设备。服务器服务器是指安装有特定服务器应用程序的计算机，其用于通过计算机网络接收客户端的网络请求，并根据预定协议对接收的网络请求进行响应，从而提供或帮助提供某种网络服务。上述的预定协议包括但并不限于:传输控制协议(Transmiss1n ControlProtocol, TCP)、超文本传输协议(Hypertext Transfer Protocol, HTTP)、用户数据协议(User Datagram Protocol, UDP)、文件传输协议(File Transfer Protocol, FTP)等。服务器集群服务器集群是指两台或者更多服务器的集合。服务器集群内的全部或者大部分服务器构成一个分布式网络系统，从而共同向客户端提供一种或多个网络服务。服务器集群内可包括一台或者多台调度服务器，用于统一控制服务器集群内的各服务器，例如提供路由功能，根据客户端的请求给客户端指定由哪个服务器向该客户端提供网络服务。客户端客户端与服务器相对，其为采用预定协议与服务器进行网络通讯的终端设备，其具体实施包括但并不限于另一台服务器、台式电脑、笔记本电脑、平板电脑、智能手机、多媒体电视、智能眼镜、智能手表以及其他电子装置。键-值(Key-Value)存储系统Key-value存储系统是指一种非关系型数据库，其是指按照提供的键给存储内容(Value)分配存储空间、并获取对应的值。相比于传统的关系型数据库，其具有高并发、高性能的优势。第一实施例图1为第一实施例提供的分布式存储系统的架构示意图。如图1所示，分布式存储系统100部署在两个或更多(图1中仅示出两个)数据中心10、20内。数据中心10内包括元数据服务器集群101、第一数据服务器集群102、以及一台或多台服务器103。数据中心20内包括第二数据服务器集群104以及一台或多台服务器105。其中，服务器103与服务器105共同构成第三数据服务器集群106。分布式存储系统100用于根据入口服务器200的请求进行文件的存储(上传)、下载、更新、或者删除等操作。元数据服务器集群101内的多台服务器自身构成一个分布式存储系统，用于存储文件的元数据。上述的分布式存储系统例如可为上述的Key-Value存储系统。而上述的元数据例如可包括本文档来自技高网...

【技术保护点】
一种在分布式存储系统中存取文件的方法，所述分布式存储系统包括：元数据服务器集群以及多个数据服务器集群；每个数据服务器集群内包括多台数据服务器，所述多个数据服务器集群体内的服务器至少分布在两个不同的数据中心内；其特征在于，所述方法包括：接收客户端上传的文件；向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引；将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储；以及将所述文件或者所述文件的分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索引发送给所述元数据服务器集群进行关联存储。

【技术特征摘要】

【专利技术属性】
技术研发人员：王炎，娄继冰，李博，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44