分布式目录、数据库和索引制造技术

本发明专利技术涉及用于分布式目录处理、数据高速缓存和索引以生成有效、可调整、安全、高度可用、能够灾难恢复的备份和存储系统的系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求于2010年3月12日提交的美国临时专利申请61/313,316的优先权，此处引用该申请的全部内容作为参考。专利
本公开涉及数据管理系统。
技术介绍
诸如备份服务器和文件服务器之类的数据管理系统典型地被设计成被集中地存储、管理和搜索。这种系统仅在用户连接到系统时对用户可用。这些集中式系统还倾向于是昂贵系统，这些昂贵系统需要大量计算和存储能力以及高吞吐量以服务于成千上万的远程用户的访问工作负荷。对于访问集中式数据的人们来说，安全性可能是一个问题。某种程度上，这是有问题的，因为集中式数据不仅可能含有适于被特定用户查看或操作的那些文件，还包含特定用户不应访问的文件。例如，集中数据管理系统可以包含来自其它用户的文件，以及安全访问级别高于授权给特定用户的安全级别的文件。与集中式系统对照，数据管理系统也可以是分布式的，具有彼此断开的存储节点。然而，这种分布式数据存储系统一般并不能很好地工作，且在端点需要更多的存储和计算能力。这些计算需求可能随着系统支持的用户数目而快速地增加。附图说明图1说明根据一些实施例管理用于一个或更多客户端设备的分布式备份目录的实施方式。图2说明根据一些实施例在备份期间管理分布式备份高速缓存的实施方式。图3说明根据一些实施例使用虚拟文件指针的分布式索引的实施方式。概述在第一组实施例中，一种方法包括：将第一计算机系统上的本地目录与产品文件系统进行比较以识别第一文件，该第一文件具有元数据且存在于产品文件系统内；识别代表第一文件的一组存储块；将第一文件转移到第一计算机系统上的本地高速缓存，其中第一文件在本地高速缓存中表达为存储块组，且其中存储块组是代表产品文件系统内的其他文件的本地高速缓存块的较大集合的子集，且其中本地高速缓存块中的每一个能够被存储在本地高速缓存内和第二计算机系统上的存储服务器上；在第一计算机系统的本地目录中生成delta条目，其中delta条目包括涉及第一文件且与生成delta条目的时间指示相关的元数据；通过将存储块组转移到存储服务器，将第一文件转移到存储服务器；以及更新第二计算机系统上的远程目录以在delta条目中反应元数据。这些实施例中的某一些还包含确定本地高速缓存是否到达大小限制；如果本地高速缓存到达大小限制，则在本地高速缓存中的本地高速缓存块的集合内识别原先成功备份到存储服务器的候选块，其中识别候选块包括将候选块的时间戳与本地高速缓存到存储服务器的最后成功存储的时间进行比较；以及删除候选块以减小本地高速缓存的大小。这些实施例中的某一些还包括在本地高速缓存中重新存入原先从本地高速缓存删除的存储块。其他实施例还包括：在第一计算机系统上构建文件的可搜索索引，该文件包括第一文件，其中文件指针与第一文件相关，且其中文件指针还与代表第一文件的存储块组的身份相关；使用索引识别到第一文件的文件指针；使用第一指针识别代表第一文件的存储块组，其中存储块组包括位于第一计算机系统上的本地块的子集，以及没有位于第一计算机系统上的远程块的子集；将远程块的子集转移到第一计算机系统；以及基于本地和远程块的组合重构第一文件，其中在一些这种实施例中，构建文件的可搜索索引包括使用文件指针抓取文件内容。在另外的其他实施例中，第一文件在第一时间点之后被修改，且仅在第一时间点之后进入的本地目录中的那些条目被发送到第二计算机系统。附加实施例包括：其中第一文件至少被部分地识别，因为第一文件从产品文件系统删除，其中第一文件被至少部分地识别，因为第一文件被添加到产品文件系统中或在其中被修改；其中本地目录配置成包括对应于多个存储客户端的条目；其中将第一文件转移到存储服务器包括：确定第一文件是否可以被发送到第二计算机系统上的存储服务器；以及在第一文件可以被发送到存储服务器时将第一文件转移到存储服务器且更新远程目录；其中将本地目录与产品文件系统进行比较、识别一组存储块、转移到本地高速缓存、在本地目录中生成delta条目、转移到存储服务器以及更新远程目录的步骤是通过第三和第四计算机系统执行，使得第三和第四计算机系统使用与第一计算机系统相同的存储服务器和远程目录。第二组实施例包括编码在一个或更多非临时介质中的逻辑，该逻辑包括用于执行的代码，且当被处理器执行时，该代码可操作为执行包含上述实施例中任意一个或更多个实施例的操作。第三组实施例包括：第一计算机系统上的本地目录；第一计算机系统上的本地高速缓存；产品文件系统；第二计算机系统上的远程目录；第二计算机系统上的存储服务器；运行在第一计算机上的代理；第一计算机系统上能够存储数据的存储器；以及第一计算机系统上配置成执行包含上述实施例中的任意一个或更多个实施例的操作的处理器。具体实施方式I.分布式目录备份系统具有用于跟踪什么数据已经被备份的目录。该目录是一个存储库，其中存储在系统中备份的数据的元数据。该目录典型地按照以下方式在集中式备份服务器上产生：（a）作为每个备份会话的一部分，每个备份客户端向备份服务器发送其整个目录和文件结构的快照；以及（b）备份服务器然后将如此接收的快照与当前版本的目录进行比较以确定备份目录的添加和删除。在该系统中，整个快照可能需要被发送到集中式备份服务器，作为例如确定何时删除文件的办法。当客户端需要执行恢复时，它连接到备份服务器以通过整个集中式目录搜索它所需要的文件。该方法可能导致：昂贵的处理需求；当用户离线时缺少对备份的访问；安全性问题；以及使集中式备份服务器作为单点故障，这意味着如果备份服务器不能操作或不可达，则整个备份设置不可用。每天发送整个目录和文件结构（或整个本地目录）可能导致备份服务器上相当大数量的日常处理，包括即使每天变化的目录条目的数目很小，仍需要每天遍历数以百万计的目录条目。另外，所有目录访问还需要在备份服务器上完成，要求备份服务器具有足够的处理马力以服务成千上万个用户的工作负荷。例如，假设机器具有以下目录结构：C：－文件夹1○具有修改时间T10的文件1-A○具有修改时间T20的文件1-B○文件夹1-1·具有修改时间T30的文件1-1-A·具有修改时间T40的文件1-1-B○文件夹1-2·具有修改时间T50的文件1-2-A·具有修改时间T60的文件1-2-B－文件夹2○具有修改时间T70的文件2-A○具有本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.03.12 US 61/313,3161.一种方法，包括：
将第一计算机系统上的本地目录与产品文件系统进行比较以识别第一
文件，该第一文件具有元数据且存在于所述产品文件系统内；
识别代表所述第一文件的存储块组；
将所述第一文件转移到所述第一计算机系统上的本地高速缓存，
其中所述第一文件在所述本地高速缓存中被表达为所述存储块组，
并且
其中所述存储块组是代表所述产品文件系统内的其他文件的本地
高速缓存块的较大集合的子集，并且
其中所述本地高速缓存块中的每一个能够被存储在所述本地高速
缓存内和第二计算机系统上的存储服务器上；
在第一计算机系统上的本地目录中生成delta条目，其中delta条目包括
涉及所述第一文件且与生成delta条目的时间指示相关的元数据；
通过将所述存储块组转移到所述存储服务器，将所述第一文件转移到所
述存储服务器；以及
更新所述第二计算机系统上的远程目录以反应所述delta条目中的所述
元数据。
2.根据权利要求1所述的方法，还包括：
确定所述本地高速缓存是否到达大小限制；
如果所述本地高速缓存到达所述大小限制，则在所述本地高速缓存中的
本地高速缓存块的集合内识别之前已经被成功备份到所述存储服务器的候
选块，其中识别所述候选块包括将所述候选块的时间戳与所述本地高速缓存
到所述存储服务器的最后成功存储的时间进行比较；以及
删除所述候选块以减小所述本地高速缓存的大小。
3.根据权利要求2所述的方法，还包括在所述本地高速缓存中重新存入
之前已经从所述本地高速缓存删除的存储块。
4.根据权利要求1所述的方法，还包括：
在所述第一计算机系统上构建文件的可搜索索引，该文件包括所述第一
文件，其中文件指针与所述第一文件相关，且其中所述文件指针还与代表所
述第一文件的所述存储块组的身份相关；
使用所述索引识别所述第一文件的所述文件指针；
使用所述文件指针识别代表所述第一文件的所述存储块组，其中所述存
储块组包括位于所述第一计算机系统上的本地块的子集，以及没有位于所述
第一计算机系统上的远程块的子集；
将所述远程块的子集转移到所述第一计算机系统；以及
基于所述本地块和所述远程块的组合重构所述第一文件。
5.根据权利要求4所述的方法，其中构建文件的可搜索索引包括使用所
述文件指针抓取文件内容。
6.根据权利要求1所述的方法，其中所述第一文件在第一时间点之后被
修改，且仅在第一时间点之后进入的本地目录中的那些条目被发送到所述第
二计算机系统。
7.根据权利要求1所述的方法，其中，由于所述第一文件从所述产品文
件系统中删除，所述第一文件至少被部分地识别。
8.根据权利要求1所述的方法，其中，由于所述第一文件被添加到所述
产品文件系统中或在所述产品文件系统中被修改，所述第一文件被至少部分
地识别。
9.根据权利要求1所述的方法，其中，所述本地目录配置成包括对应于
多个存储客户端的条目。
10.根据权利要求1所述的方法，其中，将所述第一文件转移到所述存
储服务器包括：
确定所述第一文件是否可以被发送到所述第二计算机系统上的存储服

\t务器；以及
在所述第一文件可被发送到所述存储服务器时将所述第一文件转移到
所述存储服务器且更新所述远程目录。
11.根据权利要求1所述的方法，其中，通过第三和第四计算机系统执
行将本地目录...

【专利技术属性】
技术研发人员：P乔德利，S贾因，
申请(专利权)人：科派恩股份有限公司，
类型：
国别省市：