基于资源定位器跳转的分布式文件系统及其数据同步方法技术方案

技术编号:11729045 阅读:246 留言:0更新日期:2015-07-15 01:49
本发明专利技术公开了一种基于资源定位器跳转的分布式文件系统及其数据同步方法,涉及数据存储领域。系统它包括资源定位器端,数据存储服务器端和客户端。资源定位器端主要做调度工作,在内存中只记录数据存储服务器端的状态信息和分组情况,是客户端和数据存储服务器端交互的枢纽。本系统通过采用在数据存储服务器端进行分组存储的方式来提高数据的可靠性,以及利用资源定位器来解决由于异步同步带来的文件同步延迟的问题,既保证了用户文件的安全,又解决了下载找不到文件的问题,为用户带来更好的体验。

【技术实现步骤摘要】

本专利技术涉及数据存储领域,特别涉及一种基于资源定位器跳转的分布式文件系统及其数据同步方法
技术介绍
如今,人类已经步入了信息化的时代,信息总量正以几何级数方式增长,以社交网站、云计算为代表的信息系统,需要处理的数据已经达到PB级别,并朝着EB级别发展,为了解决日益增长的海量数据存储需求,分布式文件存储逐步成为了研究热点。分布式文件存储系统包含多台数据存储服务器,为了提高数据的可靠性,这些存储服务器间会根据文件的上传记录进行同步复制。这种文件同步方法属于异步方式,异步方式会带来文件同步延迟的问题,即如果用户上传完一个文件,马上在没有完成文件同步的数据存储服务器上发起下载请求,就会出现找不到文件的现象。
技术实现思路
本专利技术的目的是解决上述分布式文件存储服务的文件同步延迟问题,本发明提出一种基于资源定位器跳转的分布式文件系统及其数据同步方法。为了达到上述的技术效果,本专利技术采取以下技术方案:一种基于资源定位器跳转的分布式文件系统,它包括资源定位器端,数据存储服务器端和客户端。所述数据存储服务器端包括至少一组数据存储服务器组,每一组数据存储服务器组有一个或者多个数据存储服务器节点,所述数据存储服务器端用于完成对数据的存储、同步和主动连接资源定位器端。所述资源定位器端用于处理由客户端传递来的请求、监控数据存储服务器端运行状况和为用户分配可用的数据存储服务器节点,起调度作用。所述客户端是用户的操作入口。进一步的技术方案是:所述资源定位器端包括至少一台定位服务器,各个定位服务器间相互独立。进一步的技术方案是:同一组的数据存储服务器节点存储的文件是一致的,不同组的数据存储服务器节点是相互独立的。本专利技术同时还提供一种基于资源定位器跳转的分布式文件系统的数据同步方法,包括以下步骤:S1、布置分布式文件系统,所述分布式文件系统包含资源定位器端、数据存储服务器端和客户端;所述数据存储服务器端包括至少一组数据存储服务器组,每一组数据存储服务器组有一个或者多个数据存储服务器节点,所述数据存储服务器端用于完成对数据的存储、同步和主动连接资源定位器端;所述资源定位器端用于处理由客户端传递来的请求、监控数据存储服务器端运行状况和为用户分配可用的数据存储服务器节点;所述客户端是用户的操作入口,当用户需要文件操作时,首先由客户端向资源定位器端发起请求。S2、资源定位器端根据客户端的请求,判定用户是上传文件,还是下载文件;若是上传文件,则执行步骤S3后再执行步骤S4,若是下载文件,则执行步骤S5。S3、资源定位器端查询到可用的数据存储服务器节点后,将数据存储服务器节点的IP和端口信息返回给客户端;客户端上传文件到数据存储服务器节点;数据存储服务器节点将上传的文件内容写入磁盘、生成文件ID,并将文件ID返回给客户端,客户端存储返回的文件ID信息,上传操作完毕。S4、数据存储服务器节点采用主动推送的方式,将文件同步到其他数据存储服务器节点。S5、客户端将要下载文件ID报告给资源定位器端;资源定位器端根据文件ID定位到客户端需要访问的数据存储服务器节点所在的组,资源定位器的端检查数据存储服务器节点的同步状态,查询可用的数据存储服务器节点,并将可用的数据存储服务器节点的信息返回给客户端;客户端将要下载文件的文件ID传到可用的数据存储服务器节点;数据存储服务器节点根据要下载文件的文件ID所包含的信息和文件路径信息,快速定位到要下载文件所在目录,并根据文件名找到该文件;数据存储服务器节点将该文件内容返回到客户端;下载操作完毕。所述文件ID包含组名、路径信息以及文件名,文件名包含的字段有:可用的数据存储服务器节点的IP地址和文件的创建时间点。进一步的技术方案是:步骤S4的具体方法为:S41、数据存储服务器节点的日志文件记录文件上传或删除操作,日志只记录文件名,不记录文件内容;S42、数据存储服务器节点对同组内除了自己以外的每一个节点都启动一个线程来进行文件同步;S43、分布式文件系统系统一直启动一个线程,对日志文件进行轮询,检查是否有需要同步的文件,并将已同步的文件记录到另一个标识文件中,以便查询;S44、每个数据存储服务器节点定时将自身的状态信息上报给资源定位器端,并向资源定位器端报告向每个数据存储服务器节点同步到的最新文件的时间点;资源定位器端根据数据存储服务器节点的同步信息,就能知道组内的其他数据存储服务器节点的同步情况以及最新文件被同步的时间点。进一步的技术方案是:步骤S5中可用的数据存储服务器节点是指以下任意一种情况时的节点:当文件创建时间点等于该数据存储服务器节点上的文件的被同步时间点时;或当文件创建时间点小于数据节点上的文件的被同步时间点时;或系统设定同步延迟阀值,所述同步延迟阀值是同步产生延迟的可接受范围,当当前时间点减去文件创建时间点大于该同步延迟阀值时。本专利技术与现有技术相比,具有以下的有益效果:基于资源定位器跳转的分布式文件系统,资源定位器端主要做调度工作,在内存中只记录数据存储服务器端的状态信息和分组情况,是客户端和数据存储服务器端交互的枢纽。本系统通过采用在数据存储服务器端进行分组存储的方式来提高数据的可靠性,以及利用资源定位器来解决由于异步同步带来的文件同步延迟的问题,既保证了用户文件的安全,又解决了下载找不到文件的问题,为用户带来更好的体验。附图说明图1是本专利技术所述的基于资源定位器跳转解决分布式文件系统同步延迟的总流程示意图;图2是本专利技术所述的基于资源定位器跳转解决分布式文件系统同步延迟的结构框图。具体实施方式下面结合本专利技术的实施例对本专利技术作进一步的阐述和说明。实施例:如图2所示,一种基于资源定位器跳转的分布式文件系统,包括资源定位器端,包括一台或者多台定位服务器,各个定位服务器间相互独立,主要起调度作用以及处理由客户端传递而来的请求和监控文件存储服务器的运行状况。数据存储服务器端,包括一个或者多个数据存储服务器组,每一个组有一个或者多个数据存储节点,主要完成对数据的存储、同步,能主动连接资源定位器。同一组的数据存储节点存储的文件是一致的,不同组的数据存储节点是相互独立的。客户端,用户的操作入口,连接资源定位器端,由资源定位器端为它分配可用的数据存储节点。一种基于资源定位器跳转的分布式文件系统的数据同步方法,其具体的方法为,首先布置分布式本文档来自技高网...
基于资源定位器跳转的分布式文件系统及其数据同步方法

【技术保护点】
一种基于资源定位器跳转的分布式文件系统,其特征在于,它包括资源定位器端,数据存储服务器端和客户端;所述数据存储服务器端包括至少一组数据存储服务器组,每一组数据存储服务器组有一个或者多个数据存储服务器节点,所述数据存储服务器端用于完成对数据的存储、同步和主动连接资源定位器端;所述资源定位器端用于处理由客户端传递来的请求、监控数据存储服务器端运行状况和为用户分配可用的数据存储服务器节点;所述客户端是用户的操作入口。

【技术特征摘要】
1.一种基于资源定位器跳转的分布式文件系统,其特征在于,它包括资
源定位器端,数据存储服务器端和客户端;所述数据存储服务器端包括至少一
组数据存储服务器组,每一组数据存储服务器组有一个或者多个数据存储服务
器节点,所述数据存储服务器端用于完成对数据的存储、同步和主动连接资源
定位器端;所述资源定位器端用于处理由客户端传递来的请求、监控数据存储
服务器端运行状况和为用户分配可用的数据存储服务器节点;所述客户端是用
户的操作入口。
2.根据权利要求1所述的基于资源定位器跳转的分布式文件系统,其特
征在于:所述资源定位器端包括至少一台定位服务器,各个定位服务器间相互
独立。
3.根据权利要求1所述的基于资源定位器跳转的分布式文件系统,其特
征在于:同一组数据存储服务器中的各个数据存储服务器节点存储的文件是一
致的,不同组数据存储服务器中的各个数据存储服务器节点是相互独立的。
4.基于资源定位器跳转的分布式文件系统的数据同步方法,其特征在于
包括以下步骤:
S1、布置分布式文件系统,所述分布式文件系统包含资源定位器端、数据
存储服务器端和客户端;所述数据存储服务器端包括至少一组数据存储服务器
组,每一组数据存储服务器组有一个或者多个数据存储服务器节点,所述数据
存储服务器端用于完成对数据的存储、同步和主动连接资源定位器端;所述资
源定位器端用于处理由客户端传递来的请求、监控数据存储服务器端运行状况
和为用户分配可用的数据存储服务器节点;所述客户端是用户的操作入口,当
用户需要文件操作时,首先由客户端向资源定位器端发起请求;
S2、资源定位器端根据客户端的请求,判定用户是上传文件,还是下载文

\t件;若是上传文件,则执行步骤S3后再执行步骤S4,若是下载文件,则执行
步骤S5;
S3、资源定位器端查询到可用的数据存储服务器节点后,将数据存储服务
器节点的IP和端口信息返回给客户端;客户端上传文件到数据存储服务器节点;
数据存储服务器节点将上传的文件内容写入磁盘、生成文件ID,并将文件ID返回
给客户端,客户端存储返回的文件ID信息,上传操作完毕;
S4、数据存储服务器节点采用主动推送的方式,将文件同步到其他数据存
储服务器节点;<...

【专利技术属性】
技术研发人员:杨雪莲李强
申请(专利权)人:四川长虹电器股份有限公司
类型:发明
国别省市:四川;51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1