一种基于分布式系统的文件处理方法、装置及系统制造方法及图纸

本发明专利技术提供一种基于分布式系统的文件处理方法、装置及系统，上述方法包括以下步骤：客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件；实现了根据文件大小，从对应的访问目标对象中获取对应的文件进行访问，大大节约了文件访问时间，提高了文件处理效率。

【技术实现步骤摘要】

本专利技术属于文件处理领域，尤其涉及一种基于分布式系统的文件处理方法、装置及系统。
技术介绍
图1所示为现有技术的文件处理方法流程图，包括客户端、元数据服务器、数据处理服务器，其中，所述客户端分别与所述元数据服务器、所述数据处理服务器相连；所有文件元数据存储至元数据服务器，而文件存储至数据处理服务器中。文件数据写流程如下：客户端向元数据服务器发送写入或修改文件元数据请求；所述元数据服务器存储文件元数据或者修改文件元数据后，向客户端发送写入或修改成功响应消息；所述客户端接收写入或修改成功响应消息后，将文件写入数据处理服务器。文件数据读流程如下：客户端向元数据服务器发送文件元数据获取请求；所述元数据服务器接收所述元数据获取请求后，向所述客户端反馈文件元数据响应消息；其中，所述文件元数据响应消息中携带了文件元数据；所述客户端向数据处理服务器发送文件数据获取请求；所述数据处理服务器向客户端反馈文件数据响应消息；其中，所述文件数据响应消息中携带了文件。但是上述文件读写流程中，无论文件大小，都需要客户端分别与元数据服务器、数据处理服务器进行交互，大大延迟了文件处理时间。
技术实现思路
本专利技术提供一种基于分布式系统的文件处理方法、装置及系统，以解决上述问题。本专利技术提供一种基于分布式系统的文件处理方法。上述方法包括以下步骤：客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件。本专利技术还提供了一种基于分布式系统的文件处理装置，包括目标对象确定模块、文件获取模块；其中，所述目标对象确定模块与所述文件获取模块相连；所述目标对象确定模块，用于访问文件时，根据文件大小，确定对应的访问目标对象并将确定的所述访问目标对象发送至所述文件获取模块；所述文件获取模块，用于从所述访问目标对象中获取对应的文件。本专利技术还提供了一种基于分布式系统的文件处理系统，包括客户端、元数据服务器、数据处理服务器；其中，所述客户端分别与所述元数据服务器、所述数据处理服务器相连；所述客户端，用于若所述文件大小小于预设文件大小，则从元数据服务器中获取与小于预设文件大小的文件对应的文件元数据；还用于从文件元数据的扩展属性中获取对应的文件并进行读取访问；用于若所述文件大小大于或等于预设文件大小，则从元数据服务器中获取与大于或等于预设文件大小的文件对应的文件元数据；还用于从数据处理服务器中获取大于或等于预设文件大小的文件并进行读取访问；所述文件元数据，用于存储文件元数据。所述数据处理服务器，用于存储大于或等于预设文件大小的文件。通过以下方案：客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件；实现了根据文件大小，从对应的访问目标对象中获取对应的文件进行访问，大大节约了文件访问时间，提高了文件处理效率。通过以下方案：若所述文件大小小于预设文件大小，则所述客户端从元数据服务器中获取与小于预设文件大小的文件对应的文件元数据；所述客户端从文件元数据的扩展属性中获取对应的文件并进行读取访问；大大提高了对小文件的读性能；同时，由于不需要从数据处理服务器中获取文件，因此，大大节约了文件访问时间，提高了文件处理效率。通过以下方案：若所述客户端从元数据服务器中获取的文件元数据的扩展属性中获取对应的文件，则将所述文件直接加载至内存中进行读取访问；若所述客户端从数据处理服务器中获取大于或等于预设文件大小的文件，则将所述文件分割成预设份数后，按顺序加载至内存中进行顺序读取访问；实现了根据访问文件大小，确定不同的读取方式，大大提高了读取的效率。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1所示为现有技术的文件处理方法流程图；图2所示为本专利技术实施例1的文件处理方法流程图；图3所示为本专利技术实施例2的文件处理装置结构图。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。图2所示为本专利技术实施例1的文件处理方法流程图，包括以下步骤：步骤201：客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件；进一步地，所述访问目标对象包括元数据服务器、数据处理服务器。进一步地，客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件之前，还包括：预先将小于预设文件大小的文件写入文件元数据的扩展属性并将所述文件元数据存储至元数据服务器。其中，所述预设文件大小可以根据实际情况进行灵活设定(例如：500KB)，在此不用于限定本实施例的保护范围。进一步地，客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件的过程为：若所述文件大小小于预设文件大小，则所述客户端从元数据服务器中获取与小于预设文件大小的文件对应的文件元数据；所述客户端从文件元数据的扩展属性中获取对应的文件并进行读取访问。进一步地，客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件的过程为：若所述文件大小大于或等于预设文件大小，则所述客户端从元数据服务器中获取与大于或等于预设文件大小的文件对应的文件元数据；所述客户端从数据处理服务器中获取大于或等于预设文件大小的文件并进行读取访问。步骤202:所述客户端根据从不同的访问目标对象中获取的文件，确定对应的访问方式。进一步地，所述客户端根据从不同的访问目标对象中获取的文件，确定对应的访问方式过程为：若所述客户端从元数据服务器中获取的文件元数据的扩展属性中获取对应的文件，则将所述文件直接加载至内存中进行读取访问。进一步地，所述客户端根据从不同的访问目标对象中获取的文件，确定对应的访问方式过程为：若所述客户端从数据处理服务器中获取大于或等于预设文件大小的文件，则将所述文件分割成预设份数后，按顺序加载至内存中进行顺序读取访问。图3所示为本专利技术实施例2的文件处理装置结构图，包括目标对象确定模块301、文件获取模块302；其中，所述目标对象确定模块301与所述文件...

【技术保护点】
一种基于分布式系统的文件处理方法，其特征在于，包括以下步骤：客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文件。

【技术特征摘要】
1.一种基于分布式系统的文件处理方法，其特征在于，包括以下步骤：
客户端访问文件时，根据文件大小，确定对应的访问目标对象并从所述
访问目标对象中获取对应的文件。
2.根据权利要求1所述的方法，其特征在于，所述访问目标对象包括元
数据服务器、数据处理服务器。
3.根据权利要求2所述的方法，其特征在于，客户端访问文件时，根据
文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文
件之前，还包括：
预先将小于预设文件大小的文件写入文件元数据的扩展属性并将所述文
件元数据存储至元数据服务器。
4.根据权利要求3所述的方法，其特征在于，客户端访问文件时，根据
文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文
件的过程为：
若所述文件大小小于预设文件大小，则所述客户端从元数据服务器中获
取与小于预设文件大小的文件对应的文件元数据；
所述客户端从文件元数据的扩展属性中获取对应的文件并进行读取访
问。
5.根据权利要求2所述的方法，其特征在于，客户端访问文件时，根据
文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文
件的过程为：
若所述文件大小大于或等于预设文件大小，则所述客户端从元数据服务
器中获取与大于或等于预设文件大小的文件对应的文件元数据；
所述客户端从数据处理服务器中获取大于或等于预设文件大小的文件并
进行读取访问。
6.根据权利要求1所述的方法，其特征在于，客户端访问文件时，根据
文件大小，确定对应的访问目标对象并从所述访问目标对象中获取对应的文

\t件之后，还包括：
所述客户端根据从不同的访问目标对象中获取的文件，确定对应的访问
方式。
7.根据权...

【专利技术属性】
技术研发人员：张延良，李雪生，程瑶，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11