分布式文件系统、数据处理方法技术方案

本发明专利技术实施例公开了分布式文件系统、数据处理方法，方法包括：响应用户的数据处理操作，客户端生成数据处理指令，并判断数据处理的类型，应用服务器根据数据处理指令判断数据处理的类型，若为向目标存储池写数据，则将数据处理指令中包括的当前写入数据的相关信息作为一个数据项，存储至存储服务器中、与目标存储池关联的数据表中。若为在客户端针对目标数据的修改操作、删除数据操作或查询操作，则根据数据处理指令从存储服务器的目标存储池中确定目标数据的相关信息，并对已确定的相关信息进行与目标操作相对应的处理。可见，本发明专利技术通过访问各存储池对应的数据表的方式，实现对分布式文件系统中数据的快速处理，提高数据处理效率。效率。效率。

【技术实现步骤摘要】
分布式文件系统、数据处理方法


[0001]本专利技术涉及领域数据处理
，尤其涉及分布式文件系统、数据处理方法、计算设备和可读存储介质。

技术介绍

[0002]分布式文件系统，通过网络将多个计算设备互联成一个并行的网络文件系统，其中，文件系统中包括控制服务器和与控制服务器通信连接的一个或多个客户端，控制服务器和各客户端均可以理解为计算设备。任一客户端作为文件系统的一个节点，各客户端中包括多个存储单元(即brick)，是一个受信存储池中的服务器的一个导出目录，可以通过主机名和目录名(例如'SERVER:EXPORT')来标识，存储池由一组客户端的brick组成，在分布式文件系统中可以包括一个或多个存储池。系统中的所有客户端的brick中的一组brick集合，可以构成一个卷(即volume)，而volume可以扩展为多个子卷。
[0003]目前，多通过分布式文件系统对文件数据进行处理，处理可以包括增加、删除、修改、查询等。已有的分布式文件系统，例如Glusterfs，以下以查询文件为例，通过分布式文件系统访问文件的流程如下：首先，通过弹性哈希算法(即DHT)，根据文件名称计算出文件的一个哈希值；其次，根据该哈希值找到文件所在的目录哈希子空间，也就是找到了文件对应的DHT的子卷；最后，访问查找到的DHT的子卷，即实现了文件访问。但是，每当进行文件访问时，均需要DHT计算文件的哈希值和查询文件的DHT的子卷的过程，比较繁琐，导致文件访问效率低下。
[0004]因此，期望提供一种新的分布式文件系统，以解决已有的通过分布式文件系统进行文件访问效率低的技术问题。

技术实现思路

[0005]为此，本专利技术实施例提供分布式文件系统、数据处理方法、计算设备和可读存储介质，以力图解决或至少缓解上面存在的问题。
[0006]根据本专利技术实施例的一个方面，提供了一种方法一种分布式文件系统，包括客户端、应用服务器和存储服务器，其中：存储服务器，适于存储有与各已挂载的存储池关联的数据表，数据表中记录有其关联的存储池中存储的数据的相关信息；客户端，适于响应在客户端的数据处理操作，生成数据处理指令，并发送至应用服务器；应用服务器，适于接收目标客户端发送的数据处理指令，根据数据处理指令判断数据处理的类型，若数据处理的类型为向目标存储池写数据，则将数据处理指令中包括的当前写入数据的相关信息作为一个数据项，存储至存储服务器中、与目标存储池关联的数据表中，若数据处理的类型为在客户端针对目标数据的目标操作或查询操作，则根据数据处理指令从存储服务器的目标存储池中确定目标数据的相关信息，并对已确定的相关信息进行与目标操作相对应的处理，其中，目标操作包括修改操作、删除数据操作。
[0007]可选地，响应在客户端的数据处理操作，客户端生成数据处理指令，并发送至应用
服务器，包括：响应在客户端的数据处理操作，生成数据处理指令；判断数据处理的类型；若数据处理的类型为查询数据，则在数据处理指令中添加目标存储池的标识和目标数据的数据名称，得到新的数据处理指令，并发送至应用服务器；若数据处理的类型为针对目标数据的目标操作或向目标存储池写数据，则客户端将所述数据处理指令发送至应用服务器。
[0008]可选地，相关信息包括数据名称、数据大小、数据生成时间、数据修改时间、是否为文件夹、上级目录名称。
[0009]可选地，若数据处理的类型为在客户端针对目标数据的目标操作，在目标操作为修改操作时，数据处理指令中包括目标存储池标识，应用服务器还适于：根据数据处理指令中的目标存储池标识，从存储服务器中确定目标存储池；判断修改操作的类型，修改操作的类型包括修改数据、对数据重命名、对文件夹重命名。
[0010]可选地，若修改操作的类型为修改数据，数据处理指令还包括目标数据的数据名称、第一修改信息，第一修改信息包括修改后的目标数据的数据大小和数据修改时间；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：将目标存储池中、目标数据的数据大小和数据修改时间更新为第一修改信息。
[0011]可选地，若修改操作的类型为对数据重命名，数据处理指令还包括目标数据的数据名称、第二修改信息，第二修改信息包括修改后的目标数据的数据名称和数据修改时间；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：将目标存储池中、目标数据的数据名称和数据修改时间更新为所述第二修改信息。
[0012]可选地，若修改操作的类型为对文件夹重命名，数据处理指令还包括目标文件夹的数据名称、目标文件夹包括的所有数据的数据名称、第三修改信息，第三修改信息包括修改后的文件夹名称和数据修改时间；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：将目标存储池中的目标文件夹的数据名称和目标文件夹包括的所有数据的上级目录名称更新为第三信息。
[0013]可选地，若目标操作为删除数据操作，数据处理指令还包括目标数据的数据名称；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：判断当前删除的数据是否为文件夹，若否，则根据目标数据的数据名称确定其相关信息和其上级目录的相关信息，并删除；若当前删除的数据为文件夹，则根据目标数据的数据名称确定其相关信息和其中包括的所有数据的相关信息，并删除。
[0014]可选地，若数据处理的类型为在客户端针对目标数据的查询操作，数据处理指令还包括目标数据的数据名称和目标字段；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：从目标存储池中查找出与目标数据的数据名称所对应的相关信息；从已查找出的相关信息中提取所述目标字段，并发送至客户端，以在客户端显示查找到的数据。
[0015]根据本专利技术实施例的另一个方面，提供了一种数据处理方法，适于在分布式文件系统的应用服务器中执行，分布式文件系统中还包括分别与控制服务器通信连接的客户端和存储服务器，存储服务器中存储有与各已挂载的存储池关联的数据表，数据表中记录有其关联的存储池中存储的数据的相关信息，所述方法包括：接收目标客户端发送的数据处理指令；根据数据处理指令判断数据处理的类型；若数据处理的类型为向目标存储池写数据，则将数据处理指令中包括的当前写入数据的相关信息作为一个数据项，存储至存储服务器中、与目标存储池关联的数据表中；若数据处理的类型为在客户端针对目标数据的目
标操作，则根据数据处理指令从存储服务器的目标存储池中确定目标数据的相关信息，并对已确定的相关信息进行与目标操作相对应的处理。
[0016]根据本专利技术实施例的另一个方面，提供了一种数据处理方法，适于在分布式文件系统的任一客户端中执行，分布式文件系统中还包括分别与客户端和存储服务器通信连接的应用服务器，存储服务器中存储有与各已挂载的存储池关联的数据表，数据表中记录有其关联的存储池中存储的数据的相关信息，所述方法包括：响应在客户端的数据处理操作，生成数据处理指令；判断数据处理的类型；若数据处理的类型为查询数据，则在数据处理指令中添加目标存储池的标识和目标数据的数据名称，得到数据查询指令；将数据查询本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统，包括客户端、应用服务器和存储服务器，其中：所述存储服务器，适于存储有与各已挂载的存储池关联的数据表，所述数据表中记录有其关联的存储池中存储的数据的相关信息；所述客户端，适于响应在客户端的数据处理操作，生成数据处理指令，并发送至所述应用服务器；所述应用服务器，适于接收目标客户端发送的数据处理指令，根据所述数据处理指令判断数据处理的类型，若数据处理的类型为向目标存储池写数据，则将所述数据处理指令中包括的当前写入数据的相关信息作为一个数据项，存储至所述存储服务器中、与所述目标存储池关联的数据表中，若数据处理的类型为在客户端针对目标数据的目标操作或查询操作，则根据所述数据处理指令从所述存储服务器的目标存储池中确定目标数据的相关信息，并对已确定的相关信息进行与目标操作相对应的处理，其中，所述目标操作包括修改操作、删除数据操作。2.如权利要求1所述的系统，其中，响应在客户端的数据处理操作，客户端生成数据处理指令，并发送至所述应用服务器，包括：响应在客户端的数据处理操作，生成数据处理指令；判断所述数据处理的类型；若数据处理的类型为查询数据，则在所述数据处理指令中添加目标存储池的标识和目标数据的数据名称，得到新的数据处理指令，并发送至应用服务器；若数据处理的类型为针对目标数据的目标操作或向目标存储池写数据，则所述客户端将所述数据处理指令发送至所述应用服务器。3.如权利要求2所述的系统，其中，所述相关信息包括数据名称、数据大小、数据生成时间、数据修改时间、是否为文件夹、上级目录名称。4.如权利要求3所述的系统，其中，若数据处理的类型为在客户端针对目标数据的目标操作，在所述目标操作为修改操作时，所述数据处理指令中包括目标存储池标识，所述应用服务器还适于：根据数据处理指令中的目标存储池标识，从存储服务器中确定目标存储池；判断修改操作的类型，所述修改操作的类型包括修改数据、对数据重命名、对文件夹重命名。5.如权利要求4所述的系统，若修改操作的类型为修改数据，所述数据处理指令还包括目标数据的数据名称、第一修改信息，所述第一修改信息包括修改后的目标数据的数据大小和数据修改时间；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：将所述目标存储池中、目标数据的数据大小和数据修改时间更新为所述第一修改信息。6.如权利要求4所述的系统，若修改操作的类型为对数据重命名，所述数据处理指令还包括目标数据的数据名称、第二修改信息，所述第二修改信息包括修改后的目标数据的数据名称和数据修改时间；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：将目标存储池中、目标数据的数据名称和数据修改时间更新为所述第二修改信息。
7.如权利要求4所述的系统，若修改操作的类型为对文件夹重命名，所述数据处理指令还包括目标文件夹的数据名称、目标文件夹包括的所有数据的数据名称、第三修改信息，所述第三修改信息包括修改后的文件夹名称和数据修改时间；其中，对已确定的相关信息进行与目标操作相对应的处理，包括：将目标存储池中的目标文件夹的数据名称和目标文件夹包括的所有数据的上级目录名称更新为所述第三信息。8.如权利要求4至7中任一项所述的系统，其中，若所述目标操作为删除数据操作，所述数据处理指令还包括...

【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：统信软件技术有限公司，
类型：发明
国别省市：