分布式文件系统及控制方法技术方案

本发明专利技术实施例提供一种分布式文件系统及控制方法。所述系统包括：控制模块、任务池以及配置中心；其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；所述任务模块包括：分配单元以及处理单元；所述分配单元用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中；所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。本发明专利技术实施例解决了现有技术中，分布式文件系统中原有的文件抢占模式造成I/O资源冲突的问题。

Distributed file system and control method

【技术实现步骤摘要】
分布式文件系统及控制方法
本专利技术实施例涉及移动通信
，尤其涉及一种分布式文件系统及控制方法。
技术介绍
随着弹性服务化框架技术的发展，分布式云系统对现有文件系统在响应及时率、高可用以及扩展性等方面提出了更高的要求。现有文件系统中，较为常见的是基于磁盘阵列的文件系统，其主要是以冗余备份来保障文件安全以及快速访问，构建原理是基于数组方式的磁盘组，配合数据分散排列的设计，以提升数据的安全性。磁盘阵列由很多价格低廉、容量较小、稳定性较高且速度较慢的磁盘，组合成一个大型的磁盘组，利用其中个别磁盘提供数据所产生的加成效果提来升整个磁盘系统效能。然而，复杂的构建原理必然导致较差的扩展性，比如，当需要增加存储或者更换磁盘时，无法做到服务的平滑过渡。分布式文件系统将广泛分布各个不同物理存储空间(比如本机、局域网和广域网)中的数据以一定逻辑形式组成文件系统，分布式文件系统提供的服务更多的是索引(指向)作用，不必耗费很大的部署资源，顺应了云计算的发展方向。具体地，分布式文件系统中的索引功能，对于文件系统的原子性操作，例如rename(rename是一个计算函数，功能是给一个文件重命名，用该函数可以实现文件移动功能，把一个文件的完整路径的盘符改一下就实现了这个文件的移动。)、mv等指令，由于增加了算法额外开销，性能会有一定的降低。作为示例，参见表1，在相同硬件资源(CPU、内存)环境下，表1中对ClusterFS、MooseFS以及本地磁盘耗时的基本命令性能测试进行对比，得出如下数据：表1：对于文件无状态化时的任务分配方式主要有如下两种(以文件全路径名称为任务分片)：任务处理单元直接从文件系统中竞争任务分片(如具有原子性的rename操作)；以及任务处理单元从统一的协调中心竞争或顺序获取任务分片。而直接从文件系统竞争任务分片时，需要各任务处理单元独立遍历目录中全量数据后，抢占到各自的临时路径下。而当任务处理单元数量较多时，各自的遍历、rename操作产生的上下文切换与I/O操作将产生资源冲突，而在分布式文件系统的高延时下，这种资源冲突将造成极大的系统负担。
技术实现思路
本专利技术实施例提供一种分布式文件系统及控制方法，用以解决现有技术中，分布式文件系统中原有的文件抢占模式造成I/O资源冲突的问题。一方面，本专利技术实施例提供一种分布式文件系统，所述系统包括：控制模块、任务池以及配置中心；其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；所述任务模块包括：分配单元以及处理单元；所述分配单元用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中；所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。一方面，本专利技术实施例提供一种分布式文件系统的控制方法，应用于上述分布式文件系统，所述方法包括：获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述分布式文件系统的配置中心；控制所述任务模块从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至所述分布式文件系统的任务池中；以及从所述任务池中获取所述文件分片，并执行所述待执行任务。另一方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述分布式文件系统的控制方法中的步骤。再一方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述分布式文件系统的控制方法中的步骤。本专利技术实施例提供的分布式文件系统及控制方法，通过为待执行任务配置单独的任务模块，将待执行任务的任务参数存储在所述配置中心；通过分配单元从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中，使得任务模块在控制模块竞争或顺序获取得到文件分片时，直接从任务池中得到已经分配好的文件信息，避免了各处理单元独立遍历目录，减轻文件系统的压力；在无需对分布式文件系统的结构进行变更的情况下，通过将原有的文件抢占模式，更改为任务片分发、文件分配模式，降低文件系统I/O压力；在分布式文件系统中高并发情况下，可降低文件原子操作造成的频繁上下文切换及I/O交换，有效避免CPU任务调度部分占用CPU过高，提高CPU的利用率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的分布式文件系统的结构示意图；图2为本专利技术实施例的示例的结构示意图；图3为本专利技术实施例的示例的流程示意图之一；图4为本专利技术实施例的示例的流程示意图之二；图5为本专利技术实施例提供的分布式文件系统的控制方法的流程示意图；图6为本专利技术实施例提供的电子设备的结构示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本专利技术的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本专利技术的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。应理解，说明书通篇中提到的“实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本专利技术的至少一个实施例中。因此，在整个说明书各处出现的“实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本专利技术的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。图1示出了本专利技术实施例提供的一种分布式文件系统的控制方法的结构示意图。如图1所示，本专利技术实施例提供的分布式文件系统，所述系统包括：控制模块、任务池以及配置中心；其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；其中，可在分布式文件系统的前台通过人机交互接口与本文档来自技高网...

【技术保护点】
1.一种分布式文件系统，其特征在于，所述系统包括：控制模块、任务池以及配置中心；/n其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；/n所述任务模块包括：分配单元以及处理单元；/n所述分配单元用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中；/n所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。/n

【技术特征摘要】
1.一种分布式文件系统，其特征在于，所述系统包括：控制模块、任务池以及配置中心；
其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；
所述任务模块包括：分配单元以及处理单元；
所述分配单元用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中；
所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。


2.根据权利要求1所述的系统，其特征在于，所述任务模块还包括：定义单元，用于获取所述待执行任务并为所述待执行任务配置一任务标识号ID。


3.根据权利要求2所述的系统，其特征在于，还包括：
分配存储单元，用于存储所述任务池中的文件分片的转移记录，所述转移记录包括源目录以及目标目录；
其中，所述处理单元用于从所述任务池中获取所述文件分片时，向所述分配存储单元发送作为目标目录的任务ID。


4.根据权利要求3所述的系统，其特征在于，所述分配单元根据所述任务参数从所述分配存储单元中获取所述文件分片的第一源目录，将所述任务池的地址作为所述文件分片的第一目标目录，根据所述第一源目录、第一目标目录，生成所述文件分片的第一转移记录。


5.根据权利要求1所述的系统，其特征在于，所述处理单元包括：分片子单元以及处理子单元；其中，
所述分片子单元用于从所述任务池中...

【专利技术属性】
技术研发人员：顾卿，严庭翔，贾栋，裴力，邱晓波，胡可，
申请(专利权)人：中国移动通信集团上海有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：上海;31