分布式文件系统及其中的上层文件系统的访问方法技术方案

本发明专利技术公开了一种分布式文件系统及其中的上层文件系统的访问方法，其中，访问方法包括：多线程应用中的输入输出ＩＯ型线程发出用于请求访问上层文件系统的同步ＩＯ请求；上层调度器选择上层文件系统的核心线程来处理同步ＩＯ请求，其中，核心线程绑定在虚内核中央处理器ＣＰＵ上并且具有比非核心线程高的调度优先级；在处理完成后，上层文件系统通知上层调度器对ＩＯ型线程进行优先调度；上层调度器优先调度ＩＯ型线程并向ＩＯ型线程发送同步ＩＯ请求的响应消息。本发明专利技术缩短上层文件系统响应ＩＯ型线程的同步ＩＯ请求所需的时间。

【技术实现步骤摘要】

本专利技术涉及数据存储领域，具体而言，涉及一种分布式文件系统及其中的上层文 件系统的访问方法。
技术介绍
随着多媒体产业的迅猛发展，出于成本、可靠性等多方面的考虑，越来越多的厂商 选择在产品中部署自主研发的分布式上层存储系统，从而分布式文件系统也因此得到了快 速的发展。在现有的分布式文件系统中主要包括内核调度器、上层文件系统、以及多线程应 用程序。多线程应用程序中的线程会根据需要去访问上层文件系统，例如多线程应用程序 中的10(输入输出)型线程会发送同步IO请求(如Open请求)来访问上层文件系统中的 文件等。不同于内核文件系统，上层文件系统虽然具有更好的可扩展性，但是，却不能及时 地响应部分IO型线程的同步IO请求，从而影响了部分实时性要求比较高的业务。
技术实现思路
本专利技术的主要目的在于提供一种分布式文件系统及其中的上层文件系统的访问 方法，以至少解决上述的上层文件系统不能及时地响应IO型线程的同步IO请求的问题。根据本专利技术的一个方面，提供了一种分布式文件系统中的上层文件系统的访问方 法，包括多线程应用中的输入输出IO型线程发出用于请求访问上层文件系统的同步IO请 求；上层调度器选择上层文件系统的核心线程来处理同步IO请求，其中，核心线程绑定在 虚内核中央处理器CPU上并且具有比非核心线程高的调度优先级；在处理完成后，上层文 件系统通知上层调度器对IO型线程进行优先调度；上层调度器优先调度IO型线程并向IO 型线程发送同步IO请求的响应消息。进一步地，在IO型线程发出同步IO请求之前，还包括上层文件系统启动后，指定 虚内核CPU，并确定核心线程；上层文件系统向上层调度器发送第一配置请求，其中，第一 配置请求中包括指定的虚内核CPU的信息、以及确定的核心线程的信息；上层调度器接收 到第一配置请求后，确定上层文件系统的第一配置策略并发送给内核调度器，其中，第一配 置策略包括核心线程绑定在虚内核CPU上以及核心线程的调度优先级高于非核心线程的 调度优先级；内核调度器以第一配置策略进行设置。进一步地，在IO型线程发出同步IO请求之前，还包括多线程应用启动后，根据上 层文件系统指定的虚内核CPU确定非虚内核CPU，并确定IO型线程的调度优先级高于多线 程应用中的运算型线程的调度优先级；多线程应用向上层调度器发送第二配置请求，其中， 第二配置请求中包括确定的非虚内核CPU的信息、以及IO型线程的调度优先级和运算型线 程的调度优先级；上层调度器接收到第二配置请求后，确定多线程应用的第二配置策略并 发送给内核调度器，其中，第二配置策略包括多线程应用在非虚内核CPU上调度，并且IO 型线程的调度优先级高于运算型线程的调度优先级；内核调度器以第二配置策略进行设置。进一步地，在IO型线程发出同步IO请求之后，还包括10型线程进入阻塞状态以 使得内核调度器进行调度；内核调度器进行调度以使得上层调度器选择核心线程来处理同 步IO请求。进一步地，上层文件系统通知上层调度器对IO型线程进行优先调度包括在处理 完成后，核心线程通知上层调度器对IO型线程进行优先调度；上层调度器接收到通知后， 标注IO型线程的调度优先级为最高；内核调度器进行调度以使得上层调度器优先调度IO 型线程。进一步地，上层调度器优先调度IO型线程包括上层调度器选择具有最高的调度 优先级的IO型线程进行调度。根据本专利技术的另一方面，提供了一种分布式文件系统，包括多线程应用模块，用 于在多线程应用中的输入输出IO型线程启动时，发出用于请求访问上层文件系统的同步 IO请求；上层调度器，用于选择上层文件系统的核心线程来处理同步IO请求，其中，核心线 程绑定在虚内核中央处理器CPU上并且具有比非核心线程高的调度优先级；以及优先调度 IO型线程并向IO型线程发送同步IO请求的响应消息；上层文件系统，用于使用核心线程 处理同步IO请求，并在处理完成后通知上层调度器对IO型线程进行优先调度。进一步地，在上述的分布式文件系统中，还包括内核调度器，其中上层文件系 统，还用于在多线程应用启动后指定虚内核CPU，并同时确定核心线程；以及向上层调度器 发送第一配置请求，其中，第一配置请求中包括指定的虚内核CPU的信息、以及确定的核心 线程的信息；上层调度器，还用于接收到第一配置请求后，确定上层文件系统的第一配置策 略并发送给内核调度器，其中，第一配置策略包括核心线程绑定在虚内核CPU上以及核心 线程的调度优先级高于非核心线程的调度优先级；内核调度器，用于以第一配置策略进行 设置。进一步地，多线程应用模块，还用于在启动后根据上层文件系统指定的虚内核CPU 确定非虚内核CPU，并确定IO型线程的调度优先级高于多线程应用中的运算型线程的调度 优先级；以及向上层调度器发送第二配置请求，其中，第二配置请求中包括确定的非虚内核 CPU的信息、以及IO型线程的调度优先级和运算型线程的调度优先级；上层调度器，还用于 在接收到第二配置请求后，确定多线程应用的第二配置策略并发送给内核调度器，其中，第 二配置策略包括多线程应用在非虚内核CPU上调度，并且IO型线程的调度优先级高于运 算型线程的调度优先级；内核调度器，还用于以第二配置策略进行设置。进一步地，多线程应用模块还用于在发出同步IO请求之后，令IO型线程进入阻塞 状态以使得内核调度器进行调度；内核调度器还用于根据IO型线程的阻塞状态进行调度 以使得上层调度器选择核心线程来处理同步IO请求。通过本专利技术，一方面通过将上层文件系统的核心线程绑定在虚内核CPU上并提高 了其调度优先级，提高了上层文件系统的核心线程被调度的能力，提高了单位时间上层文 件系统的核心线程的实际运行时间和相应吞吐率，另一方面，上层调度器通过优先调度IO 型线程，提高了上层应用的IO型线程的实际调用次数，限制了运算型线程抢占CPU的能力， 保证了 IO型线程具有足够的被调度能力，通过上述两个方面的作用，上层调度器缩短了由 于未能及时调度IO型线程而浪费的时间，提高了同步IO的吞吐量，从而缩短上层文件系统5响应IO型线程的同步IO请求所需的时间，解决了相关技术中上层文件系统不能及时地响 应IO型线程的同步IO请求的问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中图1是根据本专利技术实施例的分布式文件系统中的上层文件系统的访问方法的流 程图；图2是根据本专利技术优选实施例的上层文件系统和多线程应用的注册流程图；图3是根据本专利技术实施例的分布式文件系统运行时，上层文件系统的访问过程中 的调度流程图；图4是根据相关技术的CPU占用情况的柱状图；图5是根据本专利技术实施例的访问方法的CPU占用情况的柱状图；图6是根据本专利技术实施例的分布式系统的示意图；图7是根据本专利技术优选实施例的分布式系统的结构示意图；图8是根据本专利技术优选实施例的分布式系统的模块示意图。具体实施例方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的 情况下，本申请中的实施例及实施例中的特征可以相互组合。图1是根据本专利技术实施例的分布式文件系统中的上层文件系统的访问方法的流 程图，包括以下步骤步骤S 102本文档来自技高网...

【技术保护点】
一种分布式文件系统中的上层文件系统的访问方法，其特征在于，包括：多线程应用中的输入输出ＩＯ型线程发出用于请求访问上层文件系统的同步ＩＯ请求；上层调度器选择所述上层文件系统的核心线程来处理所述同步ＩＯ请求，其中，所述核心线程绑定在虚内核中央处理器ＣＰＵ上并且具有比非核心线程高的调度优先级；在处理完成后，所述上层文件系统通知所述上层调度器对所述ＩＯ型线程进行优先调度；所述上层调度器优先调度所述ＩＯ型线程并向所述ＩＯ型线程发送所述同步ＩＯ请求的响应消息。

【技术特征摘要】
一种分布式文件系统中的上层文件系统的访问方法，其特征在于，包括多线程应用中的输入输出IO型线程发出用于请求访问上层文件系统的同步IO请求；上层调度器选择所述上层文件系统的核心线程来处理所述同步IO请求，其中，所述核心线程绑定在虚内核中央处理器CPU上并且具有比非核心线程高的调度优先级；在处理完成后，所述上层文件系统通知所述上层调度器对所述IO型线程进行优先调度；所述上层调度器优先调度所述IO型线程并向所述IO型线程发送所述同步IO请求的响应消息。2.根据权利要求1所述的访问方法，其特征在于，在所述IO型线程发出所述同步IO请 求之前,还包括所述上层文件系统启动后，指定所述虚内核CPU，并确定所述核心线程； 所述上层文件系统向所述上层调度器发送第一配置请求，其中，所述第一配置请求中 包括指定的所述虚内核CPU的信息、以及确定的所述核心线程的信息；所述上层调度器接收到所述第一配置请求后，确定所述上层文件系统的第一配置策略 并发送给内核调度器，其中，所述第一配置策略包括所述核心线程绑定在所述虚内核CPU 上以及所述核心线程的调度优先级高于所述非核心线程的调度优先级； 所述内核调度器以所述第一配置策略进行设置。3.根据权利要求2所述的访问方法，其特征在于，在所述IO型线程发出所述同步IO请 求之前,还包括所述多线程应用启动后，根据所述上层文件系统指定的所述虚内核CPU确定非虚内核 CPU，并确定所述IO型线程的调度优先级高于所述多线程应用中的运算型线程的调度优先 级；所述多线程应用向所述上层调度器发送第二配置请求，其中，所述第二配置请求中包 括确定的所述非虚内核CPU的信息、以及所述IO型线程的调度优先级和所述运算型线程的 调度优先级；所述上层调度器接收到所述第二配置请求后，确定所述多线程应用的第二配置策略并 发送给所述内核调度器，其中，所述第二配置策略包括所述多线程应用在所述非虚内核 CPU上调度，并且所述IO型线程的调度优先级高于所述运算型线程的调度优先级； 所述内核调度器以所述第二配置策略进行设置。4.根据权利要求1所述的访问方法，其特征在于，在所述IO型线程发出所述同步IO请 求之后，还包括所述IO型线程进入阻塞状态以使得内核调度器进行调度；所述内核调度器进行调度以使得所述上层调度器选择所述核心线程来处理所述同步 IO请求。5.根据权利要求1至4中任一项所述的访问方法，其特征在于，所述上层文件系统通知 所述上层调度器对所述IO型线程进行优先调度包括在处理完成后，所述核心线程通知所述上层调度器对所述IO型线程进行优先调度； 所述上层调度器接收到所述通知后，标注所述IO型线程的调度优先级为最高； 所述内核调度器进...

【专利技术属性】
技术研发人员：朱鹏，夏舰波，江凌生，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]