具有数据处理功能的文件系统及其使用方法技术方案

本发明专利技术提供一种具有数据处理功能的文件系统及其使用方法，其中，所述具有数据处理功能的文件系统具有一个系统进程，用于启动该文件系统，并能进行数据处理；在应用进程发出数据处理请求时，所述系统进程基于特殊文件接受所述应用进程发出的数据处理请求，解析数据处理请求，完成数据处理，并将数据处理结果基于特殊文件反馈给所述应用进程；其中，所述特殊文件为具有特殊字符文件名且不与传统文件重名的文件，所述具有数据处理功能的文件系统的每一个路径下均具有一个特殊文件。本发明专利技术的具有数据处理功能的文件系统，大大降低了数据访问过程中的数据迁移，同时提高了文件的读写访问速度，节省了有限的DRAM资源，从而提高了系统I/O性能。

【技术实现步骤摘要】

本专利技术涉及文件系统
，特别是涉及一种具有数据处理功能的文件系统及其使用方法。
技术介绍
近几年来，随着大数据处理和应用的急剧增长，在大数据背景下如何快速完成数据处理已经成为学术界和工业界普遍关注的一个热点问题。文件系统作为存储数据的组织管理方式是大数据处理的重要组成部分，主要用于控制对文件数据的存取，提供对文件和目录的分层组织形式、数据缓冲(对于实时系统，允许绕过缓冲)以及对文件数据存取权限的控制。传统的文件系统保存在非易失存储器中，当应用进程向传统的文件系统发出读/写文件数据的传统I/O访问请求时，首先操作系统需要将被访问的数据从非易失存储器中以数据页形式顺序加载到DRAM(Dynamic Random Access Memory，动态随机存取存储器)，然后CPU以随机访问的方式访问DRAM中的数据，进行相应的读取或改写。由于不同存储介质的传输速度存在差异，数据从非易失存储器到DRAM的加载时间会导致CPU处于等待状态，从而大大降低了数据处理效率，因此在大数据应用背景下基于传统文件系统的数据传输方式将造成数据传送的瓶颈。同时，传统的文件系统访问数据时需要将数据加载至DRAM，大量数据迁移会导致多次数据复制、冗余数据迁移、加载至DRAM内的数据的副本占用有限的DRAM内存资源，因此大数据背景下基于传统文件系统的数据访问带来的大量数据迁移严重增加了系统内存资源的负担。因此，如何在大数据应用背景下管理文件系统及控制文件访问，充分发挥一个好的文件系统的优势，如何提高文件的读写访问速度，如何节省有限的DRAM资源、提高系统I/O性能等，成为存储系统亟待解决的问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种具有数据处理功能的文件系统及其使用方法，用于解决现有技术中数据处理效率低、系统内存资源被大量冗余数据占用的问题。为实现上述目的及其他相关目的，本专利技术提供一种具有数据处理功能的文件系统，应用于存储有文件数据的存储系统，所述具有数据处理功能的文件系统支持具有常用字符文件名的传统文件的文件数据访问和管理，其中，所述具有数据处理功能的文件系统具有一个系统进程，用于启动该文件系统，并能进行数据处理；在应用进程发出数据处理请求时，所述系统进程基于特殊文件接受所述应用进程发出的数据处理请求，解析所述数据处理请求，完成数据处理，并将数据处理结果基于所述特殊文件反馈给所述应用进程；其中，所述特殊文件为具有特殊字符文件名且不与所述传统文件重名的文件，所述具有数据处理功能的文件系统的每一个路径下均具有一个特殊文件。优选地，在所述应用进程发出数据处理请求时，所述应用进程通过所述传统文件的访问接口对所述特殊文件进行数据读/写访问，所述特殊文件将所述数据处理请求重新定向发送到所述系统进程，以使所述特殊文件成为所述系统进程与所述应用进程之间的数据传输通道。优选地，所述系统进程适于通过要访问的文件数据所在路径下的特殊文件接受所述应用进程发出的数据处理请求，并通过向该特殊文件所在文件夹中的各级子文件夹内的其他所有特殊文件转发所述数据处理请求，来实现数据处理功能嵌套调用，从而实现各级子文件夹遍历数据处理，并将各级数据处理结果逐级汇总返回，以得到所述数据处理结果。优选地，所述应用进程发出的数据处理请求为顺序查找的数据处理请求，固定间隔跳跃查找的数据处理请求，树型结构查找的数据处理请求或者设备调用的数据处理请求。优选地，在所述应用进程发出顺序查找的数据处理请求时，所述系统进程基于所述特殊文件接受所述数据处理请求，然后从所述数据处理请求中解析出关键词和文件查找范围，然后在所述文件查找范围内顺序选择文件数据与所述关键词进行匹配，返回包括匹配计数、匹配位置或者两者结合的信息，作为所述数据处理结果。优选地，在所述应用进程发出固定间隔跳跃查找的数据处理请求时，所述系统进程基于所述特殊文件接受所述数据处理请求，然后从所述数据处理请求中解析出关键词、文件查找范围和跳跃步长，然后从所述文件查找范围起始位置开始，以所述跳跃步长为固定间隔，跳跃式选择文件数据与所述关键词进行匹配，返回包括匹配计数、匹配位置或者两者结合的信息，作为所述数据处理结果。优选地，在所述应用进程发出树型结构查找的数据处理请求时，所述系统进程基于所述特殊文件接受所述数据处理请求，然后从所述数据处理请求中解析出关键词、文件查找范围、树形结构起始根数据节点和子数据节点选择策略，然后在所述文件查找范围内，从所述树形结构起始根数据节点开始，根据当前数据节点的文件数据与所述关键词的匹配结果，按照所述子数据节点选择策略进入下一级数据节点匹配，完成所述文件查找范围内树型结构中的所有数据节点的匹配后，返回包括匹配计数、匹配位置或者两者结合的信息，作为所述数据处理结果。优选地，在所述应用进程发出设备调用的数据处理请求时，所述系统进程基于所述特殊文件接受所述数据处理请求，然后解析所述数据处理请求，调用与所述系统进程具有相同或相似功能的存储设备的驱动程序；所述存储设备的驱动程序被调用后，由所述存储设备完成数据处理，收集并返回数据处理结果。本专利技术还提供一种具有数据处理功能的文件系统的使用方法，其中，所述具有数据处理功能的文件系统的使用方法应用于如上所述的具有数据处理功能的文件系统，其至少包括如下步骤：应用进程向所述具有数据处理功能的文件系统对应的经过格式化并存储有文件数据的存储分区发出数据处理请求，并获得数据处理结果；在所述应用进程发出数据处理请求时，系统进程基于特殊文件接受所述应用进程发出的数据处理请求，解析所述数据处理请求，完成数据处理，并将数据处理结果基于所述特殊文件反馈给所述应用进程。优选地，所述应用进程向所述具有数据处理功能的文件系统对应的经过格式化并存储有文件数据的存储分区发出数据处理请求，并获得数据处理结果，具体方法为：所述应用进程打开要访问的文件数据所在路径下的特殊文件，并取得所述特殊文件的读写权限；所述应用进程根据所述具有数据处理功能的文件系统可解析的数据结构，建立数据处理请求，并将所述数据处理请求的数据结构写入所述特殊文件；所述应用进程读取所述特殊文件，并判断是否读出足够的数据处理结果；其中，若无法读出足够的数据处理结果，则所述应用进程阻塞等待；若读出足够的数据处理结果，则操作系统唤醒所述应用进程，所述应用进程完成数据读出并解析所述数据处理结果。优选地，在所述应用进程发出数据处理请求时，系统进程基于本文档来自技高网...

【技术保护点】
一种具有数据处理功能的文件系统，应用于存储有文件数据的存储系统，所述具有数据处理功能的文件系统支持具有常用字符文件名的传统文件的文件数据访问和管理，其特征在于，所述具有数据处理功能的文件系统具有一个系统进程，用于启动该文件系统，并能进行数据处理；在应用进程发出数据处理请求时，所述系统进程基于特殊文件接受所述应用进程发出的数据处理请求，解析所述数据处理请求，完成数据处理，并将数据处理结果基于所述特殊文件反馈给所述应用进程；其中，所述特殊文件为具有特殊字符文件名且不与所述传统文件重名的文件，所述具有数据处理功能的文件系统的每一个路径下均具有一个特殊文件。

【技术特征摘要】
1.一种具有数据处理功能的文件系统，应用于存储有文件数据的存储系统，所述具有数据处
理功能的文件系统支持具有常用字符文件名的传统文件的文件数据访问和管理，其特征在
于，所述具有数据处理功能的文件系统具有一个系统进程，用于启动该文件系统，并能进
行数据处理；
在应用进程发出数据处理请求时，所述系统进程基于特殊文件接受所述应用进程发
出的数据处理请求，解析所述数据处理请求，完成数据处理，并将数据处理结果基于所述
特殊文件反馈给所述应用进程；
其中，所述特殊文件为具有特殊字符文件名且不与所述传统文件重名的文件，所述
具有数据处理功能的文件系统的每一个路径下均具有一个特殊文件。
2.根据权利要求1所述的具有数据处理功能的文件系统，其特征在于，在所述应用进程发出
数据处理请求时，所述应用进程通过所述传统文件的访问接口对所述特殊文件进行数据读
/写访问，所述特殊文件将所述数据处理请求重新定向发送到所述系统进程，以使所述特
殊文件成为所述系统进程与所述应用进程之间的数据传输通道。
3.根据权利要求1所述的具有数据处理功能的文件系统，其特征在于，所述系统进程适于通
过要访问的文件数据所在路径下的特殊文件接受所述应用进程发出的数据处理请求，并通
过向该特殊文件所在文件夹中的各级子文件夹内的其他所有特殊文件转发所述数据处理
请求，来实现数据处理功能嵌套调用，从而实现各级子文件夹遍历数据处理，并将各级数
据处理结果逐级汇总返回，以得到所述数据处理结果。
4.根据权利要求1所述的具有数据处理功能的文件系统，其特征在于，所述应用进程发出的
数据处理请求为顺序查找的数据处理请求，固定间隔跳跃查找的数据处理请求，树型结构
查找的数据处理请求或者设备调用的数据处理请求。
5.根据权利要求4所述的具有数据处理功能的文件系统，其特征在于，在所述应用进程发出
顺序查找的数据处理请求时，所述系统进程基于所述特殊文件接受所述数据处理请求，然
后从所述数据处理请求中解析出关键词和文件查找范围，然后在所述文件查找范围内顺序
选择文件数据与所述关键词进行匹配，返回包括匹配计数、匹配位置或者两者结合的信息，
作为所述数据处理结果。
6.根据权利要求4所述的具有数据处理功能的文件系统，其特征在于，在所述应用进程发出

\t固定间隔跳跃查找的数据处理请求时，所述系统进程基于所述特殊文件接受所述数据处理
请求，然后从所述数据处理请求中解析出关键词、文件查找范围和跳跃步长，然后从所述
文件查找范围起始位置开始，以所述跳跃步长为固定间隔，跳跃式选择文件数据与所述关
键词进行匹配，返回包括匹配计数、匹配位置或者两者结合的信息，作为所述数据处理结
果。
7.根据权利要求4所述的具有数据处理功能的文件系统，其特征在于，在所述应用进程发出
树型结构查找的数据处理请求时，所述系统进程基于所述特殊文件接受所述数据处理请
求，然后从所述数据处理请求中解析出关键词、文件查找范围、树形结构起始根数据节...

【专利技术属性】
技术研发人员：李顺芬，陈小刚，周密，李鸽子，宋志棠，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31