【技术实现步骤摘要】
本申请涉及大数据，特别是涉及一种元数据的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、hdfs（hadoop distributed file system）是一种分布式文件系统，能够以高吞吐量访问应用程序的数据，实现大数据的存储和处理，因此，得到了越来越广泛的应用。
2、为了维护hdfs的稳定性，需要对hdfs中的文件和目录进行监测。文件位于目录下，目录可以存在上级目录或下级目录。相关技术中，通过使用hdfs命令行、客户端或webhdfs等方式能够直接获取特定的文件的大小。
3、然而，在hdfs包含海量文件和目录的情况下，相关技术无法实现快速、有效的监测，容易影响hdfs的稳定性。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高对分布式文件系统进行监测的效率和准确性的元数据的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种元数据的处理方法，包括：
3、获取分布式文件系统的镜像文件，所述镜像文件包括所述分布式文件系统的元数据；
4、将所述镜像文件转换为文本格式的中间文件，并从所述中间文件中提取出所述分布式文件系统中数据文件的路径信息和数据量；
5、根据所述数据文件的路径信息和数据量，确定所述数据文件的上级目录下的文件数量和总数据量；
6、在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下
7、在其中一个实施例中，所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量包括：
8、根据所述上级目录下的文件数量和总数据量，确定根目录下的文件数量和总数据量；
9、在预设的数据展示页面上展示所述根目录下的文件数量和总数据量；
10、响应于针对所述数据展示页面上与所述根目录相关联的第一控件的触发操作，在所述数据展示页面上展示所述根目录的下一级目录下的文件数量和总数据量和/或所述数据文件的数据量。
11、在其中一个实施例中，在所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量，之后包括：
12、响应于针对所述数据展示页面上与目标目录相关联的第二控件的触发操作，在所述数据展示页面上展示历史时间段内所述目标目录下的总数据量；
13、响应于针对所述数据展示页面上与目标数据文件相关联的第二控件的触发操作，在所述数据展示页面上展示历史时间段内所述目标数据文件的数据量。
14、在其中一个实施例中，在所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量，之前包括：
15、将所述数据文件的数据量、所述上级目录下的文件数量和总数据量存储至分布式数据库的分区表中；所述分布式数据库用于根据所述分区表的数据获取时间，更新所述分区表，在所述分布式数据库中得到历史时间段内所述数据文件的数据量、所述上级目录下的文件数量和总数据量。
16、在其中一个实施例中，所述根据所述数据文件的路径信息和数据量，确定所述数据文件的上级目录下的文件数量和总数据量包括：
17、基于预设的映射规则，将所述数据文件的路径信息和数据量映射至预构建的表中，在所述预构建的表中得到所述数据文件的上级目录、所述上级目录下的文件数量和总数据量。
18、在其中一个实施例中，所述将所述镜像文件转换为文本格式的中间文件包括：
19、将所述镜像文件转换为字符分隔值格式的中间文件。
20、第二方面，本申请还提供了一种元数据的处理装置，包括：
21、文件获取模块，用于获取分布式文件系统的镜像文件，所述镜像文件包括所述分布式文件系统的元数据；
22、格式转换模块，用于将所述镜像文件转换为文本格式的中间文件，并从所述中间文件中提取出所述分布式文件系统中数据文件的路径信息和数据量；
23、统计模块，用于根据所述数据文件的路径信息和数据量，确定所述数据文件的上级目录下的文件数量和总数据量；
24、展示模块，用于在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量。
25、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。
26、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
27、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
28、上述元数据的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过将分布式文件系统的镜像文件转换为文本格式，能够将元数据转换为可读的格式，便于对元数据中文件的路径信息和数据量进行提取和处理，得到可以直接展示的各层级目录下的文件数量和总数据量，进而业务人员通过预设的数据展示页面，能够快速、有效地获取到分布式文件系统中文件的大小、目录的大小和目录下包含的文件数量，便于对分布式文件系统进行监测和治理，以提高分布式文件系统的稳定性。
本文档来自技高网...【技术保护点】
1.一种元数据的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量包括：
3.根据权利要求1所述的方法，其特征在于，在所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量，之后包括：
4.根据权利要求3所述的方法，其特征在于，在所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量，之前包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述数据文件的路径信息和数据量，确定所述数据文件的上级目录下的文件数量和总数据量包括：
6.根据权利要求1所述的方法，其特征在于，所述将所述镜像文件转换为文本格式的中间文件包括：
7.一种元数据的处理装置，其特征在于，所述装置包括：
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种元数据的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量包括：
3.根据权利要求1所述的方法，其特征在于，在所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量，之后包括：
4.根据权利要求3所述的方法，其特征在于，在所述在预设的数据展示页面上展示所述数据文件的数据量和所述上级目录下的文件数量和总数据量，之前包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述数据文件的路径信息和数据量，确定所述数据文件的上级目录下的文件数...
【专利技术属性】
技术研发人员：李晓伟，任何强，申根荣，戴宣，
申请(专利权)人：企查查科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。