本申请提供一种分布式文件系统的容量监测方法、相关装置及存储介质，该方法包括：每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存储卷的当前容量；若网络附属存储卷的当前容量超过次要告警阈值，判断网络附属存储卷的当前容量是否超过主要告警阈值；其中，主要告警阈值大于次要告警阈值；若网络附属存储卷的当前容量未超过主要告警阈值，对网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果；若网络附属存储卷的当前容量超过主要告警阈值，对网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；根据第一扫描结果和第二扫描结果，确定异常目录清单。从而实现对分布式文件系统的容量进行高效地监测。进行高效地监测。进行高效地监测。
【技术实现步骤摘要】
分布式文件系统的容量监测方法、相关装置及存储介质
[0001]本申请涉及计算机
，特别涉及一种分布式文件系统的容量监测方法、相关装置及存储介质。
技术介绍
[0002]随着银行信息化的不断发展，各个业务系统之间的交互愈发频繁，为此各家商业银行分别建立了自身的数据仓库，用于内部各系统之间的数据共享。
[0003]传统的数据仓库一般采用文件交互的方式进行数据传递，即源系统采用文件传输的方式将数据推送至数据仓库的缓冲层所使用的NAS存储完成数据质量检核后将数据存储至数据仓库中，供下游应用系统使用。
[0004]但是，随着银行业务的不断发展，特别是系统数量增加、数据量的不断增长，数据仓库所接收的源文件数量、大小、数据类型越来越多，目前针对这些海量文件，暂无高效的监测方法。
技术实现思路
[0005]有鉴于此，本申请提供一种分布式文件系统的容量监测方法、相关装置及存储介质，用于对分布式文件系统的容量进行高效地监测。
[0006]本申请第一方面提供了一种分布式文件系统的容量监测方法，包括：
[0007]每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；
[0008]判断所述网络附属存储卷的当前容量是否超过次要告警阈值；
[0009]若判断出所述网络附属存储卷的当前容量超过次要告警阈值，则判断所述网络附属存储卷的当前容量是否超过主要告警阈值；其中，所述主要告警阈值大于所述次要告警阈值；
[0010]若判断出所述网络附属存储卷的当前容量未超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并返回执行所述每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量步骤；
[0011]若判断出所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；
[0012]根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单。
[0013]可选的，所述根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单，包括：
[0014]针对第二扫描结果中的每一个目录的当前大小，判断所述目录的当前大小是否超过所述目录的空间大小阈值；其中，所述目录的空间大小阈值根据季度内固定统计的均值与预先设定百分比的积；
[0015]若判断出所述目录的当前大小超过所述目录的空间大小阈值，判断当前日期是否
为业务组件的特殊业务日期；
[0016]若判断出当前日期不为业务组件的特殊业务日期，则确定所述目录为异常目录，并将其存储至异常目录清单中。
[0017]可选的，所述分布式文件系统的容量监测方法，还包括：
[0018]若判断出所述目录的当前大小未超过所述目录的空间大小阈值或判断出所述当前日期为业务组件的特殊业务日期，则确定所述目录在得到第二扫描结果时相较于得到第一扫描结果时的大小增长百分比；
[0019]判断所述大小增长百分比是否大于所述网络附属存储卷的增长百分比；
[0020]若判断出所述大小增长百分比大于所述网络附属存储卷的增长百分比，则确定所述目录为异常目录，并将其存储至异常目录清单中。
[0021]可选的，所述根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单之后，还包括：
[0022]获取压缩专用服务器的CPU核数，并根据所述压缩专用服务器的CPU核数确定多线程压缩程序的压缩参数；其中，所述压缩参数至少包括所述多线程压缩程序的线程数量和压缩比；
[0023]调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，对所述异常目录进行紧急压缩；
[0024]每完成一个异常目录的紧急压缩后，判断所述网络附属存储卷的当前容量是否超过主要告警阈值；
[0025]若判断出所述网络附属存储卷的当前容量超过主要告警阈值，则继续执行所述调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，并对所述异常目录进行紧急压缩步骤；
[0026]若判断出所述网络附属存储卷的当前容量未超过主要告警阈值，则所述多线程压缩程序停止获取异常目录清单中的异常目录，并在已获取的异常目录完成紧急压缩后，停止本次压缩。
[0027]可选的，所述对所述异常目录进行紧急压缩之前，还包括：
[0028]判断所述异常目录在当日是否已经进行过紧急压缩；
[0029]若判断出所述异常目录在当日已经进行过紧急压缩，则不再对所述异常目录进行紧急压缩。
[0030]可选的，所述若判断出所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果之后，还包括：
[0031]获取所述网络附属存储卷中存储的每一个业务组件目录的大小；
[0032]针对每一个业务组件，将当前网络附属存储文件系统的使用率与所述业务组件所在空间比例做差；
[0033]当差值与所述次要告警阈值的差值最小且低于所述次要告警阈值时，选择所述业务组件进行迁移扩容。
[0034]可选的，所述选择所述业务组件进行迁移扩容，包括：
[0035]根据所述业务组件目录已有标签选取不同性能的新网络附属存储卷；
[0036]在所述新网络附属存储卷上建立跟所述网络附属存储卷上一样的目录结构，并将
目录网络附属存储上的组件链接指向所述新网络附属存储卷；
[0037]在所述新网络附属存储卷上新建日期目录链接回链接到所述网络附属存储卷上。
[0038]本申请第二方面提供了一种分布式文件系统的容量监测装置，包括：
[0039]第一监测单元，用于每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；
[0040]第一判断单元，用于判断所述网络附属存储卷的当前容量是否超过次要告警阈值；
[0041]第二判断单元，用于若所述第一判断单元判断出，所述网络附属存储卷的当前容量超过次要告警阈值，则判断所述网络附属存储卷的当前容量是否超过主要告警阈值；其中，所述主要告警阈值大于所述次要告警阈值；
[0042]第一扫描单元，用于若所述第二判断单元判断出，所述网络附属存储卷的当前容量未超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并激活所述第一监测单元执行所述每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；
[0043]第二扫描单元，用于若所述第二判断单元判断出，所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；
[0044]确定单元，用于根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单。
[0045]可选的，所述确定单元，包括：本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式文件系统的容量监测方法，其特征在于，包括：每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；判断所述网络附属存储卷的当前容量是否超过次要告警阈值；若判断出所述网络附属存储卷的当前容量超过次要告警阈值，则判断所述网络附属存储卷的当前容量是否超过主要告警阈值；其中，所述主要告警阈值大于所述次要告警阈值；若判断出所述网络附属存储卷的当前容量未超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并返回执行所述每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量步骤；若判断出所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单。2.根据权利要求1所述的容量监测方法，其特征在于，所述根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单，包括：针对第二扫描结果中的每一个目录的当前大小，判断所述目录的当前大小是否超过所述目录的空间大小阈值；其中，所述目录的空间大小阈值根据季度内固定统计的均值与预先设定百分比的积；若判断出所述目录的当前大小超过所述目录的空间大小阈值，判断当前日期是否为业务组件的特殊业务日期；若判断出当前日期不为业务组件的特殊业务日期，则确定所述目录为异常目录，并将其存储至异常目录清单中。3.根据权利要求2所述的容量监测方法，其特征在于，还包括：若判断出所述目录的当前大小未超过所述目录的空间大小阈值或判断出所述当前日期为业务组件的特殊业务日期，则确定所述目录在得到第二扫描结果时相较于得到第一扫描结果时的大小增长百分比；判断所述大小增长百分比是否大于所述网络附属存储卷的增长百分比；若判断出所述大小增长百分比大于所述网络附属存储卷的增长百分比，则确定所述目录为异常目录，并将其存储至异常目录清单中。4.根据权利要求1所述的容量监测方法，其特征在于，所述根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单之后，还包括：获取压缩专用服务器的CPU核数，并根据所述压缩专用服务器的CPU核数确定多线程压缩程序的压缩参数；其中，所述压缩参数至少包括所述多线程压缩程序的线程数量和压缩比；调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，对所述异常目录进行紧急压缩；每完成一个异常目录的紧急压缩后，判断所述网络附属存储卷的当前容量是否超过主要告警阈值；若判断出所述网络附属存储卷的当前容量超过主要告警阈值，则继续执行所述调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的
异常目录，并对所述异常目录进行紧急压缩步骤；若判断出所述网络附属存储卷的当前容量未超过主要告警阈值，则所述...
【专利技术属性】
技术研发人员：夏松，郭玉章，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。