本发明专利技术公开了一种文件存储方法，包括：实时监控备份服务器的性能指标，根据性能指标计算得到备份服务器的健康分值；其中，性能指标包含以下指标中的一个或多个：CPU使用率、内存使用率、网络使用率及磁盘使用率；根据备份服务器的健康分值，确定需开启的备份线程的数目；根据需开启的备份线程的数目，开启对应数目的备份线程，从网络存储器获取备份文件数据，将备份文件数据备份到备份服务器中。本发明专利技术的文件存储方法显著地减轻了备份服务器元数据库的压力，极大地提高了备份效率。极大地提高了备份效率。极大地提高了备份效率。
【技术实现步骤摘要】
文件存储方法、装置、计算设备及计算机存储介质
[0001]本专利技术涉及文件存储领域，具体涉及一种文件存储方法、装置、计算设备及计算机存储介质。
技术介绍
[0002]随着互联网行业的发展以及移动终端技术的兴起，图片、电子书籍、电子文档等业务数据曾出现指数级别的增长。企业内部拥有上亿甚至几十亿业务数据小文件(小文件一般指大小在几十字节(KB)到几兆字节(MB)的单个文件)已经成为常态，且企业对数据的依赖性也越来强，因此，海量小文件的有效离线备份，变成一项亟待解决的难题。
[0003]现有技术中，针对海量小文件的备份主要采用以下技术方案：在挂载有网络文件系统的生产主机安装备份客户端软件，用于后续备份策略发起和备份数据传输；备份服务端创建一个标准的文件备份策略，包含全量备份和增量备份，全量备份发起时，备份客户端扫描所需备份目录下所有的文件，然后单线程逐个进行备份；以及每备份成功一个文件，备份服务器都会在其元数据库中创建一条元数据，包含备份的文件名称、备份客户端、备份时间、md5校验码。
[0004]然而，专利技术人在实施过程中发现，上述的备份方案在文件数量从百万级别增长到几亿甚至几十亿的数量级别时，会存在一下缺点：每完成一次备份需要两次数据传输；单线程对文件逐个进行备份，备份时间过长以及每备份一个文件，都会在备份服务器端元数据库中产生一条元数据，会增加备份服务器端压力，影响备份效率。
技术实现思路
[0005]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的文件存储方法、装置、计算设备及计算机存储。
[0006]根据本专利技术的一个方面，提供了一种文件存储方法，包括：
[0007]实时监控备份服务器的性能指标，根据性能指标计算得到备份服务器的健康分值；其中，性能指标包含以下指标中的一个或多个：CPU使用率、内存使用率、网络使用率及磁盘使用率；
[0008]根据备份服务器的健康分值，确定需开启的备份线程的数目；
[0009]根据需开启的备份线程的数目，开启对应数目的备份线程，从网络存储器获取备份文件数据，将备份文件数据备份到备份服务器中。
[0010]可选地，该文件存储方法还包括：采用优化的挂载参数将所述网络存储器以只读形式挂载给所述备份服务器。
[0011]可选地，实时监控备份服务器的性能指标进一步包括：通过采集线程，读取备份服务器的内核文件，获取备份服务器的性能指标。
[0012]可选地，将备份文件数据备份到备份服务器中进一步包括：对备份文件数据进行分组，获得多个备份文件数据组；任一备份线程对备份文件数据组逐个进行压缩打包为单
个文件备份到备份服务器中。
[0013]可选地，对备份文件数据进行分组，获得多个备份文件数据组进一步包括：创建数据索引表和标签表，扫描当前的文件系统，并将数据索引表切割成多个子数据索引表，获得多个备份文件数据组。
[0014]可选地，任一备份线程对备份文件数据组逐个进行压缩打包为单个文件备份到备份服务器中进一步包括：检查所述标签表，计算出需要备份的备份文件数据组，基于需要备份的备份文件数据组的子数据索引表，将分组中的需要备份文件数据组逐个压缩打包为单个文件备份到备份服务器。
[0015]可选地，备份文件数据为小文件数据，网络存储器为NAS存储器。
[0016]根据本专利技术的另一方面，提供了一种文件存储装置，包括：
[0017]监控模块，适于实时监控备份服务器的性能指标，根据性能指标计算得到备份服务器的健康分值；其中，性能指标包含以下指标中的一个或多个：CPU使用率、内存使用率、网络使用率及磁盘使用率；
[0018]确定模块，适于根据备份服务器的健康分值，确定需开启的备份线程的数目；以及
[0019]开启模块，适于根据需开启的备份线程的数目，开启对应数目的备份线程，从网络存储器获取备份文件数据，将备份文件数据备份到备份服务器中。
[0020]可选地，监控模块进一步适于：采用优化的挂载参数将所述网络存储器以只读形式挂载给所述备份服务器。
[0021]可选地，监控模块进一步适于：通过采集线程，读取备份服务器的内核文件，获取备份服务器的性能指标。
[0022]可选地，开启模块进一步适于：对备份文件数据进行分组，获得多个备份文件数据组；任一备份线程对备份文件数据组逐个进行压缩打包为单个文件备份到备份服务器中。
[0023]可选地，开启模块进一步适于：创建数据索引表和标签表，扫描当前的文件系统，并将数据索引表切割成多个子数据索引表，获得多个备份文件数据组。
[0024]可选地，开启模块进一步适于：检查所述标签表，计算出需要备份的备份文件数据组，基于需要备份的备份文件数据组的子数据索引表，将分组中的需要备份文件数据组逐个压缩打包为单个文件备份到备份服务器。可选地，备份文件数据为小文件数据，网络存储器为NAS存储器。
[0025]根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
[0026]所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述文件存储方法对应的操作。
[0027]根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述文件存储方法对应的操作。
[0028]根据本专利技术提供的文件存储方法、装置、计算设备及存储介质，实时监控备份服务器的性能指标，根据性能指标计算得到备份服务器的健康分值；其中，性能指标包含以下指标中的一个或多个：CPU使用率、内存使用率、网络使用率及磁盘使用率；根据备份服务器的健康分值，确定需开启的备份线程的数目；根据需开启的备份线程的数目，开启对应数目的备份线程，从网络存储器获取备份文件数据，将备份文件数据备份到备份服务器中。本方案
的文件存储方法显著地减轻了备份服务器元数据库的压力，极大地提高了备份效率。
[0029]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0030]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0031]图1示出了根据本专利技术实施例一提供的一种文件存储方法的流程示意图；
[0032]图2示出了根据本专利技术实施例的文件存储方法的动态调度器的调度流程图；
[0033]图3示出了根据本专利技术实施例的文件存储方法的动态打包备份的流程图；
[0034]图4示出了根据本专利技术实施例二提供的一种文件存储方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文件存储方法，其特征在于，包括：实时监控备份服务器的性能指标，根据所述性能指标计算得到所述备份服务器的健康分值；其中，所述性能指标包含以下指标中的一个或多个：CPU使用率、内存使用率、网络使用率及磁盘使用率；根据所述备份服务器的健康分值，确定需开启的备份线程的数目；根据需开启的备份线程的数目，开启对应数目的备份线程，从网络存储器获取备份文件数据，将备份文件数据备份到所述备份服务器中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用优化的挂载参数将所述网络存储器以只读形式挂载给所述备份服务器。3.根据权利要求1所述的方法，其特征在于，所述实时监控备份服务器的性能指标进一步包括：通过采集线程，读取所述备份服务器的内核文件，获取所述备份服务器的性能指标。4.根据权利要求1所述的方法，其特征在于，所述将备份文件数据备份到所述备份服务器中进一步包括：对备份文件数据进行分组，获得多个备份文件数据组；任一备份线程对备份文件数据组逐个进行压缩打包为单个文件备份到所述备份服务器中。5.根据权利要求4所述的方法，其特征在于，所述对备份文件数据进行分组，获得多个备份文件数据组进一步包括：创建数据索引表和标签表，扫描当前的文件系统，并将所述数据索引表切割成多个子数据索引表，获得多个备份文件数据组。6.根据权利要求5所述的方法，其特征在于，所述任一备份线程对备份文件数据组逐个进行压缩打包为单个文件备份到所述备份服务器中进...
【专利技术属性】
技术研发人员：刘禹，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。