数据存储管理方法及系统、装置、计算机可读存储介质制造方法及图纸

本申请公开了一种数据存储管理方法及系统、装置、计算机可读存储介质，本申请提供的方案包括：接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中。型对应的存储硬盘中。型对应的存储硬盘中。

【技术实现步骤摘要】
数据存储管理方法及系统、装置、计算机可读存储介质


[0001]本申请涉及大数据
，尤其涉及一种数据存储管理方法及系统、装置、计算机可读存储介质。

技术介绍

[0002]大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
[0003]数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上。目前在使用的储存设备多数为硬盘储存，集中储存，除了用电量、散热、读写损耗和初期设备购买成本，大规模采用昂贵的硬盘进行储存，一方面不利于扩大大数据管理系统扩容，另外一方面运营的成本较大。所以引用了大容量但是读写速度较低的磁带硬盘，但是此类数据的分类储存一直是大数据管理系统的难点，无法进行兼顾。

技术实现思路

[0004]本申请实施例的目的是提供一种数据存储管理方法及系统、装置、计算机可读存储介质，用于解决现有大数据存储管理存在的效率低问题。
[0005]为了解决上述技术问题，本说明书是这样实现的：
[0006]第一方面，提供了一种数据存储管理方法，包括：
[0007]接收云平台传输的数据并进行预存储；
[0008]根据预存储数据类型对应的提取频率确定所述数据的存储类型；
[0009]将所述数据存储到所述存储类型对应的存储硬盘中。
[0010]可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
[0011]确定所述数据的类型；
[0012]根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；
[0013]在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
[0014]可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
[0015]根据预存储数据的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型，其中，
[0016]在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；
[0017]根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。
[0018]可选的，所述计算所述数据使用非固态硬盘存储的费效比，包括：
[0019]根据所述数据的数据量大小和各非固态硬盘存储对应的存储单价、复写速率，计算所述数据对应的各非固态硬盘存储的费效比。
[0020]可选的，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：
[0021]确定各非固态硬盘存储的费效比中的最低值；
[0022]确定所述最低值对应的非固态硬盘存储为所述数据的存储类型。
[0023]可选的，该方法还包括：
[0024]根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；
[0025]根据统计的提取频率和对应的数据类型确定所述映射关系。
[0026]可选的，所述将所述数据存储到所述存储类型对应的存储硬盘中之后，还包括：
[0027]将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
[0028]第二方面，提供了一种数据存储管理系统，包括数据中转模块、存储类型确定模块和多个不同类型的存储硬盘，
[0029]所述数据中转模块，与云平台连接，用于接收云平台传输的数据并进行预存储；
[0030]所述存储类型确定模块，与所述数据中转模块连接，用于根据预存储数据类型对应的提取频率确定所述数据的存储类型，并指示所述数据中转模块将所述数据中转到所述存储类型对应的存储硬盘中；
[0031]存储硬盘，与所述数据中转模块连接，用于存储所述数据中转模块中转的数据。
[0032]第三方面，提供了一种数据存储管理装置，包括存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的方法的步骤。
[0033]第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
[0034]在本申请实施例中，通过接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中，由此可实现对不同提取频率的数据进行分类存储，将数据存储到合适的存储硬盘中，提高数据存储管理的效率。
附图说明
[0035]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0036]图1是本申请实施例的数据存储管理方法的流程示意图。
[0037]图2是本申请实施例的数据存储管理系统的架构示意图。
[0038]图3是本申请实施例的云平台的网关模块的结构示意图。
[0039]图4至图5是本申请实施例的网关模块的电路结构示意图。
[0040]图6是本申请实施例的数据存储管理装置的结构方框图。
具体实施方式
[0041]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
[0042]为了解决现有技术中存在的问题，本申请实施例提供一种数据存储管理方法，图1是本申请实施例的数据存储管理方法的流程示意图。
[0043]如图1所示，包括以下步骤：
[0044]步骤102，接收云平台传输的数据并进行预存储；
[0045]步骤104，根据预存储数据类型对应的提取频率确定所述数据的存储类型；
[0046]步骤106，将所述数据存储到所述存储类型对应的存储硬盘中。
[0047]在步骤102中，云平台收集到的大数据可通过对应网关模块传输到中转数据库进行预储存。
[0048]在步骤104中，可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：确定所述数据的类型；根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
[0049]数据的类型包括但不限于客户数据、业务前端数据、日常数据等数据源，相同类型数据是运维分组的，每组数据为一份。接收到数据后，即可根据数据的类型标识直接得知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储管理方法，其特征在于，包括：接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中。2.如权利要求1所述的方法，其特征在于，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：确定所述数据的类型；根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。3.如权利要求1所述的方法，其特征在于，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：根据预存储数据的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型，其中，在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。4.如权利要求3所述的方法，其特征在于，所述计算所述数据使用非固态硬盘存储的费效比，包括：根据所述数据的数据量大小和各非固态硬盘存储对应的存储单价、复写速率，计算所述数据对应的各非固态硬盘存储的费效比。5.如权利要求3所述的方法，其特征在于，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：确定各非固态硬盘存储的费效比中的最低值；确定所述最低值对应的...

【专利技术属性】
技术研发人员：苟浩淞，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：