管理数据的方法及装置、非易失性存储介质、电子设备制造方法及图纸

本申请公开了一种管理数据的方法及装置、非易失性存储介质、电子设备。其中，该方法包括：获取分布式存储管理系统中的运行数据，并将运行数据的格式转换为目标格式，得到第一目标运行数据；确定多个时间区间，依据时间区间对第一目标运行数据进行分组，得到多个数据集，其中，每个数据集对应一个时间区间；分别将多个数据集输入至对应的多个神经网络模型进行预测，得到对分布式存储管理系统的多个预测结果；根据预测结果，管理运行数据。本申请解决了由于相关数据存储体系中服务器资源无法依据通信业务对数据量的需求变化造成的数据存储成本高，效率低，和数据安全性差的技术问题。和数据安全性差的技术问题。和数据安全性差的技术问题。

【技术实现步骤摘要】
管理数据的方法及装置、非易失性存储介质、电子设备


[0001]本申请涉及领域，具体而言，涉及一种管理数据的方法及装置、非易失性存储介质、电子设备。

技术介绍

[0002]随着互联应用和大数据技术的发展与普及，尤其是社交网络、电子商务与移动通信技术的发展，进入到了一个以拍字节(Petabytes，PB)为单位的数据信息新时代，数据量不断的增长，给数据的存储与读取带来了很大的挑战；现有的数据存储体系中存在服务器资源不能依据通信业务对数据量的需求变化，数据存储成本高，数据易泄露，大规模数据存储、传输和维护难的技术问题。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种管理数据的方法及装置、非易失性存储介质、电子设备，以至少解决由于相关数据存储体系中服务器资源无法依据通信业务对数据量的需求变化造成的数据存储成本高，效率低，和数据安全性差的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种管理数据的方法，包括：获取分布式存储管理系统中的运行数据，并将运行数据的格式转换为目标格式，得到第一目标运行数据；确定多个时间区间，依据时间区间对第一目标运行数据进行分组，得到多个数据集，其中，每个数据集对应一个时间区间；分别将多个数据集输入至对应的多个神经网络模型进行预测，得到对分布式存储管理系统的多个预测结果；根据预测结果，管理运行数据。
[0006]可选地，确定时间区间，包括：确定运行数据的起始时间戳，结束时间戳和目标时间戳，其中，目标时间戳所指示的时间位于起始时间戳和结束时间戳之间；将起始时间戳，结束时间戳和目标时间戳转换为目标格式；确定目标格式的目标时间戳与目标格式的起始时间戳的第一差值，确定目标格式的结束时间戳与目标格式的起始时间戳的第二差值；将起始时间戳确定为时间区间的上限，将结束时间戳确定为时间区间的下限，将第一差值确定为时间区间的时间间隔，将第一差值与第二差值的比值确定为时间区间的标识。
[0007]可选地，依据时间区间对第一目标运行数据进行分组，得到多个数据集，包括：对第一目标运行数据进行归一化处理，得到处理后的第二目标运行数据；将位于同一时间区间内的第二目标运数据确定为一组数据集，其中，数据集包括第二目标运行数据，时间标识和数据标识，时间标识用于指示时间区间，数据标识用于指示数据集中的第二目标运数据中的类型及每一类型运行数据的数据量。
[0008]可选地，神经网络模型通过以下方法训练得到，包括：确定多个时间区间，以及与多个时间区间对应的数据访问量；将多个时间区间、多个时间区间对应的多个数据集，以及与多个时间区间对应的数据访问量确定为多个训练数据集；确定与多个时间区间对应的多个正则化调节系数，并依据正则化调节系数确定与神经网络模型对应的损失函数；利用正
则化调节系数，损失函数和训练数据集对神经网络模型进行训练。
[0009]可选地，对神经网络模型进行训练，还包括：当损失函数的值为预设值时，停止训练神经网络模型。
[0010]可选地，根据预测结果，管理运行数据，包括：将预测结果与预设阈值对比，得到对比结果；如果对比结果指示预测结果与预设阈值不一致，调用目标接口调节分布式存储管理系统的运行状态，以管理运行数据；如果对比结果指示预测结果与预设阈值一致，拒绝调用目标接口调节分布式存储管理系统的运行状态。
[0011]可选地，得到对分布式存储管理系统的多个预测结果之后，方法还包括：根据多个预测结果生成曲线图，其中，曲线图用于预测分布式存储管理系统存储数据的能力，其中，曲线图的横坐标为时间区间，曲线图的纵坐标为预测结果。
[0012]根据本申请实施例的另一方面，还提供了一种管理数据的装置，包括：获取模块，用于获取分布式存储管理系统中的运行数据，并将运行数据的格式转换为目标格式，得到第一目标运行数据；确定模块，用于确定多个时间区间，依据时间区间对第一目标运行数据进行分组，得到多个数据集，其中，每个数据集对应一个时间区间；预测模块，用于分别将多个数据集输入至对应的多个神经网络模型进行预测，得到对分布式存储管理系统的多个预测结果；管理模块，用于根据预测结果，管理运行数据。
[0013]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的管理数据的方法。
[0014]根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，该处理器用于运行存储在存储器中的程序，其中，程序运行时执行上述的管理数据的方法。
[0015]在本申请实施例中，采用获取分布式存储管理系统中的运行数据，并将运行数据的格式转换为目标格式，得到第一目标运行数据；确定多个时间区间，依据时间区间对第一目标运行数据进行分组，得到多个数据集，其中，每个数据集对应一个时间区间；分别将多个数据集输入至对应的多个神经网络模型进行预测，得到对分布式存储管理系统的多个预测结果；根据预测结果，管理运行数据的方式，通过引入容器技术增加对星际文件系统(Inter Planetary File System，IPFS)的整体管理，解决了系统管理与部署难题，使多种平台可以快捷的接入系统中。基于IPFS技术使数据可以被永久保存，并且提供数据历史版本的回溯功能。同时，系统为了运行的稳定以及资源的合理利用引入了神经网络技术，通过深度学习完成对资源的预测，并通过预测结果来调节系统的节点规模与相关参数，达到了整体提升系统资源的调控能力的目的，从而实现了降低数据存储成本，提升数据存储和传输效率，提高数据安全性的技术效果，进而解决了由于相关数据存储体系中服务器资源无法依据通信业务对数据量的需求变化造成的数据存储成本高，效率低，和数据安全性差技术问题。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1是根据本申请实施例的管理数据的方法流程图；
[0018]图2是根据本申请实施例的管理中心管理运行数据的示意图；
[0019]图3是根据本申请实施例的管理数据的装置的结构图；
[0020]图4是根据本申请实施例的管理数据的装置的工作流程示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0022]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管理数据的方法，其特征在于，包括：获取分布式存储管理系统中的运行数据，并将所述运行数据的格式转换为目标格式，得到第一目标运行数据；确定多个时间区间，依据所述时间区间对所述第一目标运行数据进行分组，得到多个数据集，其中，每个数据集对应一个时间区间；分别将多个所述数据集输入至对应的多个神经网络模型进行预测，得到对所述分布式存储管理系统的多个预测结果；根据所述预测结果，管理所述运行数据。2.根据权利要求1所述的方法，其特征在于，确定时间区间，包括：确定所述运行数据的起始时间戳，结束时间戳和目标时间戳，其中，所述目标时间戳所指示的时间位于所述起始时间戳和所述结束时间戳之间；将所述起始时间戳，所述结束时间戳和所述目标时间戳转换为所述目标格式；确定所述目标格式的目标时间戳与所述目标格式的起始时间戳的第一差值，确定所述目标格式的结束时间戳与所述目标格式的起始时间戳的第二差值；将所述起始时间戳确定为所述时间区间的上限，将所述结束时间戳确定为所述时间区间的下限，将所述第一差值确定为所述时间区间的时间间隔，将所述第一差值与所述第二差值的比值确定为所述时间区间的标识。3.根据权利要求1所述的方法，其特征在于，依据所述时间区间对所述第一目标运行数据进行分组，得到多个数据集，包括：对所述第一目标运行数据进行归一化处理，得到处理后的第二目标运行数据；将位于同一所述时间区间内的所述第二目标运数据确定为一组所述数据集，其中，所述数据集包括所述第二目标运行数据，时间标识和数据标识，所述时间标识用于指示所述时间区间，所述数据标识用于指示所述数据集中的第二目标运数据中的类型及每一类型所述运行数据的数据量。4.根据权利要求1所述的方法，其特征在于，所述神经网络模型通过以下方法训练得到，包括：确定多个所述时间区间，以及与多个所述时间区间对应的数据访问量；将多个所述时间区间、多个所述时间区间对应的多个数据集，以及与多个所述时间区间对应的数据访问量确定为多个训练数据集；确定与所述多个时间区间对应的多个正则化调节系数，并依据所述正...

【专利技术属性】
技术研发人员：王金龙，张海玉，乌兰哈达，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：