数据的多存储方法、装置、电子设备及计算机存储介质制造方法及图纸

本发明专利技术涉及数据处理技术，揭露了一种数据的多存储方法，包括：根据预设的不同存储逻辑的产品存储服务构建多个云数据库；获取预设工作系统中的产品数据，并对所述产品数据进行删重及分块处理，得到数据块集；构建存储策略模型，利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度；根据所述适合度，将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。本发明专利技术还提出了数据的多存储装置、设备及计算机可读存储介质。此外，本发明专利技术还涉及区块链技术，所述数据块集可存储于区块链节点中。本发明专利技术可以实现智能化的数据多存储，增加数据存储容灾性，解决存储效率低的问题。

【技术实现步骤摘要】
数据的多存储方法、装置、电子设备及计算机存储介质
本专利技术涉及云存储
，尤其涉及一种数据的多存储方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着信息时代的来临，数据成为企业最重要的资产，对企业来讲数据多存储是一个很重要的需求。所述数据多存储是指将企业中数据存储至多个服务器中，保证一处服务器损坏时，其他服务器还能保证数据的安全。目前行业内具有，例如分布式文件系统TFS、对象存储系统BOS等等多种文件存储服务，但是这些存储服务都有各自的优缺点，企业不适合将数据保存到其中一个存储服务里，因为所有数据存储至同一类型的数据库中，容易造成数据丢失，此外所述存储服务发生意外时，容灾性差。
技术实现思路
本专利技术提供一种数据的多存储方法、装置、电子设备及计算机可读存储介质，其主要目的在于实现智能化的数据多存储，增加数据存储容灾性，解决存储效率低的问题。为实现上述目的，本专利技术提供的一种数据的多存储方法，包括：根据预设的不同存储逻辑的产品存储服务构建多个云数据库；获取预设工作系统中的产品数据，并对所述产品数据进行删重及分块处理，得到数据块集；构建存储策略模型，利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度；根据所述适合度，将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。可选的，所述构建存储策略模型，包括：获取样本数据集，其中所述样本数据集包括所述预设工作系统的历史数据，以及所述历史数据对应的不同产品存储服务的匹配度集；利用所述样本数据集中的历史数据以及对应的匹配度集对预先构建的存储策略模型进行训练，得到训练完成的存储策略模型。可选的，所述利用所述样本数据集中的历史数据以及对应的匹配度集对预先构建的存储策略模型进行训练，得到训练完成的存储策略模型，包括：将所述样本数据集进行量化及清洗操作，得到量化数据；利用动量算法，设置训练过程中梯度下降方向；根据所述梯度下降方向，利用所述量化数据对所述存储策略模型进行K折交叉校验训练，得到训练完成的存储策略模型。可选的，所述根据所述梯度下降方向，利用所述量化数据对所述存储策略模型进行K折交叉校验训练，得到训练完成的存储策略模型，包括：步骤I将所述量化数据等比例划分成K份；步骤II、选择其中的K-1份量化数据作为训练数据以及剩余的1份量化数据作为测试数据，利用所述存储策略模型对所述训练数据进行分类计算，得到所述训练数据中的历史数据与不同产品存储服务的适合度；步骤III、根据计算得到的适合度与所述匹配度集计算所述存储策略模型的误差值，并判断所述误差值与预设的误差阈值的大小关系；步骤IV、若所述误差值大于所述误差阈值，调整所述存储策略模型的内部参数，根据所述梯度下降方向，返回上述的步骤II，直至所述误差值小于所述误差阈值，执行步骤V；步骤V、利用所述测试数据对所述存储策略模型进行验证，在验证不合格时，返回上述的步骤II，并在所述步骤II重复了K次时，得到训练完成的存储策略模型。可选的，所述对所述产品数据进行删重及分块处理，得到数据块集，包括：在所述产品数据中检索并删除重复的产品数据，得到简洁数据；利用预构建的纠删码将所述简洁数据拆分为X份数据块，得到数据块集。可选的，所述利用预构建的纠删码将所述简洁数据拆分为X份数据块，得到数据块集，包括：将所述简洁数据进行编码，得到编译数据；分割所述编译数据，得到Z份数据块，利用所述纠删码对所述Z份数据块与预设编码矩阵进行矩阵乘积运算，得到Y份校验块；将Z份所述数据块与Y份所述校验块进行集合，得到包含X份数据块，得到所述数据块集。可选的，所述获取预设工作系统中的产品数据，包括：连接预构建的客户端及本地私有云，通过所述客户端存储用户的校验密码数据，并利用所述本地私有云进行数据传输管理；利用所述工作系统的数据管理接口连接所述客户端；利用所述客户端中存储的所述校验密码数据对用户的数据存储请求进行验证；在所述用户的数据存储请求验证成功时，从预设的工作系统中获取所述产品数据。为了解决上述问题，本专利技术还提供一种数据的多存储装置，所述装置包括：数据库构建模块，用于根据预设的不同存储逻辑的产品存储服务构建多个云数据库；数据处理模块，用于获取预设工作系统中的产品数据，并对所述产品数据进行删重及分块处理，得到数据块集；存储模块，用于构建存储策略模型，利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度，及根据所述适合度，将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的数据的多存储方法。为了解决上述问题，本专利技术还提供一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现上述所述的数据的多存储方法。本专利技术实施例将不同存储逻辑的产品存储服务接口整合，构建云数据库，方便产品数据进行多存储，通过产品数据删重、分块，可以得到整洁的数据，增加数据存储效率，通过构建的存储策略模型可以判断不同数据块存储在不同云数据块中的适合度，可以选择最合适的存储方式保证数据安全性。因此，本专利技术实施例目的在于实现智能化的的数据多存储，增加数据存储容灾性，解决存储效率低的问题。附图说明图1为本专利技术一实施例提供的数据的多存储方法的流程示意图；图2为本专利技术一实施例提供的数据的多存储装置的模块示意图；图3为本专利技术一实施例提供的实现数据的多存储方法的电子设备的内部结构示意图；本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本申请实施例提供一种数据的多存储方法。所述数据的多存储方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述数据的多存储方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。参照图1所示，为本专利技术一实施例提供的数据的多存储方法的流程示意图。在本实施例中，所述数据的多存储方法包括：S1、根据预设的不同存储逻辑的产品存储服务构建多个云数据库。本专利技术实施例将预构建的多种不同存储逻辑的产品存储服务进行抽象，对应得到多种云数据库。本文档来自技高网...

【技术保护点】
1.一种数据的多存储方法，其特征在于，所述方法包括：/n根据预设的不同存储逻辑的产品存储服务构建多个云数据库；/n获取预设工作系统中的产品数据，并对所述产品数据进行删重及分块处理，得到数据块集；/n构建存储策略模型，利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度；/n根据所述适合度，将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。/n

【技术特征摘要】
1.一种数据的多存储方法，其特征在于，所述方法包括：
根据预设的不同存储逻辑的产品存储服务构建多个云数据库；
获取预设工作系统中的产品数据，并对所述产品数据进行删重及分块处理，得到数据块集；
构建存储策略模型，利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度；
根据所述适合度，将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。


2.如权利要求1所述的数据的多存储方法，其特征在于，所述构建存储策略模型，包括：
获取样本数据集，其中所述样本数据集包括所述预设工作系统的历史数据，以及所述历史数据对应的不同产品存储服务的匹配度集；
利用所述样本数据集中的历史数据以及对应的匹配度集对预先构建的存储策略模型进行训练，得到训练完成的存储策略模型。


3.如权利要求2所述的数据的多存储方法，其特征在于，所述利用所述样本数据集中的历史数据以及对应的匹配度集对预先构建的存储策略模型进行训练，得到训练完成的存储策略模型，包括：
将所述样本数据集进行量化及清洗操作，得到量化数据；
利用动量算法，设置训练过程中梯度下降方向；
根据所述梯度下降方向，利用所述量化数据对所述存储策略模型进行K折交叉校验训练，得到训练完成的存储策略模型。


4.如权利要求3所述的数据的多存储方法，其特征在于，所述根据所述梯度下降方向，利用所述量化数据对所述存储策略模型进行K折交叉校验训练，得到训练完成的存储策略模型，包括：
步骤I、将所述量化数据等比例划分成K份；
步骤II、选择其中的K-1份量化数据作为训练数据以及剩余的1份量化数据作为测试数据，利用所述存储策略模型对所述训练数据进行分类计算，得到所述训练数据中的历史数据与不同产品存储服务的适合度；
步骤III、根据计算得到的适合度与所述匹配度集计算所述存储策略模型的误差值，并判断所述误差值与预设的误差阈值的大小关系；
步骤IV、若所述误差值大于所述误差阈值，调整所述存储策略模型的内部参数，根据所述梯度下降方向，返回上述的步骤II，直至所述误差值小于所述误差阈值，执行步骤V；
步骤V、利用所述测试数据对所述存储策略模型进行验证，在验证不合格时，返回上述的步骤II，并在所述步骤II重复了K次时，得到训练完成的存储策略模型。


5.如权利要求1所述的数据的多存储方...

【专利技术属性】
技术研发人员：李海平，杨真，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44