一种可快速迁移数据的智能化数据存储方法及系统技术方案

本发明专利技术公开了一种可快速迁移数据的智能化数据存储方法及系统，属于数据存储管理技术领域。为解决存储系统迁移数据效率较差的问题，数据评估模块计算结果进行数据评估，根据评估结果决定数据迁移模式，选择不同迁移路径，当所述数据较小、评估结果为基础结果时，将所述数据直接迁移至用户终端，反之则通过从存储层进行分节点转存，从而实现对不同数据的分节点分流迁移，提高存储系统整体的存储效率及迁移效率。数据存储模块数据进行处理并实现云端数据库数据存储功能，实现多类型和多节点的数据存储，存储的更加高效，可以实现加密数据和非加密数据的分节点存储，分区域存储，可以保证数据的安全性，也可以实现数的快速调用和检索。检索。

【技术实现步骤摘要】
一种可快速迁移数据的智能化数据存储方法及系统


[0001]本专利技术涉及数据存储管理
，特别涉及一种可快速迁移数据的智能化数据存储方法及系统。

技术介绍

[0002]在对数据进行系统存储时，已有相关专利，比如申请号CN201610905587.X公开了一种智能存储数据的方法和系统，通过在云端设置存储账号，将常用的第一终端上各个应养成须的数据信息存储到该云端存储账号中，若第一终端发生故障或灭失等情况，则可以在新的第二终端上通过登录该云端存储账号重新将原有的各个应用程序的数据信息配置到第二终端上。不影响原有信息的使用。常用的第一终端上的数据信息还通过云端服务器或者第一终端本身将数据信息备份到移动存储设备上，可以在新的第二终端上通过登录移动存储账号重新将原有的各个应用程序的数据信息配置到第二终端上。
[0003]上述专利其实在实际的操作中还存在以下问题：
[0004]1、在存储系统内对数据进行迁移或者上传时，往往采用统一的上传或迁移路径进行工作，然而在对较大的数据进行迁移时往往效率较慢。
[0005]2、在对不同的数据进行存储时，如公共数据和个人数据，往往因为未分节点存储，而难以实现分区域存储，从而导致数据的安全性低，也难以实现数的快速调用和检索。

技术实现思路

[0006]本专利技术的目的在于提供一种可快速迁移数据的智能化数据存储方法及系统，以解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种可快速迁移数据的智能化数据存储方法，包括以下步骤：
[0008]步骤一：通过用户终端获取需迁移或存储的数据，数据检索模块对所述数据进行检索并选定；
[0009]步骤二：数据计算模块及数据评估模块对所述数据进行计算及评估，得出评估结果，数据迁移模块根据评估结果选择不同迁移路径；
[0010]步骤三：当所述数据较小、评估结果为基础结果时，将所述数据由用户终端直传至云端数据库储存或由云端数据库直接迁移至用户终端；
[0011]步骤四：当所述数据较大、评估结果为超模结果时，将所述数据发送至从存储层进行分节点转存，并通过从存储层转存至云端数据库或迁移至用户终端。
[0012]进一步的，一种可快速迁移数据的智能化数据存储系统，包括从存储层、数据调度层、数据存储层和实施层；
[0013]其中，所述从存储层用于对数据进行分阶段转存，在数据调度层调取数据较大时通过从存储层进行分节点传输；
[0014]所述数据调度层用于对数据源层以及数据存储层内部的数据进行调度，实现数据
源层、数据存储层以及实施层之间的数据快速迁移；
[0015]所述数据存储层用于对数据进行云端储存以及数据的调取发送；
[0016]所述实施层用于运载从存储层、数据调度层以及数据存储层并对存储系统进行操控，对迁移数据进行发送和接收，实施层通过网络与从存储层、数据调度层以及数据存储层实现信号交互连接。
[0017]进一步的，所述从存储层至少包括两个从储存节点，从存储层内包括一个从存储数据引擎；
[0018]所述从存储节点接收信息并启动从数据库引擎对存储数据进行识别。
[0019]进一步的，所述从数据库引擎对待迁移数据进行检索并通过从储存节点进行分流转存，分流转存的数据通过各从储存节点分别迁移传送至实施层。
[0020]进一步的，所述数据调度层包括数据检索模块、数据计算模块、数据评估模块和数据迁移模块；
[0021]其中，所述数据检索模块用于对数据存储层内部需调取迁移的数据进行检索并标记识别；
[0022]所述数据计算模块用于对数据检索模块所检索出的需调取迁移的数据进行数据大小计算；
[0023]所述数据评估模块用于对数据计算模块所计算的结果进行数据评估，根据评估结果决定数据迁移模式；
[0024]所述数据迁移模块用于对数据检索模块所检索出的需调取迁移的数据进行数据迁移，数据迁移时根据数据评估模块的评估结果选择不同的迁移路径，其中，
[0025]所述迁移路径包括基础迁移路径及从储存迁移路径。
[0026]进一步的，所述数据评估模块包括：
[0027]确定模块，用于获取待迁移的数据计算结果评估指标对应的评估值，并根据所述评估值确定评估指标的分布特征；
[0028]拟合模块，用于根据数据库中的预设分布特征，对所述分布特征进行拟合，剔除相关系数小于预设阈值的性能评估指标，得到目标性能评估指标；
[0029]去噪模块，用于对根据数据计算模块获取的相关数据及计算结果进行去噪处理，得到目标数值；
[0030]评估模块，用于将所述目标数值输入数据评估模型中，基于目标数据评估指标获取对应的目标参数；所述目标参数进行潮流计算并确定匹配的评估结果；
[0031]所述评估结果分为基础结果及超模结果。
[0032]进一步的，所述数据迁移模块基于评估结果采用基础迁移路径或从储存迁移路径；
[0033]所述评估结果为基础结果时，数据迁移模块采用基础迁移路径，对待迁移的数据采用直传方式进行传输；
[0034]所述评估结果为超模结果时，数据迁移模块采用从储存迁移路径，对待迁移的数据采用通过从存储层分节点式进行传输。
[0035]进一步的，所述数据存储层包括云端数据库、数据接收模块、数据存储模块和数据传送模块；
[0036]其中，所述云端数据库用于对数据进行云端储存；
[0037]所述数据接收模块用于对发往云端数据库的数据进行数据接收；
[0038]所述数据存储模块用于对数据接收模块所接收到的数据进行处理并实现云端数据库数据存储功能；
[0039]所述数据传送模块用于对云端数据库中被调取的数据进行数据传送。
[0040]进一步的，所述数据存储模块包括：
[0041]搭建自识别的多节点数据存储系统；其中，
[0042]所述多节点数据存储系统包括第一分布式存储区域、第二分布式存储区域和公共缓存识别区域；
[0043]第一分布式存储区域用于存储非加密数据；其中，
[0044]第一分布式存储区域按照数据类型设置有多个数据存储节点，每个数据存储节点具有唯一对应数据类型；
[0045]第二分布式存储区域用于存储加密数据；其中，
[0046]第二分布式存储区域设置有私钥匹配机制，用于根据加密数据的私钥匹配参数确定每个数据存储节点的加密数据；
[0047]公共缓存识别区域设置有数据识别机制，判断数据为加密数据或非加密数据；
[0048]所述公共缓存识别区域包括如下识别过程：
[0049]接收待处理数据，对待处理数据进行解析，生成解析数据；其中，
[0050]解析数据包括：数据类型、数据构成方式和数据内容；
[0051]通过数据类型，确定数据识别参数；
[0052]根据数据构成方式，确定数据组成形态图，生成形态学参数；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可快速迁移数据的智能化数据存储方法，其特征在于：包括以下步骤：步骤一：通过用户终端获取需迁移或存储的数据，数据检索模块对所述数据进行检索并选定；步骤二：数据计算模块及数据评估模块对所述数据进行计算及评估，得出评估结果，数据迁移模块根据评估结果选择不同迁移路径；步骤三：当所述数据较小、评估结果为基础结果时，将所述数据由用户终端直传至云端数据库储存或由云端数据库直接迁移至用户终端；步骤四：当所述数据较大、评估结果为超模结果时，将所述数据发送至从存储层进行分节点转存，并通过从存储层转存至云端数据库或迁移至用户终端。2.一种可快速迁移数据的智能化数据存储系统，应用在如权利要求1所述的可快速迁移数据的智能化数据存储方法中，其特征在于：包括从存储层、数据调度层、数据存储层和实施层；其中，所述从存储层用于对数据进行分阶段转存，在数据调度层调取数据较大时通过从存储层进行分节点传输；所述数据调度层用于对数据源层以及数据存储层内部的数据进行调度，实现数据源层、数据存储层以及实施层之间的数据快速迁移；所述数据存储层用于对数据进行云端储存以及数据的调取发送；所述实施层用于运载从存储层、数据调度层以及数据存储层并对存储系统进行操控，对迁移数据进行发送和接收，实施层通过网络与从存储层、数据调度层以及数据存储层实现信号交互连接。3.如权利要求2所述的一种可快速迁移数据的智能化数据存储系统，其特征在于：从存储层至少包括两个从储存节点，从存储层内包括一个从存储数据引擎；所述从存储节点接收信息并启动从数据库引擎对存储数据进行识别。4.如权利要求3所述的一种可快速迁移数据的智能化数据存储系统，其特征在于：从数据库引擎对待迁移数据进行检索并通过从储存节点进行分流转存，分流转存的数据通过各从储存节点分别迁移传送至实施层。5.如权利要求2所述的一种可快速迁移数据的智能化数据存储系统，其特征在于：所述数据调度层包括数据检索模块、数据计算模块、数据评估模块和数据迁移模块；其中，所述数据检索模块用于对数据存储层内部需调取迁移的数据进行检索并标记识别；所述数据计算模块用于对数据检索模块所检索出的需调取迁移的数据进行数据大小计算；所述数据评估模块用于对数据计算模块所计算的结果进行数据评估，根据评估结果决定数据迁移模式；所述数据迁移模块用于对数据检索模块所检索出的需调取迁移的数据进行数据迁移，数据迁移时根据数据评估模块的评估结果选择不同的迁移路径，其中，所述迁移路径包括基础迁移路径及从储存迁移路径。6.如权利要求5所述的一种可快速迁移数据的智能化数据存储系统，其特征在于：所述数据评估模块包括：
确定模块，用于获取待迁移的数据计算结果评估指标对应的评估值，并根据所述评估值确定评估指标的分布特征；拟合模块，用于根据数据库中的预设分布特征，对所述分布特征进行拟合，剔除相...

【专利技术属性】
技术研发人员：吴佳，李礼，吴叶楠，
申请(专利权)人：上海威固信息技术股份有限公司，
类型：发明
国别省市：