一种基于大数据平台的分布式存储方法及系统技术方案

本申请公开了一种基于大数据平台的分布式存储方法及系统，其中基于大数据平台的分布式存储方法，具体包括以下步骤：获取存储数据请求；确定存储节点集合，将获取的存储数据请求对应的数据存储在存储节点集合的存储节点中；响应于将数据存储在存储节点集合中，初始选取簇节点；响应于完成簇节点的初始选取，根据簇节点进行首次数据迁移；响应于簇节点完成首次数据迁移，更新簇节点；响应于完成指定次数的簇节点的更新，确定簇节点集合，根据簇节点集合执行每次数据的存储迁移。本申请能够对数据进行存储后，在指定时间段内进行数据的存储迁移，避免因节点异常而导致存储异常，使得数据的存储更加安全。数据的存储更加安全。数据的存储更加安全。

【技术实现步骤摘要】
一种基于大数据平台的分布式存储方法及系统


[0001]本申请涉及数据处理领域，具体地，涉及一种基于大数据平台的分布式存储方法及系统。

技术介绍

[0002]随着信息科学技术的不断发展，大数据平台的使用已越来越频繁，大数据平台具有数据传输和存储等十分强大的功能，但是在基于大数据平台的数据存储过程中，数据的存储依然很耗时，而且在数据的存储过程中，数据常常会由存储异常的风险，常见的解决方式是对数据在存储传输的过程中进行加密，但是仅仅加密并不能保证数据的完全安全，数据的存储依然存在安全隐患。
[0003]因此，如何提供一种能够解决数据存储安全隐患的分布式存储方法及系统，是本领域技术人员急需解决的问题。

技术实现思路

[0004]本申请提供了一种基于大数据平台的分布式存储方法，具体包括以下步骤：获取存储数据请求；确定存储节点集合，将获取的存储数据请求对应的数据存储在存储节点集合的存储节点中；响应于将数据存储在存储节点集合中，初始选取簇节点；响应于完成簇节点的初始选取，根据簇节点进行首次数据迁移；响应于簇节点完成首次数据迁移，更新簇节点；响应于完成指定次数的簇节点的更新，确定簇节点集合，根据簇节点集合执行每次数据的存储迁移。
[0005]如上的，其中，预先设置多个存储数据的节点，选择一个节点作为接收数据的源节点。
[0006]如上的，其中，确定存储节点集合，将获取的存储数据请求对应的数据存储在存储节点集合的存储节点中，具体包括以下子步骤：确定存储区域；根据存储区域构建初始存储节点集合；对初始存储节点集合进行更新；响应于完成存储节点集合的更新，源节点接收存储请求，进行数据的存储。
[0007]如上的，其中，以源节点为中心，以源节点的传输距离为半径画弧，该区域内的范围即为存储区域。
[0008]如上的，其中，初始存储节点集合包括，源节点以及距离源节点l跳的相邻节点。
[0009]如上的，其中，响应于完成初始存储节点集合的构建，逐一收集距离源节点2跳的节点，直至存储节点集合的节点性能大于指定阈值。
[0010]如上的，其中，若节点性能大于指定阈值，更新后的存储节点集合中的节点为存储节点，将源节点接收的存储请求对应的数据存储在一个或多个存储节点中。
[0011]如上的，其中，响应于将数据存储在存储节点集合中，初始选取簇节点具体包括以下子步骤：确定存储网格中单元格的边长，根据单元格的边长构建存储网格；在存储网格中进行簇节点的选取；响应于选取簇节点后，存储节点将存储的数据转发至簇节点。
[0012]如上的，其中，设任意两个存储节点间的最大通信距离为R，单元格边长是r，则单元格边长需满足。
[0013]一种基于大数据平台的分布式存储系统，具体包括：获取单元、存储单元、初始选取单元、迁移单元、更新单元以及执行单元；获取单元，用于获取源数据；存储单元，用于确定存储节点集合，将获取的存储数据请求对应的数据存储在存储节点集合的存储节点中；初始选取单元，用于响应于将获取的存储数据请求存储在存储节点集合中，初始选取簇节点；迁移单元，用于响应于完成簇节点的选取，根据簇节点进行数据迁移；更新单元，用于响应于簇节点完成数据迁移，更新簇节点；执行单元，用于响应于完成指定次数簇节点的更新，确定簇节点集合，根据此节点集合执行每次数据迁移。
[0014]本申请具有以下有益效果：本申请能够对数据进行存储后，在指定时间段内进行数据的存储迁移，避免因节点异常而导致存储异常，使得数据的存储更加安全。
附图说明
[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0016]图1是根据本申请实施例提供的基于大数据平台的分布式存储方法的流程图；图2是根据本申请实施例提供的基于大数据平台的分布式存储系统的内部结构图；图3是根据本申请实施例提供的相邻单元格的示意图。
具体实施方式
[0017]下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0018]本申请涉及一种基于大数据平台的分布式存储方法及系统。根据本申请，能够对海量数据进行存储以及转发存储，在进行数据良好存储的同时也降低并均衡了系统的整体能量消耗。
[0019]实施例一如图1所示，是本申请提供的一种基于大数据平台的分布式存储方法，具体包括以下步骤：步骤S110：获取存储数据请求。
[0020]步骤S120：确定存储节点集合，将获取的存储数据请求对应的数据存储在存储节点集合的存储节点中。
[0021]其中系统中设有多个为存储数据而准备的节点，选择一个节点作为接收数据的源
节点。其中确定存储节点的集合具体包括以下子步骤：步骤S1201：确定存储区域。
[0022]具体地，以源节点为中心，以源节点的传输距离为半径画弧，该圆圈范围内即为存储区域，该存储区域的边界为U。
[0023]步骤S1202：根据存储区域构建初始存储节点集合。
[0024]具体地，将存储区域内，距离源节点l跳的相邻节点加入集合F中。
[0025]步骤S1203：对存储节点集合进行更新。
[0026]其中，根据存储节点集合中存储节点的节点性能进行存储节点集合的更新，响应于将距离源节点l跳的相邻节点加入集合F中，则继续逐一收集距离源节点2跳的节点，直至存储节点集合F的节点性能满足条件。
[0027]本实施例优先选取在存储区域中心的节点，即优先选取离存储区域的边界较远的节点，认为在中心选取的节点之间的距离较为密集，传输数据能有更好的效果。
[0028]区别于传统衡量节点性能的方式，例如衡量节点的存储容量，以及节点的读写速度等，本实施例提出了节点性能的具体计算方式，其中节点性能是用来衡量进行节点收集后，存储节点集合中节点传输或存储数据量的表现。
[0029]本实施例基于收集的传输半径与总的节点的传输半径来确定收集的节点是否对于传输有意义，由于本实施例划分了存储区域，虽然以源节点为中心收集的节点大概率是距存储边界较远的节点，但是为了保证选取节点的准确性，本实施例进一步引入了存储区域的参数来对节点性能进行综合考量得到节点性能。具体考虑收集的节点距存储边界的距离作为考量参数。
[0030]其中节点性能越大则说明传输或存储数据的表现越好，反之则说明传输或存储数据的表现较差。
[0031]其中存储节点集合中节点的节点性能Q具体表示为：公式1其中，表示收集的节点v的传输半径，M表示收集的节点的数量，表示收集节点后，更新的存储节点集合中的节点V的网络传输延迟，表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据平台的分布式存储方法，其特征在于，具体包括以下步骤：获取存储数据请求；确定存储节点集合，将获取的存储数据请求对应的数据存储在存储节点集合的存储节点中；响应于将数据存储在存储节点集合中，初始选取簇节点；响应于完成簇节点的初始选取，根据簇节点进行首次数据迁移；响应于簇节点完成首次数据迁移，更新簇节点；响应于完成指定次数的簇节点的更新，确定簇节点集合，根据簇节点集合执行每次数据的存储迁移。2.如权利要求1所述的基于大数据平台的分布式存储方法，其特征在于，预先设置多个存储数据的节点，选择一个节点作为接收数据的源节点。3.如权利要求2所述的基于大数据平台的分布式存储方法，其特征在于，确定存储节点集合，将获取的存储数据请求对应的数据存储在存储节点集合的存储节点中，具体包括以下子步骤：确定存储区域；根据存储区域构建初始存储节点集合；对初始存储节点集合进行更新；响应于完成存储节点集合的更新，源节点接收存储请求，进行数据的存储。4.如权利要求3所述的基于大数据平台的分布式存储方法，其特征在于，以源节点为中心，以源节点的传输距离为半径画弧，该区域内的范围即为存储区域。5.如权利要求4所述的基于大数据平台的分布式存储方法，其特征在于，初始存储节点集合包括，源节点以及距离源节点l跳的相邻节点。6.如权利要求5所述的基于大数据平台的分布式存储方法，其特征在于，响应于完成初始存储节点集合的构建，逐一收集距离源节点2跳...

【专利技术属性】
技术研发人员：侯宝元，
申请(专利权)人：睿至科技集团有限公司，
类型：发明
国别省市：