一种无中心的数据管理方法及装置制造方法及图纸

本发明专利技术公开了一种无中心的数据管理方法及装置。本发明专利技术方法应用于一数据源端，数据源端与存储节点通信连接，包括：数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；数据源端的源数据编码分片成多个单片数据，为第二信息；根据第一信息获得第三信息，第三信息为单个片数据片段的可靠度；根据第三信息获得第四信息，第四信息为用于存放一个单片数据的存储节点组；根据第四信息获得第五信息，第五信息为用于存放所述多个单片数据的存储节点组集合；将第二信息分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。本发明专利技术采用去中心、分布式的数据存储方案，极大降低了数据存储的建造、运营及维护成本。

【技术实现步骤摘要】
一种无中心的数据管理方法及装置
本专利技术涉及信息处理技术，尤其涉及一种无中心的数据管理方法及装置。
技术介绍
针对数据的存储装置和方法有很多。以视频监控数据存储为例，当前用于视频监控的云存储均采用中心和类中心的结构方式，即所有数据传输并存储到一个或者多个中心节点中。但是这些数据，比如视频数据具有复杂度高，数据量巨大等属性，给存储、管理及其使用提出了巨大的挑战：首先，存储中心的员工工资、法律成本、数据中心租金固定成本是不变的或逐渐增加的，使中心化云服务的价格高昂，而且无法降低。其次，为了保证高可靠性，则需要从电力、网络带宽、存储设备等诸多方面予以保证。因此，系统的造价和维护代价昂。第三，系统可靠性一般。毫无疑问，存储中心一旦出现任何异常，或者摄像机等工作节点到中心节点的链路出现任何问题会造成系统和节点存储异常。第四，安全性不足，所有数据存于中心一处，不能消除用户的数据安全担忧。此外，还存在其他局限：(1)数据量巨大，所需存储器容量大，花费大。据测算，一路720p视频存储30天约需要500g存储空间，云存储每月约需40元；(2)转储和备份困难，由于数据量大，转储不仅耗费巨大的存储设备，同时需要高配的服务器和网络资源。(3)检索困难；人工从海量的视频数据中找寻有价值线索需要逐条观看，效率低，工作强度大，枯燥乏味。(4)分析和处理耗费大量计算资源，传统的中心处理节点往往形成系统瓶颈。
技术实现思路
本专利技术的目的是解决现有技术中的中心化存储管理的局限性，提出数据分片式、去中心的无中心的数据管理方法及装置。第一方面，本专利技术提供了一种无中心的数据管理方法，应用于一数据源端，所述数据源端与存储节点通信连接，所述方法包括：所述数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；所述数据源端的源数据编码分片成多个单片数据，为第二信息；根据所述第一信息获得第三信息，所述第三信息为单个片数据片段的可靠度；根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；将所述第二信息分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。所述存储节点为n个，n为自然数；所述数据源端与n个存储节点建立p2p通讯通信；所述第一信息记为：Rj，j＝1～n。所述数据源端的源数据编码分片成k份原始数据和m份编码数据。所述第三信息为单个片数据片段的可靠度，所述第三信息根据第六信息获得，所述第六信息为可靠度预设值，单个数据片段的可靠度N为k+m，Ra为可靠度预设值。所述第四信息为存放一个单片数据的存储节点组，每个单片数据的存储节点组的获得方法为：Ri1＝1-(1-R1)×(1-R2)×...×(1-Rn)，R1…Rn为第一信息Rj；当Ri1≥Ri时，则该单片数据的存储节点组M1为1～n。所述第五信息为用于存放所述多个单片数据的存储节点组集合，包括k+m个单片数据的数据节点组。所述数据源端存放第一信息、第二信息、第三信息、第四信息和第五信息。所述存储节点存放第一信息、第二信息、第三信息、第四信息和第五信息。第二方面，本专利技术提供一种无中心的数据管理装置，所述装置包括：第一获得单元，所述第一获得单元用于获得所述数据源端从所述存储节点获得的第一信息，所述第一信息为各存储节点的可靠度；第一分片单元，所述第一分片单元用于数据源端的源数据编码分片成多个单片数据，形成第二信息；第二获得单元，所述第二获得单元用于根据所述第一信息获得第三信息，其中，第三信息为单个片数据片段的可靠度；第三获得单元，所述第三获得单元用于根据所述第三信息获得第四信息，其中，第四信息为用于存放一个单片数据的存储节点组；第四获得单元，所述第四获得单元用于根据所述第四信息获得第五信息，其中，第五信息为用于存放所述多个单片数据的存储节点组集合；第一发送单元，所述第一发送单元用于将所述第二信息发送至所述存储节点组集合的各相应存储节点组内的所有存储节点上。第三方面，本专利技术提供了一种无中心的数据管理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：所述数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；所述数据源端的源数据编码分片成多个单片数据，为第二信息；根据所述第一信息获得第三信息，所述第三信息为单个片数据片段的可靠度；根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；将所述多个单片数据分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。采用了上述技术方案后，本专利技术具有以下的积极的效果：本专利技术采用去中心、分布式的数据存储方案，通过合理设计可靠性计算和存储节点的选择和组织方式，极大降低了数据存储的建造、运营及维护成本，而且大大提高了系统的可靠性，提高了数据转储、下载使用的效率和安全性。随着节点的增加，可存放更多冗余数据，而自有成本则越来越低，随着规模的增加最终趋于0成本。附图说明为了使本专利技术的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本专利技术作进一步详细的说明，其中图1为本专利技术的流程框图。图2为本专利技术的数据存放的示意图。具体实施方式本专利技术实施例提供一种无中心的数据管理方法及装置，用于解决现有技术中中心式数据管理存在的成本高、可靠度有限的技术问题。为了解决上述技术问题，本专利技术提供的技术方案总体思路如下：一种无中心的数据管理方法，应用于一数据源端，数据源端与存储节点通信连接，方法包括：数据源端从存储节点获得第一信息，第一信息为各存储节点的可靠度；数据源端的源数据编码分片成多个单片数据，为第二信息；获得第三信息，第三信息为单个片数据片段的可靠度；根据第三信息获得第四信息，第四信息为用于存放一个单片数据的存储节点组；根据第四信息获得第五信息，第五信息为用于存放多个单片数据的存储节点组集合；将第二信息分别存储到存储节点组集合的各相应存储节点组内的所有存储节点上。下面通过附图以及具体实施例对本专利技术技术方案做详细的说明，应当理解本申请实施例以及施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。(实施例1)图1为本专利技术实施例的方法的流程示意图。本实施例的一种无中心的数据管理方法，应用于一数据源端，数据源端与存储节点通信连接。一、存储节点准备过程：存储节点为n个，n为自然数；数据源端与n个存储节点分别建立p2p通讯通信；可以采用各种经典的p2p方案，比如基于stun、ice、turn等，建立数据源和多个存储点间p2p通讯。这种通讯方法已经是成熟技术，文中用“p2p”指代，细节不赘述。存储节点可以是电脑、手机、用户家里有存储功能的路由器、网络存储服务器以及其他有存储功能的设备。存储节点上报可靠度(比如在线率)、存储容量等信息到存储节点信息库。初始的时候存储节点信息库存可放在一台服务器或者设备中，随着系统的运行，可以分散到各个存储节点和数据源中，各个节点通过服务器，或者通过p2p通讯本文档来自技高网...

【技术保护点】
1.一种无中心的数据管理方法，应用于一数据源端，所述数据源端与存储节点通信连接，其特征在于，所述方法包括：所述数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；所述数据源端的源数据编码分片成多个单片数据，为第二信息；获得第三信息，所述第三信息为单个片数据片段的可靠度；根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；将所述第二信息分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。

【技术特征摘要】
1.一种无中心的数据管理方法，应用于一数据源端，所述数据源端与存储节点通信连接，其特征在于，所述方法包括：所述数据源端从存储节点获得第一信息，所述第一信息为各存储节点的可靠度；所述数据源端的源数据编码分片成多个单片数据，为第二信息；获得第三信息，所述第三信息为单个片数据片段的可靠度；根据所述第三信息获得第四信息，所述第四信息为用于存放一个单片数据的存储节点组；根据所述第四信息获得第五信息，所述第五信息为用于存放所述多个单片数据的存储节点组集合；将所述第二信息分别存储到所述存储节点组集合的各相应存储节点组内的所有存储节点上。2.根据权利要求1所述的一种无中心的数据管理方法，其特征在于：所述存储节点为n个，n为自然数；所述数据源端与n个存储节点建立p2p通讯通信；所述第一信息记为：Rj，j＝1～n。3.根据权利要求2所述的一种无中心的数据管理方法，其特征在于：所述数据源端的源数据编码分片成k份原始数据和m份编码数据。4.根据权利要求3所述的一种无中心的数据管理方法，其特征在于：所述第三信息为单个片数据片段的可靠度，所述第三信息根据第六信息获得，所述第六信息为可靠度预设值，单个数据片段的可靠度N为k+m，Ra为可靠度预设值。5.根据权利要求4所述的一种无中心的数据管理方法，其特征在于：所述第四信息为存放一个单片数据的存储节点组，每个单片数据的存储节点组的获得方法为：Ri1＝1-(1-R1)×(1-R2)×...×(1-Rn)，R1…Rn为第一信息Rj；当Ri1≥Ri时，则该单片数据的存储节点组M1为1～n。6.根据权利要求5所述的一种无中心的数据管理方法，其特征在于：所述第五信息为用于存放所述多个单片数据的存储节点组集合，包括k+m个单片数据的数据节点组。7.根据权利要求1所述的...

【专利技术属性】
技术研发人员：吴俊杰，吴嘉祯，吴嘉会，吴俊丽，孙伟，
申请(专利权)人：吴俊杰，
类型：发明
国别省市：江苏,32