基于彼得森图的存储网络结构及数据读写方法技术

本发明专利技术提供一种基于彼得森图的存储网络结构及其数据读写方法。本发明专利技术的存储网络结构由基本的分布式存储网络和Ｐｅｔｅｒｓｏｎ图存储网络组成，其中，基本的分布式存储网络是集群分布式存储网络或基于ＤＨＴ的Ｐ２Ｐ存储网络，由ｎ个存储节点构成；Ｐｅｔｅｒｓｏｎ图存储网络是在上述存储节点集合中根据策略选择１０个节点而形成。本发明专利技术的基于Ｐｅｔｅｒｓｏｎ图的存储网络结构及其数据读写方法通过将Ｐ２Ｐ等基本的分布式网络存储和Ｐｅｔｅｒｓｏｎ图网络存储的可靠性相结合，可提供不同可靠性等级的存储应用，同时利用Ｐｅｔｅｒｓｏｎ图网络存储提供的良好媒体数据迁移不动性，解决大量媒体数据迁移问题，并结合ＤＨＴ技术的可用性和鲁棒性，屏蔽集群存储结构的单点故障和Ｐ２Ｐ广域存储的性能问题。

【技术实现步骤摘要】

本专利技术涉及一种由分布式存储节点构成的网络存储技术，尤其涉及一种基于彼得森(Peterson)图的存储网络结构及数据读写方法，其将基本的分布式存储网络和Peterson图存储网络相结合，可提供不同可靠性等级的存储应用。
技术介绍
目前信息
已经从面向计算为中心的架构，转向以存储为中心的架构。这样的转变是随着互联网络的逐步发展壮大而日益产生的海量信息产生的，海量信息面临着处理、存储、共享等问题。本专利技术是围绕海量信息分布式存储进行方法设计的。从20世纪80年代中期就有研究人员提出利用网络上的分布式主机提供文件服务的思路，并进行了试验，到目前为止，这些尝试形成了各种开源性的分布式文件系统，其中比较著名的是由SUN支持的LUSTRE文件系统、IBM支持的OPENAFS文件系统和Google的GFS文件系统。这些系统的特征是文件元数据的集中存储和文件数据的分散存储及服务。21世纪初开始，出现了以P2P思路实现存储的研究，其中比较典型的是OceanStore文件系统和Granary文件系统。这些系统的特征是使用单一的DHT结构，解决了单点故障问题，但性能上往往不太能满足应用的需求。分布式文件系统是集群系统，也比较适合企业网范围，近期出现面向广域网的数据访问，但存在单点故障等问题；P2P广域存储的扩展性较好，但存在性能不佳的问题。另外，Peterson图是由10个节点组成的固定结构，见图2所示，其特点是每个节点的度等于3，任何两个节点之间的距离不大于2，其用于并行计算领域，具有非常髙的可靠性。
技术实现思路
鉴于上述问题，本专利技术的目的在于提供基于Peterson图的存储网络结构及其数据读写方法。其将P2P等基本的分布式网络存储和Peterson图网络存储的可靠性相结合，可提供不同可靠性等级的存储应用，同时利用Peterson图网络存储提供的良好媒体数据迁移不动性，解决大量媒体数据迁移问题，并结合DHT技术的可用性和鲁棒性，屏蔽集群存储结构的单点故障和P2P广域存储的性能问题。为实现本专利技术的上述目的，本专利技术的基于Peterson图的存储网络结构，其特征在于，由基本的分布式存储网络和Peterson图存储网络组成，所述基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网络，由n个存储节点构成，其中，n大于10，该网络满足一定的存储可靠性要求(下边以Rdht表示)，并具有其自身的存储分级能力，其构成和存取机制可以采用现有技术中已有的结构；所述Peterson图存储网络在所述存储节点集合中根据策略(例如带宽、可靠性、处理能力、节点的度或者节点间的距离、存储容量的一个函数)选择10个节点(或配置)而形成，如图2所示，该图具有良好的节点度和节点间距离特征，即每个节点的度都大于等于3，节点间的距离小于等于2， Peterson图存储网络的数据存储具有一定的数据可靠性和数据迁移不动性等良好性质。另外，为实现本专利技术的上述目的，本专利技术的基于Peterson图的存储网络结构的数据读写方法包括应用写数据的方法和读数据的方法，其中，所述基于Peterson图的存储网络结构包括基本的分布式存储网络和Peterson图存储网络，所述应用指存储网络之外的实体，可以是软件、应用程序或客户端程序。所述应用写数据的方法包括如下步骤1) 所述应用发出携带QoS参数的写数据请求的步骤请求中包括QoS参数、数据标识和数据，形式如write (QoS参数，数据标识，数据)，所述QoS参数定义为两类指标数据可靠性指标和数据类型指标，每个指标可定义为若干级别，为了便于系统实现，在设计上可将这两类指标分别定义为一个32位字的高16位和低16位；2) 所述存储网络接收上述写数据请求的步骤所述存储网的一个中心节点或分布式存储节点接收所述应用发出的上述写数据请求，所述中心节点是指通过dns服务或其他寻址方式找到的专用服务器，所有的写数据请求都发送到该中心节点；3) 解析所述写数据请求的步骤包括解析QoS参数，分解为数据可靠性指标(下面以R卿lication 表示)和数据类型指标(下面以Tappbti。n表示)；54)执行写数据的步骤，该步骤进一步包括如下步骤在基本的分布式存储网络 执行元数据写和媒体数据写操作；当RDHT < RaPpliCati。n时，在Peterson图存储网中执行元数据写和媒体数据写操作，其中，RDHT是基本的分布式存储网络的可靠性指标，该步骤4)中，当在Peterson图存储网中执行元数据写和媒体数据写操作而进行 存储时，要判断在基本的分布式存储网络和Peterson图存储网络存储中存放数据标 识数据的节点号是否一致(即，nodeid(DHT， data—id)==nodeid(Peterson, datajd)， 其中，nodeid (x， data—id)表示在x存储中存放datajd数据的节点号)，如果相等， 则在Peterson图中选取距离该点两跳的6个节点中选择一个节点(例如节点编号与 本节点编号最近的一个节点)存储数据(包括元数据、媒体数据)，如果不等，则在 Peterson图中计算出的节点中直接存储数据；当Tapplieati。n (比如大于5，表示大型媒体文件)为数据迁移最小化类别时，则依 据度量算法(带宽最大、时延最小等)选择Peterson图中的一个节点存储媒体数据。所述读数据的方法包括如下步骤-1) 元数据的数据查找定位步骤，可在基本的分布式存储网络和Peterson图存储 网络上并行进行，这样可以防止其中的一个出现故障的情况，结果取最早返回的一 个应答即可；2) 媒体数据读取的步骤，指得到元数据之后，如果元数据包括媒体数据多个复 制位置(多个存储节点)的情况下，针对找到的存储节点进行某个方面性能(时延、 可用带宽等)的比较，取最优的节点进行服务。与现有的存储网络的结构和方法相比，本专利技术具有下列优点(1) 将P2P网络存储、Peterson图网络存储的可靠性相结合，提供不同可靠性 等级的存储应用；(2) 利用Peterson图网络存储提供的良好媒体数据迁移不动性，解决大量媒体 数据迁移问题；(3) 结合DHT技术的可用性和鲁棒性，屏蔽集群存储结构的单点故障和P2P 广域存储的性能问题。附图说明图1是基于Peterson图的存储网络结构的示意图。 图2是表示Peterson图节点编号的示意图。图3是基于Peterson图的DHT (chord环)存储网络结构的示意图。图4是北京市区县图。 具体实施例方式下面结合附图和具体实施例对本专利技术的基于Peterson图的存储网络结构及其数 据读写方法作进一步地描述。图1所示是本专利技术的基于Peterson图的存储网络结构，由基本的分布式存储网 络和Peterson图存储网络组成。其中基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网 络，由n个存储节点构成。该网络满足一定的存储可靠性要求(下边以RoHT表示)， 并具有其自身的存储分级能力，其构成和存取机制能够在文献中找到，这部分内容 不作为本专利技术的保护部分，因此不再详细描述。其中Peterson图存储网络在存储节点集合中根据策略(例如带宽、可靠性、 存储容量的一个函数)选择10个节点(或配本文档来自技高网...

【技术保护点】
一种基于Ｐｅｔｅｒｓｏｎ图的存储网络结构，其特征在于，包括：基本的分布式存储网络和Ｐｅｔｅｒｓｏｎ图存储网络，所述基本的分布式存储网络是集群分布式存储网络或基于ＤＨＴ的Ｐ２Ｐ存储网络，由ｎ个存储节点构成，其中，ｎ是大于１０的整数；所述Ｐｅｔｅｒｓｏｎ图存储网络是在所述存储节点集合中根据策略选择其中的１０个节点而形成，每个节点的度为大于等于３，节点间的距离小于等于２，其中，所述策略为存储容量、可用带宽、处理能力、节点的度或者节点间的距离。

【技术特征摘要】
1、一种基于Peterson图的存储网络结构，其特征在于，包括基本的分布式存储网络和Peterson图存储网络，所述基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网络，由n个存储节点构成，其中，n是大于10的整数；所述Peterson图存储网络是在所述存储节点集合中根据策略选择其中的10个节点而形成，每个节点的度为大于等于3，节点间的距离小于等于2，其中，所述策略为存储容量、可用带宽、处理能力、节点的度或者节点间的距离。2、 一种基于Peterson图的存储网络结构的数据读写方法，所述基于Peterson图的存储网络结构包括基本的分布式存储网络和Peterson图存储网络，该数据读写方法的特征在于，包括应用写数据的方法和读数据的方法，所述应用为包括软件、应用程序或客户端程序的存储网络之外的实体，所述应用写数据的方法包括如下步骤1) 所述应用发出携带QoS参数的写数据请求的步骤请求中包括QoS参数、数据标识和数据，所述QoS参数定义为两类指标数据可靠性指标和数据类型指标，每个指标可定义为若干级别；2) 所述存储网络接收上述写数据请求的步骤所述存储网的一个中心节点或分布式存储节点接收所述应用发出的上述写数据请求，所述中心节点是指通过dm服务或其他寻址方式找到的专用服务器，所有的写数据请求都发送到该中心节点；3) 解析所述写数据请求的步骤包括解析QoS参数，分解为数据可靠性指标Rappikati。n和数据类型指标Tappii(:ati。n;4) 执行写数据的步...

【专利技术属性】
技术研发人员：王劲林，王玲芳，尤佳莉，李挺屹，齐向东，
申请(专利权)人：中国科学院声学研究所，北京中科移讯技术有限公司，
类型：发明
国别省市：11[中国|北京]