一种基于私有云的多点数据传输方法技术

本发明专利技术提供了一种基于私有云的多点数据传输方法，该方法包括：在私有云平台中构建分布式存储系统，所述系统包括一个主节点和多个存储节点，存储节点保存多个数据备份；客户端通过预取的方式获得主节点的寻址信息，通过主节点获得特定存储节点的寻址信息及状态信息；当客户端请求传输数据时，直接发起与特定存储节点集合的数据连接，在连接成功后进行多点数据传输。本发明专利技术的多点存储和传输方法.通过改进节点寻址算法，使资源的查询时间复杂度缩短，具有较高的可靠性。

【技术实现步骤摘要】
一种基于私有云的多点数据传输方法
本专利技术涉及云计算，特别涉及一种基于私有云的多点数据传输方法。
技术介绍
在云计算环境下，一切资源都是可以运营的，都可以作为服务提供，包括应用程序、软件、平台、处理能力、存储、网络、计算资源以及其他基础设施等。在云平台中，私有云是为局域客户或者企业单独使用而构建的，因而提供对数据、安全性和服务质量有更高的要求。基于私有云的传统的并行存储系统对大文件的数据进行并发的操作优势明显，尤其在处理G级甚至T级文件时，性能优势特别明显。但在高性能计算中产生了巨量的I/O。大量多文件及其应用，使研究者对分布存储系统的研究焦点从分块大文件以提供高聚合I/O吞吐量的研究转移到提高多文件存储传输效率上。对于I/O密集型文件来说，不需要分块或者分块的数量有限，文件并行访问带来的好处不足以抵消元数据访问的时间开销及并行化访问数据块的时间开销，导致私有云中大数据量的文件存储和传输严重延迟。因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种基于私有云的多点数据传输方法，包括：一种基于私有云的多点数据传输方法，用于在私有云平台中对文件进行分布式存储和传输，其特征在于，包括：步骤一，在私有云平台中构建分布式存储系统，所述系统包括一个主节点和多个存储节点，存储节点保存多个数据备份；步骤二，客户端通过预取的方式获得主节点的寻址信息，通过主节点获得特定存储节点的寻址信息及状态信息；步骤三，当客户端请求传输数据时，直接发起与特定存储节点集合的数据连接，在连接成功后进行多点数据传输。优选地，所述分布式存储系统包括一个主节点和多个存储节点，构成一个环状结构，主节点保存所有存储节点的寻址信息及状态信息，当存储数据时采用多点存储，在存储节点之间以功能对等的方式组建存储网络，所有的存储节点都构建在通用PC之上。所述数据备份进一步包括：对于每个文件，在私有云平台上保存其多个拷贝，并且分布于私有云平台中的不同存储节点上，当某个存储节点退出时，其他存储节点发起数据拷贝，数据被备份在不同的物理区域，将文件按照目录的形式进行组织，文件和目录使用元数据来描述，文件的元数据包括文件名、文件大小、创建者、创建时间、最后一次修改时间和访问控制列表；所述数据备份基于分布式散列表协议，在主节点上保存所有存储节点的状态信息和寻址信息，主节点管理所有其他节点的状态，主节点发起退出节点上的数据拷贝，对于一个有N个存储节点的云平台，主节点表项个数为N，表项根据散列值字典序从小到大排序；N个数据备份依次存放在逻辑环上当前节点的后N－1个后继节点上，存储节点每隔预定时间向主节点发送心跳信号，主节点通过心跳信号维护状态信息，若在N个时间周期T内没有收到某一个节点的心跳信号，则将此节点标记为临时故障，阻止新的I/O请求发给该节点；若在大于N个时间的周期内没有收到某一个节点的心跳信号，则将其标记为永久故障，由主节点发起数据拷贝。所述多点数据传输包括在多个存储节点进行文件存储，文件读取和文件删除；所述文件存储的过程包括：4.1客户端使用散列算法计算文件名的散列值；4.2客户端从主节点预取存储节点的寻址信息，根据预取的寻址信息，选取散列值所属的存储节点，客户端发起与该存储节点的连接；4.3存储节点接收数据完毕后，直接写入到存储器，同时计算整个文件的散列值，并且一起写入到存储器中，然后向客户端发送确认信息；4.4存储节点发起与其后继节点的数据备份；所述文件读取的过程包括：客户端根据预取的寻址信息，选取散列值所属的存储节点，然后发起与该节点的数据连接，在读取文件的同时读取文件的散列值，客户端计算文件的散列值，若计算得到的散列值与读取的散列值相同，则读取成功；若散列值不同，客户端发起与上次连接节点的后继节点的数据连接，执行相同的读取过程；若对N次读取均不同，则文件读取失败；所述文件删除的过程包括：在文件删除时将文件进行标记，而不释放存储空间，并且周期性清除被标记的文件；其中，文件在存储节点的存储支持目录操作，同一个目录下的文件分布存放在不同的节点上，在文件存储过程时，采用多线程的方式，在存储文件本身的同时，修改文件的目录文件；并且其中在客户端预取主节点的寻址信息之后和进行文件存储之前，当客户端发起与节点的数据连接并返回操作失败时，重新读取主节点的寻址信息。本专利技术相比现有技术，具有以下优点：提出了多点存储和传输方法.通过改进节点寻址算法，使资源的查询时间复杂度缩短，具有较高的可靠性，在多文件存取方面明显优于现有云存储系统。附图说明图1是根据本专利技术实施例的基于私有云的多点数据传输方法的流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术的一方面提供了一种基于私有云的多点数据传输方法。图1是根据本专利技术实施例的基于私有云的多点数据传输方法流程图。如图1所示，实施本专利技术的具体步骤如下：步骤一，在私有云平台中构建分布式存储系统，所述系统包括一个主节点和多个存储节点，存储节点保存多个数据备份；步骤二，客户端通过预取的方式获得主节点的寻址信息，通过主节点获得特定存储节点的寻址信息及状态信息；步骤三，当客户端请求传输数据时，直接发起与特定存储节点集合的数据连接，在连接成功后进行多点数据传输。本专利技术首先在步骤一构建面向多文件的分布式存储系统，在该系统中实现数据多点传输，各个存储节点构成一个环状结构，主节点保存所有存储节点的寻址信息及状态信息，客户端通过预取的方式获得主节点的寻址信息。当客户端请求数据时，直接发起与具体存储节点的数据连接。对于多文件来说，分块不能带来性能的提升，对于网络开销大的系统反而会降低其性能。为了提升多文件的存储性能，去掉了中心服务器，这样可以减少元数据操作的开销。本专利技术在实现时采用多点存储，在存储节点之间以功能对等的方式组建存储网络的技术，完全由存储节点组成的存储系统，并且所有的存储节点都构建在通用PC基础之上。为了保证系统的高可靠性，采用数据备份的方法。对于每个文件，在私有云平台上保存其N个拷贝，N可以进行设置，并且每个拷贝分布于私有云平台中的不同存储节点上。当某个存储节点退出时，其他存储节点可以发起数据拷贝，在实际应用中，将数据备份在不同的物理区域。另外，在系统设计时考虑用户数据请求的位置、磁盘I/O速度、存储节点的负载及网络带宽等因素。本专利技术私有云存储系统中存储的对象是文件，按照目录的形式进行组织，目录本身也属于文件，本专利技术所指的文件名指目录或者包含路径的文件。文件和目录使用元数据来描述，文件的元数据包括文件名、文件大小、创建者、创建时间、最后一次修改时间和访问控制列表。文件的组织直接利用了存储节点的文件系统，存储节点的文件系统本身具有缓存的功能。读取多文件的时间在整个分布式文件读取过程的时间比例较小，实现缓存是不可取的。本专利技术基于分布式散列表协议的本文档来自技高网...

【技术保护点】
一种基于私有云的多点数据传输方法，用于在私有云平台中对文件进行分布式存储和传输，其特征在于，包括：步骤一，在私有云平台中构建分布式存储系统，所述系统包括一个主节点和多个存储节点，存储节点保存多个数据备份；步骤二，客户端通过预取的方式获得主节点的寻址信息，通过主节点获得特定存储节点的寻址信息及状态信息；步骤三，当客户端请求传输数据时，直接发起与特定存储节点集合的数据连接，在连接成功后进行多点数据传输。

【技术特征摘要】
1.一种基于私有云的多点数据传输方法，用于在私有云平台中对文件进行分布式存储和传输，其特征在于，包括：步骤一，在私有云平台中构建分布式存储系统，所述系统包括一个主节点和多个存储节点，存储节点保存多个数据备份；步骤二，客户端通过预取的方式获得主节点的寻址信息，通过主节点获得特定存储节点的寻址信息及状态信息；步骤三，当客户端请求传输数据时，直接发起与特定存储节点集合的数据连接，在连接成功后进行多点数据传输；所述分布式存储系统包括一个主节点和多个存储节点，构成一个环状结构，主节点保存所有存储节点的寻址信息及状态信息，当存储数据时采用多点存储，在存储节点之间以功能对等的方式组建存储网络，所有的存储节点都构建在通用PC之上；所述数据备份进一步包括：对于每个文件，在私有云平台上保存其多个拷贝，并且分布于私有云平台中的不同存储节点上，当某个存储节点退出时，其他存储节点发起数据拷贝，数据被备份在不同的物理区域，将文件按照目录的形式进行组织，文件和目录使用元数据来描述，文件的元数据包括文件名、文件大小、创建者、创建时间、最后一次修改时间和访问控制列表；所述数据备份基于分布式散列表协议，在主节点上保存所有存储节点的状态信息和寻址信息，主节点管理所有其他节点的状态，对于一个有N个存储节点的云平台，主节点表项个数为N，表项根据散列值字典序从小到大排序；N个数据备份依次存放在逻辑环上当前节点的后N－1个后继节点上，存储节点每隔预定时间向主节点发送心跳信号，主节点通过心跳信号维护状态信息，若在N个时间周期T内没有收到某一个节点的心跳信号，则...

【专利技术属性】
技术研发人员：毛力，
申请(专利权)人：四川九成信息技术有限公司，
类型：发明
国别省市：四川;51