【技术实现步骤摘要】
本专利技术公开一种数据存储技术，尤其是涉及一种具有分布式存储结构的系统。
技术介绍
1、云计算平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力，saas软件运营服务是让用户能够通过互联网连接来使用基于云的应用程序。所有基础结构、中间件、应用软件和应用数据都位于服务提供商的数据中心内。服务提供商负责管理硬件和软件，并根据适当的服务协议确保应用和数据的可用性和安全性。
2、现有提供saas软件运营服务的云平台服务器向客户端用户传输大文件数据或批量传输小文件数据时存在传输效率不高的问题，在于储存端系统采用集中式数据管理架构，集中式数据管理架构由于单点性能瓶颈，在点对点进行大文件数据或批量小文件数据传输时，储存端系统的任务队列会挂起进行逐个一一传输，导致传输速率大大拖慢，时延严重，也有通过异步写入的方式整合数据包进行并行化处理，虽能够节省传输时间，但写入时对磁盘资源等损耗较大，为此需要一种更高效的文件传输方法。
技术实现思路
1、本专利技术的目的是为了解决上述的问题而提供一种具有分布式存储结构的系统。
2、为实现上述目的，本专利技术提供了如下技术方案：一种具有分布式存储结构的系统，包括云端系统和用户端，所述云端系统的结构单元包括如下：
3、接口层，其包括上传下载模块和传输控制模块，为系统的其它结构单元提供接口服务；
4、传输分配策略层，其可采取文件传输策略将文件数据进行自动分类打包；
5、任务队列，其包含若干个用于
6、存储服务器，其用于存储代理程序；
7、所述云端系统采用广域网分布式存储结构统一管理文件数据，所述用户端可通过服务器节点互联到云端系统的saas软件运营服务对存储服务器中的文件数据进行访问。
8、通过采用上述技术方案，存储服务器分散在各个物理地域，借助云端系统采用广域网分布式存储结构统一管理文件数据，利用多台存储服务器分担存储负担，利用哈希值检索来确定相应的文件数据位置，并根据存储服务器的位置定位来分配而忽视的服务器节点进行互联，满足低时延高速传输的要求。
9、作为优选，所述传输分配策略层采取的文件传输策略如下：
10、s1，预设文件数据的大小值m作为条件阈值，将需要传输的文件数据按照条件阈值m分类成大文件数据和小文件数据，将大文件数据分割成n个分级文件数据；
11、s2，设置n个集合将分级文件数据和批量小文件数据分类打包成文件数据块，设置每个文件数据块集合内总的文件数据大小阈值为m；
12、s3，将n个文件数据块分配到对应数量为n的服务器节点传输到用户端；
13、s4，用户端接收下载服务器节点传输的文件数据块，并将文件数据块中的分级文件数据重组获取大文件数据。
14、通过采用上述技术方案，通过文件传输策略将大文件数据和批量小文件数据进行分类打包文件数据块来下放到任务队列的相应数据通道进行合理分配。
15、作为优选，所述大文件数据采用分片并行传输策略，所述分级文件数据的大小值小于或等于m，所述小文件数据采用通道复用传输策略。
16、通过采用上述技术方案，通过分片并行传输策略和通道复用传输策略使任务队列的数据通道处于最大化的合理利用。
17、作为优选，所述存储服务器的缓冲区的大小大于或等于每个文件数据块集合内总的文件数据大小阈值m。
18、通过采用上述技术方案，存储服务器的缓冲区的最大值代表存储服务器传输的性能极限，将每个文件数据块集合内总的文件数据大小阈值m能够最大限度地调动存储服务器性能进行传输文件数据块。
19、作为优选，所述存储服务器具有存储文件数据生命周期管理机制，其机制如下：
20、m1，定期记录各个文件数据的访问频率f，预设一个访问频率条件阈值f，将存储服务器的储存媒介按照性能分级，分为高性能存储端和低性能存储端；
21、m2，如果某一文件数据周期内的访问频率f小于f时，将该文件数据迁移到低性能存储端；否则，将该文件数据迁移到高性能存储端。
22、通过采用上述技术方案，通过性能分级来控制存储服务器对应的储存媒介搭建成本，合理分配存储资源，并且能够借此获取到多访问频率的文件数据信息的流动方向以此大数据分析用户端的需求。
23、作为优选，所述存储服务器具有负载均衡调整策略，所述存储服务器包括常用服务端和备用服务端，且根据高性能存储端和低性能存储端配置常用服务端和备用服务端的数量，其策略如下：
24、k1，当存储服务器处于低负载时，用户端访问时接入常用服务端，并且备用服务端保持实时同步常用服务端存储的文件数据；
25、k2，当存储服务器处于高负载时，用户端访问时动态根据负载情况接入备用服务端。
26、通过采用上述技术方案，通过负载均衡调整策略来动态分配常用服务端和备用服务端的使用，保证云端系统提供saas软件运营服务时减少网络堵塞和存储服务器卡顿的情况，提升用户的使用体验。
27、与现有技术相比，本专利技术的有益效果是：
28、通过云端系统构建广域网分布式存储结构将文件数据分散在多个存储服务器进行存储，再通过云端系统对不同地域和存储相应文件数据的存储服务器统一管理，克服集中式数据管理架构单点性能瓶颈的问题；通过文件传输策略来对批量小文件数据和大文件数据进行分类处理，匹配存储服务器对应的性能极限，从而提高资源合理利用，提升文件数据的传输速率。
本文档来自技高网...【技术保护点】
1.一种具有分布式存储结构的系统，其特征在于，包括云端系统和用户端，所述云端系统的结构单元包括如下：
2.根据权利要求1所述的一种具有分布式存储结构的系统，其特征在于，所述大文件数据采用分片并行传输策略，所述分级文件数据的大小值小于或等于M，所述小文件数据采用通道复用传输策略。
3.根据权利要求2所述的一种具有分布式存储结构的系统，其特征在于，所述存储服务器的缓冲区的大小大于或等于每个文件数据块集合内总的文件数据大小阈值m。
4.根据权利要求3所述的一种具有分布式存储结构的系统，其特征在于，所述存储服务器具有存储文件数据生命周期管理机制，其机制如下：
5.根据权利要求4所述的一种具有分布式存储结构的系统，其特征在于，所述存储服务器具有负载均衡调整策略，所述存储服务器包括常用服务端和备用服务端，且根据高性能存储端和低性能存储端配置常用服务端和备用服务端的数量，其策略如下：
【技术特征摘要】
1.一种具有分布式存储结构的系统，其特征在于，包括云端系统和用户端，所述云端系统的结构单元包括如下：
2.根据权利要求1所述的一种具有分布式存储结构的系统，其特征在于，所述大文件数据采用分片并行传输策略，所述分级文件数据的大小值小于或等于m，所述小文件数据采用通道复用传输策略。
3.根据权利要求2所述的一种具有分布式存储结构的系统，其特征在于，所述存储服务器的缓冲区的大小大于或等于每个文...
【专利技术属性】
技术研发人员：冯伟红，
申请(专利权)人：厦门福慧康电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。