云计算的大数据存储和处理的硬件设备制造技术

本实用新型专利技术公开了云计算的大数据存储和处理的硬件设备，包括存储设备和处理设备，存储设备与处理设备电连接；存储设备包括备用存储硬件和常用存储硬件，常用存储硬件包括一级存储硬件和二级存储硬件，一级存储硬件和二级存储硬件采用逐级式连接；一级存储硬件为机架式服务器，机架式服务器通过HDFS进行构建与连接；二级存储硬件包括光纤磁盘阵列、集群服务器和本地硬盘，集群服务器通过Lustre进行构建与连接；本地硬盘与千兆计算机核心交换机电连接，千兆计算机核心交换机与登录节点连接；登录节点与系统接入交换机连接，系统接入交换机通过千兆以太网连接到用户的客户端；所述硬件设备还包括防火墙，处理设备为超级计算机。

【技术实现步骤摘要】
云计算的大数据存储和处理的硬件设备
本技术涉及信息
，主要涉及云计算的大数据存储和处理的硬件设备。
技术介绍
大数据是指一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。本技术提供一种云计算的大数据存储和处理的硬件设备，有效解决大数据的存储和处理。
技术实现思路
本技术解决上述技术问题所采用的技术方案是：云计算的大数据存储和处理的硬件设备，其特征在于，所述硬件设备包括存储设备和处理设备，所述存储设备与处理设备电连接；所述存储设备包括备用存储硬件和常用存储硬件，所述备用存储硬件和常用存储硬件之间相互独立；所述常用存储硬件包括一级存储硬件和二级存储硬件，所述一级存储硬件和二级存储硬件采用逐级式连接，通过无线网络实现数据的从一级存储硬件传到二级存储硬件；所述一级存储硬件为机架式服务器，所述机架式服务器通过HDFS进行构建与连接；所述二级存储硬件包括光纤磁盘阵列、集群服务器和本地硬盘，所述集群服务器通过Lustre进行构建与连接；所述本地硬盘与千兆计算机核心交换机电连接，所述千兆计算机核心交换机与登录节点连接；所述登录节点与系统接入交换机连接，所述系统接入交换机通过千兆以太网连接到用户的客户端；所述硬件设备还包括防火墙，所述处理设备为超级计算机。本实用技术的一些实施例中，所述机架式服务器与三级存储上联交换机通过千兆以太网进行数据传输，所述三级存储上联交换机与万兆核心交换机通过万兆光纤以太网进行数据传输；所述万兆核心交换机与数据中转节点和二级存储下联交换机连接，通过二级存储下联交换机进行数据传输。本实用技术的一些实施例中，所述集群服务器与登录节点之间通过互联网连接。本实用技术的一些实施例中，所述集群服务器设有若干个，根据实际需求动态扩展集群服务器的数量。本实用技术的一些实施例中，所述机架式服务器设有若干个，根据实际需求动态扩展机架式服务器的数量。本技术的优点在于：本技术提供云计算的大数据存储和处理的硬件设备，结构合理，布局紧凑，采用是逐级式存储模式，其中一级存储硬件通过并行机架式服务器，基于HDFS进行构建，采用多副本模式保证数据的可靠性；通过一级存储可以实现海量数据的存储，其次二级存储硬件采用Lustre构建的并行存储文件系统，主要应用于一级存储硬件中的海量数据进行整合的存储需求；同时该设备还设有备用存储设备，当该设备出现应急事故时，设备中的数据会存储在备用存储硬件中；同时设有防火墙，增加该设备的安全指数。附图说明为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本技术的结构示意图。其中：1.一级存储硬件2.二级存储硬件3.备用存储硬件4.千兆计算机核心交换机5.三级存储上联交换机6.万兆核心交换机7.数据中转节点8.二级存储下联交换机9.登录节点10.系统接入交换机11.客户端12.超级计算机101.机架式服务器201.光纤磁盘阵列202.集群服务器203.本地硬盘具体实施方式下面将结合附图对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在本技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。所述硬件设备包括存储设备和处理设备，所述存储设备与处理设备电连接；所述存储设备包括备用存储硬件和常用存储硬件，所述备用存储硬件3和常用存储硬件之间相互独立；所述常用存储硬件包括一级存储硬件1和二级存储硬件2，所述一级存储硬件1和二级存储硬件2采用逐级式连接，通过无线网络实现数据的从一级存储硬件1传到二级存储硬件2；所述一级存储硬件为机架式服务器101，所述机架式服务器101通过HDFS进行构建与连接；所述二级存储硬件包括光纤磁盘阵列201、集群服务器202和本地硬盘203，所述集群服务器202通过Lustre进行构建与连接；所述本地硬盘203与千兆计算机核心交换机4电连接，所述千兆计算机核心交换机4与登录节点连接9；所述登录节点9与系统接入交换机10连接，所述系统接入交换机10通过千兆以太网连接到用户的客户端11；所述硬件设备还包括防火墙，所述处理设备为超级计算机3。本实用技术的一些实施例中，所述机架式服务器101与三级存储上联交换机5通过千兆以太网进行数据传输，所述三级存储上联交换机5与万兆核心交换机6通过万兆光纤以太网进行数据传输；所述万兆核心交换机6与数据中转节点7和二级存储下联交换机8连接，通过二级存储下联交换机8进行数据传输。本实用技术的一些实施例中，所述集群服务器与登录节点之间通过互联网连接。本实用技术的一些实施例中，所述集群服务器设有若干个，根据实际需求动态扩展集群服务器的数量。本实用技术的一些实施例中，所述机架式服务器设有若干个，根据实际需求动态扩展机架式服务器的数量。最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。本文档来自技高网...

【技术保护点】
云计算的大数据存储和处理的硬件设备，其特征在于，所述硬件设备包括存储设备和处理设备，所述存储设备与处理设备电连接；所述存储设备包括备用存储硬件和常用存储硬件，所述备用存储硬件和常用存储硬件之间相互独立；所述常用存储硬件包括一级存储硬件和二级存储硬件，所述一级存储硬件和二级存储硬件采用逐级式连接，通过无线网络实现数据的从一级存储硬件传到二级存储硬件；所述一级存储硬件为机架式服务器，所述机架式服务器通过HDFS进行构建与连接；所述二级存储硬件包括光纤磁盘阵列、集群服务器和本地硬盘，所述集群服务器通过Lustre进行构建与连接；所述本地硬盘与千兆计算机核心交换机电连接，所述千兆计算机核心交换机与登录节点连接；所述登录节点与系统接入交换机连接，所述系统接入交换机通过千兆以太网连接到用户的客户端；所述硬件设备还包括防火墙，所述处理设备为超级计算机。

【技术特征摘要】
1.云计算的大数据存储和处理的硬件设备，其特征在于，所述硬件设备包括存储设备和处理设备，所述存储设备与处理设备电连接；所述存储设备包括备用存储硬件和常用存储硬件，所述备用存储硬件和常用存储硬件之间相互独立；所述常用存储硬件包括一级存储硬件和二级存储硬件，所述一级存储硬件和二级存储硬件采用逐级式连接，通过无线网络实现数据的从一级存储硬件传到二级存储硬件；所述一级存储硬件为机架式服务器，所述机架式服务器通过HDFS进行构建与连接；所述二级存储硬件包括光纤磁盘阵列、集群服务器和本地硬盘，所述集群服务器通过Lustre进行构建与连接；所述本地硬盘与千兆计算机核心交换机电连接...

【专利技术属性】
技术研发人员：王强，
申请(专利权)人：天津鑫海华企科技有限公司，
类型：新型
国别省市：天津,12