一种高速大数据存储方法技术

技术编号:14784184 阅读:65 留言:0更新日期:2017-03-10 16:35
一种高速大数据存储方法,它涉及数据存储技术领域。其特征在于它的存储优化方法:首先对存储设备物理性能的提升,变换设备内机械硬盘更换为固态硬盘;然后系统结构的设计及优化,其包含系统逻辑结构和数据流动通路的优化,采用RAID1+0技术可大大提高系统性能;最后针对I/O负载进行优化,提高特定存储模式下的存储性能。它针对目前大数据存储缓慢的问题,通过优化硬件设备和软件程序,大大提高而来存储速度,避免存储通道闭塞的问题。

【技术实现步骤摘要】

:本专利技术涉及数据存储
,具体涉及一种高速大数据存储方法
技术介绍
:数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名,这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据,表现出动态数据的特征;数据存储反映系统中静止的数据,表现出静态数据的特征。常用的存储介质为磁盘和磁带。数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取;在磁盘上则可按使用要求采用顺序存取或直接存取方式。数据存储方式与数据文件组织密切相关,其关键在于建立记录的逻辑与物理顺序间对应关系,确定存储地址,以提高数据存取速度。但是目前的存储设备在面对大量数据存储时,会出现系统运行缓慢,存储速度大大减慢,严重时会导致系统崩溃。
技术实现思路
:本专利技术的目的是提供一种高速大数据存储方法,它针对目前大数据存储缓慢的问题,通过优化硬件设备和软件程序,大大提高而来存储速度,避免存储通道闭塞的问题。为了解决
技术介绍
所存在的问题,本专利技术是采用以下技术方案:它的存储优化方法:首先对存储设备物理性能的提升,变换设备内机械硬盘更换为固态硬盘;然后系统结构的设计及优化,其包含系统逻辑结构和数据流动通路的优化,采用RAID1+0技术可大大提高系统性能;最后针对I/O负载进行优化,提高特定存储模式下的存储性能。所述的I/O负载进行优化的方法:a、根据存储介质的物理特征,优化数据访问过程是提高单一设备性能的有效方法,数据访问技术,用来减少跨磁道的访问延迟;b、I/O并发和负载平衡,I/O平衡是把I/O请求均匀分布在多个存储设备中,从而避免由于某一个存储设备负载过重二影响系统的整体性能,同时,可以进一步通过存储设备的并行访问来提高系统的吞吐率;c、数据缓存和预取,在存储系统中,利用数据在空间的局域性和时间的局域性设计缓存机制,是一种常用的提高计算机系统性能的有效方法,利用不同存储设备在性能和容量之间的差异,使用上层高速存储设备作为下层低速存储设备的缓存媒介,达到提高系统性能的目的,同时在存储系统发的每一层也都大量使用缓存技术。本专利技术具有以下有益效果:它针对目前大数据存储缓慢的问题,通过优化硬件设备和软件程序,大大提高而来存储速度,避免存储通道闭塞的问题。具体实施方式:本具体实施方式采用以下技术方案:它的存储优化方法:首先对存储设备物理性能的提升,变换设备内机械硬盘更换为固态硬盘;然后系统结构的设计及优化,其包含系统逻辑结构和数据流动通路的优化,采用RAID1+0技术可大大提高系统性能;最后针对I/O负载进行优化,提高特定存储模式下的存储性能。所述的I/O负载进行优化的方法:a、根据存储介质的物理特征,优化数据访问过程是提高单一设备性能的有效方法,数据访问技术,用来减少跨磁道的访问延迟;b、I/O并发和负载平衡,I/O平衡是把I/O请求均匀分布在多个存储设备中,从而避免由于某一个存储设备负载过重二影响系统的整体性能,同时,可以进一步通过存储设备的并行访问来提高系统的吞吐率;c、数据缓存和预取,在存储系统中,利用数据在空间的局域性和时间的局域性设计缓存机制,是一种常用的提高计算机系统性能的有效方法,利用不同存储设备在性能和容量之间的差异,使用上层高速存储设备作为下层低速存储设备的缓存媒介,达到提高系统性能的目的,同时在存储系统发的每一层也都大量使用缓存技术。本专利技术具有以下有益效果:它针对目前大数据存储缓慢的问题,通过优化硬件设备和软件程序,大大提高而来存储速度,避免存储通道闭塞的问题。本文档来自技高网...

【技术保护点】
一种高速大数据存储方法,其特征在于它的存储优化方法:首先对存储设备物理性能的提升,变换设备内机械硬盘更换为固态硬盘;然后系统结构的设计及优化,其包含系统逻辑结构和数据流动通路的优化,采用RAID1+0技术可大大提高系统性能;最后针对I/O负载进行优化,提高特定存储模式下的存储性能。

【技术特征摘要】
1.一种高速大数据存储方法,其特征在于它的存储优化方法:
首先对存储设备物理性能的提升,变换设备内机械硬盘更换为固态硬
盘;然后系统结构的设计及优化,其包含系统逻辑结构和数据流动通
路的优化,采用RAID1+0技术可大大提高系统性能;最后针对I/O负
载进行优化,提高特定存储模式下的存储性能。
2.根据权利要求1所述的一种高速大数据存储方法,其特征在
于所述的I/O负载进行优化的方法:(a)、根据存储介质的物理特征,
优化数据访问过程是提高单一设备性能的有效方法,数据访问技术,
用来减少跨磁道的访问延迟;...

【专利技术属性】
技术研发人员:傅涛傅德胜经正俊孙文静
申请(专利权)人:盐城华大网安科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1