一种基于通道绑定的高性能高容错存储设计方法和装置制造方法及图纸

本发明专利技术涉及数据存储技术领域，特别涉及一种基于通道绑定的高性能高容错存储设计方法和装置。本发明专利技术通过将多个存储总线绑定形成一个高速并行传输系统，驱动通过算法将原始数据拆分成若干个数据块同时传输，这样传输速率可以比传统方式提高将近N倍（N取决于通道绑定的数量）。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及数据存储
，特别涉及一种基于通道绑定的高性能高容错存储设计方法和装置。本专利技术通过将多个存储总线绑定形成一个高速并行传输系统，驱动通过算法将原始数据拆分成若干个数据块同时传输，这样传输速率可以比传统方式提高将近N倍（N取决于通道绑定的数量）。【专利说明】一种基于通道绑定的高性能高容错存储设计方法和装置
本专利技术涉及数据存储
，特别涉及一种基于通道绑定的高性能高容错存储设计方法和装置。
技术介绍
随着云计算、大数据等新型技术的发展，对数据存储的带宽和容量要求越来越高，由于处理器的发展速度远远超过存储介质的步伐，如何有效提高系统的存储速率和保证数据的完整性成为急需解决的技术问题。传统计算机设备一般通过PCIE芯片来连接SAS、RAID硬盘，这种方式处理器只能通过单个PCIE通道来传输数据，带宽速率成为瓶颈。
技术实现思路
为了解决现有技术的问题，本专利技术提供了一种基于通道绑定的高性能高容错存储设计方法和装置，其通过将多个存储控制器所在的存储总线绑成一个高带宽的并行总线，驱动通过算法将原始数据拆分成若干个数据块同时传输，可以将数据传输性能明显提升。本专利技术所采用的技术方案如下: 一种基于通道绑定的高性能高容错存储设计方法，包括以下步骤:A、生成数据目录系统，所述的数据目录系统由一组存储控制器和其下挂的硬盘组成；B、生成通道绑定传输系统，所述的通道绑定传输系统由若干个存储控制器的节点构成； C、根据端口数量计算数据块大小； D、储存数据文件信息； E、进行数据传输，如果端口没有失效或者没有新的端口加入，则数据分块进行校验存储；如果端口失效或者有新的端口加入，则从步骤C重新开始。步骤A中所述的数据目录系统是任意一组存储控制器所在的位置。步骤B中所述的通道绑定传输系统中，驱动将若干个节点绑定成有一个高速并行的传输通道，这些节点在读取或写入数据时都是同时进行的，同时驱动通过计算将原始待传输数据拆分成若干个数据块，这些数据块被分批放到绑定通道进行传输。步骤C中，每一笔要传输的数据块都采用异或算法计算出校验信息，数据块和校验信息带状分布存储在不同的通道下。一种基于通道绑定的高性能高容错存储装置，由处理器部分、若干个存储控制器和硬盘、数据目录系统和通道绑定传输系统构成，其中，处理器部分负责所有事物的处理，存储控制器连接处理器部分和硬盘，负责将存储总线协议转换成适合硬盘连接的协议，所述的数据目录系统由一组存储控制器和其下挂的硬盘组成，所述的通道绑定传输系统由若干个存储控制器的通道构成。其中: (1)、处理器:连接存储控制器，进行所有数据和算法的计算处理；(2)、若干个存储控制器和存储介质:存储控制器完成CPU数据到硬盘数据的传输；为了便于说明，以下存储控制器和其对应的存储介质，我们称之为节点； (3 )、数据目录系统:包含一套存储控制器和硬盘，即一个节点。用于存放所有数据的目录信息，包括数据块的大小、数量、结构、存放位置等。驱动在将原始数据分解成若干个数据块，通过“通道绑定传输系统”并行传输时，将数据的目录信息存在该数据目录系统中，以方便进行快速的查找； (4)通道绑定传输系统:包含若干个个节点，该系统的作用是将若干个存储控制器的通道绑定成并行总线，然后驱动对原始数据进行拆分处理，将多个存储控制器之间进行通道绑定来传输数据，并通过“数据分块校验存储”算法将数据信息和校验信息带状分布在各个存储硬盘中。通道绑定传输具有负载均衡、路径故障重传等特点，通过驱动设置，可以将若干存储控制器组成一个组或几个组，当组内某个存储控制器故障时，驱动尝试将故障路径上的数据转由其他的传输路径来重传，无需定位具体的故障点，可快速恢复数据的传输。本专利技术提供的技术方案带来的有益效果是: 本专利技术提出的基于通道绑定的传输方式可以将数据传输速率明显提高，通过将处理器和存储控制器之间的存储总线绑定为一个高带宽的并行传输总线，然后由驱动进行计算将原始数据拆分成若干数据库同时传输，达到数据吞吐量翻番的目的，同时提出一种“数据分块校验存储”算法来保证数据的完整性，如果组内某个通道(包括存储控制器或硬盘)故障时数据的不会崩溃。【专利附图】【附图说明】图1为本专利技术的一种基于通道绑定的高性能高容错存储设计方法和装置的系统拓扑图； 图2为本专利技术的一种基于通道绑定的高性能高容错存储设计方法和装置的数据分块校验存储不意图； 图3为本专利技术的一种基于通道绑定的高性能高容错存储设计方法和装置的数据传输流程图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。如附图1所示，一种基于通道绑定的高性能高容错的计算机存储系统的设计方法和装置，通过将数据“存储总线”聚合的方式提高系统的带宽，其系统组成包括:(I)处理器部分；(2)若干个存储控制器和硬盘；(3)数据目录系统；(4)通道绑定传输系统。处理器负责所有事物的处理，存储控制器连接处理器和硬盘，负责将“存储总线”协议转换成适合硬盘连接的协议，如SAS、SATA等。本专利技术首先构建一个数据目录系统，该数据目录系统由一组存储控制器和其下挂的硬盘组成，称之为一个节点。数据目录系统可以是任意一组存储控制器所在的位置，本实施例以存储控制器O所在的位置为例进行说明。数据目录系统只用于存放数据的目录、结构和存储信息。举例来说，当系统进行一笔数据传输时，会先将这个数据拆分成若干份，然后这些数据会被存进不同的存储控制器下面。为了便于对这些数据进行管理，原始数据和被拆分的数据块信息被存放在“数据目录系统”中。通道绑定传输系统由若干个存储控制器的通道(或称为节点)构成，驱动将这若干个通道绑定成有一个高速并行的传输通道，这些通道在读取或写入数据时都是同时进行的，如同计算机的一个部件；同时驱动通过计算将原始待传输数据拆分成若干个数据块,这些数据块将被分批放到绑定通道进行传输，所以数据传输性能明显提升。为了便于说明，本专利技术以“存储控制器I”到“存储控制器N”组成一个“通道绑定传输系统”为例，如图2所示，此传输系统有N个通道组成。为了保证数据在高速并行条件下传输时的可靠性，本实施例提出了一种“数据分块校验存储”算法，即每一笔要传输的数据块都采用异或算法计算出校验信息，数据块和校验信息带状分布存储在不同的通道下。该算法的最大优点在于校验信息分别存在不同通道下的硬盘里，不会因为某一条通道出现问题而出现数据不完整。“数据分块校验存储”算法采用数据和校验信息带状分布存储在不同的通道下，校验位信息根据数据块经过异或计算产生，原始数据将被分成若干份((N-1)的若干倍数)后分批传输，每一批(笔)数据包括(N-1)个数据位和I个校验位。为了便于阐述，本实施例以N=5举例说明，如图2所示，当“通道绑定传输系统”由5个通道(或叫链路)组成时，驱动会把原始数据分成若干个数据块(4的若干倍数)后分批传输，每一批(笔)数据包括4个数据位和I个校验位。假设第一笔数据为A0，BO, CO, D0,其存放在前4个通道上，PO作为校验位存在第5个通道上；第二笔数据Al，BI，Cl，El存放在第一、二、三、五通道上，Pl校验位存放在第4个通道上，其他以此类推。通道绑定传输本文档来自技高网...

【技术保护点】
一种基于通道绑定的高性能高容错存储设计方法，包括以下步骤：A、生成数据目录系统，所述的数据目录系统由一组存储控制器和其下挂的硬盘组成；B、生成通道绑定传输系统，所述的通道绑定传输系统由若干个存储控制器的通道构成；C、根据端口数量计算数据块大小；D、储存数据文件信息；E、进行数据传输，如果端口没有失效或者没有新的端口加入，则数据分块进行校验存储；如果端口失效或者有新的端口加入，则从步骤C重新开始。

【技术特征摘要】

【专利技术属性】
技术研发人员：王恩东，胡雷钧，邹定国，林楷智，贡维，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37