一种PCIE SSD阵列的数据读方法、系统及读写方法技术方案

本发明专利技术公开了一种PCIE SSD阵列的数据读方法、系统及读写方法，IO data的buffer和cache都不再位于阵列系统内存中，而是位于FC模块的共享内存。本发明专利技术避免了系统内存性能成为制约阵列性能的瓶颈，另外由于每块PCIE SSD盘都有自己的内存，只需要保证每块盘上的内存读写性能能达到本身磁盘读写带宽的两倍，就能保证磁盘上的内存性能不会成为制约阵列和磁盘性能的瓶颈了。

【技术实现步骤摘要】
一种PCIESSD阵列的数据读方法、系统及读写方法
本专利技术涉及一种PCIESSD阵列的数据读方法、系统及读写方法。
技术介绍
现有操作系统和磁盘阵列都是按照早先机械盘的性能远远低于内存的性能设计的，和机械盘的读写延时相比，内存的读写延时几乎可以忽略不计，所以不管是常用的操作系统还是阵列的软件架构，读写的数据都是先放到系统内存中，再往盘下或者返回给应用。读的时候会先在内存cache中看数据能否命中，能命中的话则直接从内存cache中取出返回给应用，如不能命中才从磁盘中取出到内存中交给应用。我们以常见的磁盘阵列通过FC共享LUN到主机的情况看一下目前架构的读写流程，见图1和图2。图1和图2的方法没有考虑回写的情况，读流程也没有考虑cache命中的情况。虽然FC的硬件设计有差别，或者用的以太网ISCSI共享LUN在流程的细节上会有一些差别，但是最终有一点是不会变的，就是IO的数据都是先写到阵列系统内存中再返回给请求方。这个方案在磁盘的性能较低的时候能极高的提高磁盘的读写性能(因为可以回写和cache命中)，但采用此架构，磁盘的性能理论上只能达到内存带宽的一半以下(无论读写IO数据都要在系统内存中读写一次)，实际还会更低（IO命令本身和阵列的操作系统和软件都会消耗系统内存的容量和带宽）。在极端理想的情况下，即cache足够大，所有写操作都可以回写，不用下盘，所有读都可以命中，阵列的性能也只能接近内存带宽。当SSD磁盘出现后，硬盘的读写性能已经得到了极大的提高。目前最新的高性能SSD硬盘普遍采取PCIE接口，性能已经突破了SATA和SAS协议本身的限制。如intel的p3700，读写带宽分别能达2800/2000MB/s的级别。而且SSD的性能还在持续的提高之中。而内存带宽在DDR3-1600四通道的情况下读写都只有20+GB/s，就算在目前最快的超频内存DDR4-3000四通道的情况下，读写也只能分别到达60+GB/s和40+GB/s。在这种情况下普通单机单磁盘的系统内存带宽还不足以成为性能的瓶颈，但在多磁盘组成RAID组的情况下，或者在阵列的多磁盘情况下，系统内存带宽则可能出现瓶颈。如48块intel的p3700固态硬盘组成的阵列理论写带宽可以达到96GB/s，读带宽则更高，在这种情况下目前的内存性能已成为阵列性能的瓶颈。TGT端的FC模块：目前TGT端的FC模块都是作为PCIE设备安装在阵列上的，有共享内存给主机的能力，与阵列的交互也是各个FC模块硬件厂商自己定义的，驱动也是各个厂家自己的驱动，所以共享内存给主机需要FC模块具备此能力，并使用厂家自定义的接口。INI端：输入端。RAID：磁盘阵列。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种PCIESSD阵列的数据读方法、系统及读写方法。为解决上述技术问题，本专利技术所采用的技术方案是：一种PCIESSD阵列的数据读方法，包括以下步骤：1）TGT端FC模块接收到读命令并通知阵列驱动；2）阵列驱动解析读命令后，在cache模块尝试数据是否能命中，若未命中，则进入下述步骤3）；若命中，则直接从cache模块中取出数据并完成读命令；3）在对应TGT端FC模块共享内存中分配一段区域作为buffer；4）阵列驱动将解析后的读命令根据LUN的RAID情况分为一个或多个IO命令，发送给不同的磁盘，并将步骤3）分配的buffer地址通过IO命令下发给磁盘；5）磁盘从FLASH中读出IO命令后，通过PCIE命令将IO命令放到位于TGT端FC模块共享内存的buffer中，完成IO命令；6）阵列驱动得到IO命令完成的指令后，通知TGT端FC模块将buffer内的数据回传；7）TGT端FC模块读取buffer内的数据，回传给INI端，完成读命令。本专利技术还提供了一种PCIESSD阵列的数据读系统，包括：TGT端FC模块：用于接收读命令并通知阵列驱动；在得到阵列的通知后，读取buffer内的解析后的读命令，回传buffer内解析后的读命令给INI端，完成读命令；阵列驱动：用于在解析读命令后，在cache模块尝试解析后的读命令是否能命中，若没有命中，则在对应TGT端FC模块共享内存中分配一段区域作为接收解析后的读命令的buffer，然后将TGT端FC模块接收到的解析后的读命令根据LUN的RAID情况分为一个或多个IO命令，发送给不同的磁盘B，将TGT端FC模块共享内存中的buffer地址通过IO命令下发给磁盘；在得到磁盘B的IO命令完成的指令后，通知TGT端FC模块将buffer内的数据回传；磁盘B：用于从FLASH中读出IO命令后，通过PCIE命令将IO命令放到buffer中，完成IO命令。本专利技术的PCIESSD阵列的数据读写方法包括写数据方法和上述读数据方法；所述写数据方法包括以下步骤：1）TGT端FC模块接收到写命令并通知阵列驱动；2）阵列驱动解析写命令后，通知TGT端FC模块接收解析后的写命令，并在所述TGT端FC模块共享内存中分配一段buffer接收解析后的写命令；3）TGT端FC模块直接将接收到的解析后的写命令写入上述buffer中；4）阵列驱动将TGT端FC模块接收到的解析后的写命令根据LUN的RAID情况分为一个或多个IO命令，发送给不同的磁盘；5）磁盘接收到IO命令后，通过PCIE命令从TGT端FC模块共享内存中读取IO命令；6）磁盘将读取的IO命令下刷到FLASH颗粒中，完成IO命令；7）PCIESSD阵列得到IO命令后通知TGT端FC模块完成写命令，并回复INI端FC模块与现有技术相比，本专利技术所具有的有益效果为：本专利技术读写请求的数据不经过阵列系统内存，所以性能不受阵列系统内存性能的限制，使得阵列读写带宽可以超过主机内存的带宽；由于读写请求数据不使用阵列系统内存，节约下来的阵列系统内存容量和带宽可以给阵列系统和IO命令本身使用，从总体上改善了阵列的性能；现有方法每一次读写请求的数据都需要在PCIE链路上分别完成一次写操作和一次读操作，而采用本专利技术方法每次读写请求都只需要在PCIE链路上完成一次读操作或写操作，从而减轻了阵列PCIE链路带宽压力；在阵列的读写业务带宽相同的情况下，采用本专利技术方法，PCIE链路传输请求数据的带宽只需要现有方案的一半。附图说明图1为现有的写流程图；图2为现有的读流程图；图3为本专利技术方法的写流程图；图4为本专利技术方法的读流程图；图5为现有架构IO的阵列内数据流；图6为本专利技术方法IO阵列内数据流。具体实施方式本专利技术基于使用PCIESSD作为存储介质的存储阵列，PCIESSD包括但不限于基于AHCI、NVMe协议的SSD盘。本专利技术首先需要TGT端FC模块共享一定数量的自身的内存给阵列，这首先可以要求FC模块有自身的内存控制器以及可能需要外挂DDR。从图3和图4可知，本专利技术和现有方案最大的不同在于IOdata的buffer和cache都不再位于阵列系统内存中，而是位于FC模块的共享内存。该方案对目前的阵列架构冲击很小，还可以保留阵列本身读写流程的cache命中和回写等特性。另外阵列通常会有多个FC模块和多根FC共享对外提供LUN共享服务，当某个FC上的读命令命中cache的地址位于其它FC模块的共享内存中时，此FC模块本文档来自技高网...

【技术保护点】
一种PCIE SSD阵列的数据读方法，其特征在于，包括以下步骤：1)TGT端FC模块接收到读命令并通知阵列驱动；2)阵列驱动解析读命令后，在cache模块尝试数据是否能命中，若未命中，则进入下述步骤3）；若命中，则直接从cache模块中取出数据并完成读命令；3)在对应TGT端FC模块共享内存中分配一段区域作为buffer；4)阵列驱动将解析后的读命令根据LUN的RAID情况分为一个或多个IO命令，发送给不同的磁盘，并将步骤3）分配的buffer地址通过IO命令下发给磁盘；5)磁盘从FLASH中读出IO命令后，通过PCIE命令将IO命令放到位于TGT端FC模块共享内存的buffer中，完成IO命令；6)阵列驱动得到IO命令完成的指令后，通知TGT端FC模块将buffer内的数据回传；7)TGT端FC模块读取buffer内的数据，回传给INI端，完成读命令。

【技术特征摘要】
1.一种PCIESSD阵列的数据读方法，其特征在于，包括以下步骤：1)TGT端FC模块接收到读命令并通知阵列驱动模块；2)阵列驱动模块解析读命令后，在cache模块尝试数据是否能命中，若未命中，则进入下述步骤3）；若命中，则直接从cache模块中取出数据并完成读命令；3)在对应TGT端FC模块共享内存中分配一段区域作为buffer；4)阵列驱动模块将解析后的读命令根据LUN的RAID情况分为一个或多个IO命令，发送给不同的磁盘，并将步骤3）分配的buffer地址通过IO命令下发给磁盘；5)磁盘从FLASH中读出IO命令后，通过PCIE命令将IO命令放到位于TGT端FC模块共享内存的buffer中，完成IO命令；6)阵列驱动模块得到IO命令完成的指令后，通知TGT端FC模块将buffer内的数据回传；7)TGT端FC模块读取buffer内的数据，回传给INI端，完成读命令。2.一种PCIESSD阵列的数据读系统，其特征在于，包括：TGT端FC模块：用于接收读命令并通知阵列驱动模块；在得到阵列驱动模块的通知后，读取buffer内的解析后的读命令，回传buffer内解析后的读命令给INI端，完成读命令；阵列驱动模块：用于在解析读命令后，在cache模块尝试解析后的读命令是否能命中，若没有命中，则在对应TGT端FC模块共享内存中分配一段区域作...

【专利技术属性】
技术研发人员：王翔，向平，周士兵，姜黎，马翼，田达海，彭鹏，
申请(专利权)人：湖南国科微电子股份有限公司，
类型：发明
国别省市：湖南;43