本实用新型专利技术公开一种基于高速数据采集存储系统的I/O加速存取装置，基于高速数据采集存储系统包括数据采集卡和存储服务器，I/O加速存取装置包括：固态缓冲模块，设置在数据采集卡内部，接收数据采集卡采集的数据并存储，当固态缓冲模块中存储的数据达到设定阈值或数据采集卡停止采集数据时，固态缓冲模块将所存储的数据发送给存储服务器；DMA缓冲模块，设置在存储服务器中，当存储服务器接收到来自数据采集卡的数据时，DMA缓冲模块按照物理内存地址增长方向依次将数据存储；当DMA缓冲模块中的数据量达到预设值时或超过设定时间一直未接收到新的数据并且DMA缓冲模块中仍有数据时，将所存储的数据写入物理存储介质中。
【技术实现步骤摘要】
本技术涉及高速数据采集存储领域，具体而言，涉及一种基于高速数据采集存储系统的I/o加速存取装置。
技术介绍
高速数据采集存储系统工作在记录模式下时，首先会通过高速采集卡将采样数据通过DMA (Direct Memory Access，直接内存存取)方式保存到系统内存中，然后通知系统取走这些数据，并按顺序保存到物理存储介质中。由于系统将数据保存到物理存储介质这个过程，需要涉及到分配内存、内存之间数据拷贝以及一次以上的iAKlnput/Output，输入输出端口)操作，性能软低。另外，传统的存储介质(如:磁盘或磁盘阵列)存在偶发性的I/O延时大等问题，这样会造成前端的采集数据在特定时间内无法被系统处理，从而造成采集数据丢失。
技术实现思路
本技术提供一种基于高速数据采集存储系统的I/O加速存取装置，用以提高高速数据采集存储系统I/o性能以及可靠性。。为达到上述目的，本技术提供了一种基于高速数据采集存储系统的I/O加速存取装置，所述基于高速数据采集存储系统包括数据采集卡和存储服务器，所述I/o加速存取装置包括:固态缓冲模块，设置在数据采集卡内部，并与所述数据采集卡的相应数据接口相连接，所述数据采集卡与所述存储服务器相连接，所述固态缓冲模块接收所述数据采集卡采集的数据并存储，当所述固态缓冲模块中存储的数据达到设定阈值或所述数据采集卡停止采集数据时，所述固态缓冲模块通过所述数据采集卡的相应数据接口将所存储的数据发送给所述存储服务器；DMA缓冲模块，设置在所述存储服务器中，并分别与所述存储服务器和物理存储介质的相应数据接口相连接，当所述存储服务器接收到来自所述数据采集卡的数据时，所述DMA缓冲模块按照物理内存地址增长方向依次将数据存储；当所述DMA缓冲模块中的数据量达到预设值时或超过设定时间一直未接收到新的数据并且所述DMA缓冲模块中仍有数据时，将所存储的数据写入物理存储介质中。进一步地，所述固态缓冲模块为闪存。进一步地，所述固态缓冲模块为随机存取存储器。本技术在高速数据采集存储系统记录数据时，可以有效减少系统中物理存储介质的I/o次数，另外，通过累积形成大块I/O数据，从而提高性能。在每次I/O过程中，达到数据零拷贝，从而有效降低了 I/O延时。同时，通过多级缓冲区，允许系统存在一定量的瞬间I/O延时而不丢采样数据，从而提高了系统的可靠性。【附图说明】为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本技术一个实施例的基于高速数据采集存储系统的I/O加速存取装置示意图。【具体实施方式】下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。图1为本技术一个实施例的基于高速数据采集存储系统的I/O加速存取装置示意图。如图所示，基于高速数据采集存储系统包括数据采集卡和存储服务器，I/o加速存取装置包括:固态缓冲模块，设置在数据采集卡内部，并与数据采集卡的相应数据接口相连接，数据采集卡与存储服务器相连接，固态缓冲模块接收数据采集卡采集的数据并存储，当固态缓冲模块中存储的数据达到设定阈值或数据采集卡停止采集数据时，固态缓冲模块通过数据采集卡的相应数据接口将所存储的数据发送给存储服务器；DMA缓冲模块，设置在存储服务器中，并分别与存储服务器和物理存储介质的相应数据接口相连接，当存储服务器接收到来自数据采集卡的数据时，DMA缓冲模块按照物理内存地址增长方向依次将数据存储；当DMA缓冲模块中的数据量达到预设值时或超过设定时间一直未接收到新的数据并且DMA缓冲模块中仍有数据时，将所存储的数据写入物理存储介质中。例如，上述固态缓冲模块可以为闪存或随机存取存储器。。在本专利技术的上述实施例中，数据采集卡采集到的数据首先会保存到数据缓冲模块中，当累积到如下条件之一触发时，再把该缓冲模块中的数据DMA到系统内存中:(I)当缓冲区快填满时(可以预先设定数据阈值)；(2)当采集卡停止采样数据时；当缓冲模块中的数据DMA到系统内存中以后，缓冲模块相应的数据区立即置空，以便重复使用。在存储服务器中，采用连续的物理内存当作DMA缓冲模块。采集卡每次DMA时，会按物理内存地址增长方向依次将数据保存到DMA缓冲模块。通过本专利的方案，可以把多次连续的采样数据组合到一个连续的物理内存里面，当累积到如下条件之一触发时，一次性地把该段内存数据写到物理存储介质中:(I)当缓冲区数据达到预定数据量时；(2)超过某个时间上限，一直没有新的请求下来，而缓冲区中仍有数据时；(3)当停止采集数据，而缓冲区中仍有数据时。当DMA缓冲模块中的数据刷到物理存储介质中以后，DMA缓冲模块立即清空，以便重复使用。综上可知，通过本技术的上述方案，在高速数据采集存储系统记录数据时，可以有效减少系统中物理存储介质的I/o次数，另外，通过累积形成大块I/O数据，从而提高性能。在每次I/o过程中，达到数据零拷贝，从而有效降低了 I/O延时。同时，通过多级缓冲区，允许系统存在一定量的瞬间I/o延时而不丢采样数据，从而提高了系统的可靠性。本领域普通技术人员可以理解:附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本技术所必须的。本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。最后应说明的是:以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。【主权项】1.一种基于高速数据采集存储系统的I/o加速存取装置，所述基于高速数据采集存储系统包括数据采集卡和存储服务器，其特征在于，所述I/o加速存取装置包括: 固态缓冲模块，设置在数据采集卡内部，并与所述数据采集卡的相应数据接口相连接，所述数据采集卡与所述存储服务器相连接，所述固态缓冲模块接收所述数据采集卡采集的数据并存储，当所述固态缓冲模块中存储的数据达到设定阈值或所述数据采集卡停止采集数据时，所述固态缓冲模块通过所述数据采集卡的相应数据接口将所存储的数据发送给所述存储服务器； DMA缓冲模块，设置在所述存储服务器中，并分别与所述存储服务器和物理存储介质的相应数据接口相连接，当所述存储服务器接收到来自所述数据采集卡的数据时，所述DMA缓冲模块按照物理内存地址增长方向依次将数据存储；当所述DMA缓冲模块中的数据量达到预设值时或超过设定时本文档来自技高网...
【技术保护点】
一种基于高速数据采集存储系统的I/O加速存取装置，所述基于高速数据采集存储系统包括数据采集卡和存储服务器，其特征在于，所述I/O加速存取装置包括：固态缓冲模块，设置在数据采集卡内部，并与所述数据采集卡的相应数据接口相连接，所述数据采集卡与所述存储服务器相连接，所述固态缓冲模块接收所述数据采集卡采集的数据并存储，当所述固态缓冲模块中存储的数据达到设定阈值或所述数据采集卡停止采集数据时，所述固态缓冲模块通过所述数据采集卡的相应数据接口将所存储的数据发送给所述存储服务器；DMA缓冲模块，设置在所述存储服务器中，并分别与所述存储服务器和物理存储介质的相应数据接口相连接，当所述存储服务器接收到来自所述数据采集卡的数据时，所述DMA缓冲模块按照物理内存地址增长方向依次将数据存储；当所述DMA缓冲模块中的数据量达到预设值时或超过设定时间一直未接收到新的数据并且所述DMA缓冲模块中仍有数据时，将所存储的数据写入物理存储介质中。
【技术特征摘要】
【专利技术属性】
技术研发人员：吴清秀，夏传荣，张威，
申请(专利权)人：北京宏锐星通科技有限公司，
类型：新型
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。