一种数据流处理方法、存储控制节点及可读存储介质技术

本申请公开了一种数据流处理方法、存储控制节点及可读存储介质，存储控制节点中包括第一DPU和第二DPU，方法包括：第一DPU接收I/O请求，对I/O请求进行协议卸载，得到数据报文，并将数据报文存储在存储器中；第二DPU从存储器中获取数据报文，并对获取到的数据报文进行数据处理。本申请公开的上述技术方案，在存储控制节点中部署第一DPU和第二DPU，由第一DPU进行I/O请求接收、协议卸载和数据报文的存储，由第二DPU获取存储的数据报文，并对数据报文进行数据处理，即通过第一DPU和第二DPU来专门进行数据流的处理，从而提高数据流的处理效率，并提高数据流的处理性能。并提高数据流的处理性能。并提高数据流的处理性能。

【技术实现步骤摘要】
一种数据流处理方法、存储控制节点及可读存储介质


[0001]本申请涉及数据流处理
，更具体地说，涉及一种数据流处理方法、存储控制节点及可读存储介质。

技术介绍

[0002]当前市场需求驱动全球存储数据量以ZB级激增，单个存储硬盘性能、存储内部CPU（Central Processing Unit）对内存访问带宽和存储所用的网络接口带宽也显著提升，客户对于存储系统I/O性能也提出了更高的需求。
[0003]当前主流的存储系统框架是以CPU计算为中心的架构，适用于传统的存储设备使用场景，以CPU为中心，通过高速总线将前端接口卡、GPU（Graphics Processing Unit，图形处理器）、内存、FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）、HDD（Hard Disk Drive，硬盘驱动器）、SSD（Solid State Disk，固态硬盘）等计算、存储及通信设备挂载在CPU下，所有的计算、控制都由CPU发起。但是，随着后摩尔时代的来临，CPU单核计算能力滞涨，因此，以CPU为中心的框架无法更好且更快地进行I/O数据流的处理，成为存储系统性能提升的瓶颈。
[0004]综上所述，如何提高数据流的处理效率和处理性能，是目前本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本申请的目的是提供一种数据流处理方法、存储控制节点及可读存储介质，用于提高数据流的处理效率和处理性能。
[0006]为了实现上述目的，本申请提供如下技术方案：一种数据流处理方法，存储控制节点中包括第一DPU和第二DPU，所述数据流处理方法包括：所述第一DPU接收I/O请求，对所述I/O请求进行协议卸载，得到数据报文，并将所述数据报文存储在存储器中；所述第二DPU从所述存储器中获取数据报文，并对获取到的数据报文进行数据处理。
[0007]优选的，所述第一DPU将所述数据报文存储在存储器中，包括：所述第一DPU确定所述数据报文中包含的数据的类型，根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中。
[0008]优选的，所述第一DPU确定所述数据报文中包含的数据的类型，包括：所述第一DPU对所述数据报文进行数据指纹计算，得到所述数据报文的数据指纹；根据所述数据指纹确定所述数据报文中包含的数据的类型。
[0009]优选的，所述第一DPU将所述数据报文存储在存储器中，包括：所述第一DPU通过高速互联总线将所述数据报文存储在存储器中。
[0010]优选的，所述第二DPU从所述存储器中获取数据报文，对获取到的数据报文进行数据处理，包括：所述第二DPU通过所述高速互联总线从所述存储器中获取数据报文，并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
[0011]优选的，还包括：所述存储控制节点中的CPU进行数据转发控制和存储管理。
[0012]一种存储控制节点，包括第一DPU和第二DPU，其中：所述第一DPU，用于接收I/O请求，对所述I/O请求进行协议卸载，得到数据报文，并将所述数据报文存储在存储器中；所述第二DPU，用于从所述存储器中获取数据报文，并对获取到的数据报文进行数据处理。
[0013]优选的，所述第一DPU，具体用于确定所述数据报文中包含的数据的类型，根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中。
[0014]优选的，还包括CPU：所述CPU，用于进行数据转发控制和存储管理。
[0015]一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的数据流处理方法的步骤。
[0016]本申请提供了一种数据流处理方法、存储控制节点及可读存储介质，存储控制节点中包括第一DPU和第二DPU，数据流处理方法包括：第一DPU接收I/O请求，对I/O请求进行协议卸载，得到数据报文，并将数据报文存储在存储器中；第二DPU从存储器中获取数据报文，并对获取到的数据报文进行数据处理。
[0017]本申请公开的上述技术方案，在存储控制节点中部署第一DPU和第二DPU，由第一DPU进行I/O请求接收、协议卸载和数据报文的存储，由第二DPU获取存储的数据报文，并对数据报文进行数据处理，即通过第一DPU和第二DPU来专门进行数据流的处理，从而提高数据流的处理效率，并提高数据流的处理性能。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0019]图1为本申请实施例提供的一种数据流处理方法的流程图；图2为本申请实施例提供的存储控制节点的架构示意图；图3为现有以CPU为核心进行数据处理的流程图。
具体实施方式
[0020]当前市场需求驱动全球存储数据量以ZB级激增，单个存储硬盘性能、存储内部CPU对内存访问带宽和存储所用的网络接口带宽也显著提升，客户对于存储系统I/O性能也提出了更高的需求（更高带宽、IOPS（Input/Output Operations Per Second，每秒进行读写
(I/O)操作的次数）和更低时延），然而后摩尔时代半导体工艺制程发展减缓，单核算力滞涨（52%
‑
>3.5%），这些对于存储系统设计带来了巨大性能提升挑战。
[0021]当前主流的存储系统框架是以CPU计算为中心的架构，适用于传统的存储设备使用场景，以CPU为中心，通过高速总线将前端接口卡、GPU、内存、FPGA、HDD、SSD等计算、存储及通信设备挂载在CPU下，所有的计算、控制都由CPU发起。但是，随着后摩尔时代的来临，CPU单核计算能力滞涨，因此，以CPU为中心的框架无法更好且更快地进行I/O数据流的处理，成为存储系统性能提升的瓶颈。
[0022]为此，本申请提供一种数据流处理方法、存储控制节点及可读存储介质，用于提高数据流的处理效率和处理性能。
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]参见图1和图2，其中，图1示出了本申请实施例提供地一种数据流处理方法的流程图，图2示出了本申请实施例提供的存储控制节点的架构示意图。本申请实施例提供地一种数据流处理方法，存储控制节点中可以包括第一DPU和第二DPU，数据流处理方法可以包括：S11：第一DPU接收I/O请求，对I/O请求进行协议卸载，得到数据报文，并将数据报文存储在存储器中。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据流处理方法，其特征在于，存储控制节点中包括第一DPU和第二DPU，所述数据流处理方法包括：所述第一DPU接收I/O请求，对所述I/O请求进行协议卸载，得到数据报文，并将所述数据报文存储在存储器中；所述第二DPU从所述存储器中获取数据报文，并对获取到的数据报文进行数据处理；所述第一DPU将所述数据报文存储在存储器中，包括：所述第一DPU确定所述数据报文中包含的数据的类型，根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中。2.根据权利要求1所述的数据流处理方法，其特征在于，所述第一DPU确定所述数据报文中包含的数据的类型，包括：所述第一DPU对所述数据报文进行数据指纹计算，得到所述数据报文的数据指纹；根据所述数据指纹确定所述数据报文中包含的数据的类型。3.根据权利要求1所述的数据流处理方法，其特征在于，所述第一DPU将所述数据报文存储在存储器中，包括：所述第一DPU通过高速互联总线将所述数据报文存储在存储器中。4.根据权利要求3所述的数据流处理方法，其特征在于，所述第二DPU从所述存储器中获取数据报文，对获取到的...

【专利技术属性】
技术研发人员：张雪庆，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：