数据处理系统及分布式存储系统技术方案

本公开涉及一种数据处理系统和分布式存储系统。数据处理系统可以作为分布式存储系统的节点。数据处理系统可以包括第一CPU、关联到第一CPU的第一内存和网络适配器。第一内存的第一内存空间映射为逻辑对应于网络适配器的第一映射内存空间，以实现网络适配器与第一内存间的数据传输。数据存储系统还可以包括第二CPU、关联到第二CPU的第二内存和第二数据存储器以及关联到第一CPU的第一数据存储器。从第一内存空间到第二内存，再到第二数据存储器，间接实现网络适配器与第二数据存储器之间的数据传输。网络适配器以P2P直传方式实现与第一数据存储器之间的数据传输。由此，通过对不同类型数据执行不同处理，避免不同类型数据的传输任务之间的流量阻塞问题。传输任务之间的流量阻塞问题。传输任务之间的流量阻塞问题。

【技术实现步骤摘要】
数据处理系统及分布式存储系统


[0001]本公开涉及一种数据处理技术，特别涉及可用作分布式存储系统的存储节点的数据处理系统。

技术介绍

[0002]在数据处理系统例如分布式存储系统的存储服务器中，需要对来自网络的数据进行不同的处理，有些数据例如要传输到数据存储器如SSD硬盘等中存储，不需要由中央处理单元(CPU)进行计算处理，还有些数据要提供给CPU来进行计算等处理。
[0003]在现有的处理方案中，要传输到数据存储器的数据也要由CPU来读取并控制写入到数据存储器。这样，要传输到数据存储器的数据和要由CPU进行处理的数据都要经过CPU，相应的数据传输任务都混列在从网络适配器(NIC，也可以称为“网卡”)到CPU的任务队列中。CPU基于该任务队列读取数据，并相应进行写入数据存储器的操作或相应计算等处理。
[0004]这样，不需要CPU计算处理的数据和需要CPU计算处理的数据的传输任务相互形成干扰。不需要CPU计算处理的数据必须等待任务队列中排在其前面的需要CPU计算处理的数据的传输任务执行完毕后才能进行传输。同样地，需要CPU计算处理的数据也必须等待任务队列中排在其前面的不需要CPU计算处理的数据的传输任务执行完毕后才能进行传输。
[0005]可见，上述现有方案不能够灵活地，例如根据从网络接收到的不同类型的网络数据各自的流量，来调整数据处理方案，可能形成流量阻塞，可能导致平均延迟增大，带宽降低，从而降低整体性能。
[0006]因此，仍然需要一种数据处理方案，面对需要执行不同处理方案的不同类型数据的传输任务，能够避免两种类型数据的传输任务之间的流量阻塞问题。

技术实现思路

[0007]本公开要解决的一个技术问题是提供一种数据处理系统和分布式存储系统，其能够灵活地处理网络适配器从网络接收到的不同类型的数据传输任务，能够避免两种类型数据的传输任务之间的流量阻塞问题。
[0008]根据本公开的第一个方面，提供了一种数据处理系统，包括：第一中央处理单元；以及第一内存，关联到第一中央处理单元；以及网络适配器，关联到第一中央处理单元，其中，第一内存的第一内存空间被映射为逻辑上对应于网络适配器的第一映射内存空间，网络适配器对第一映射内存空间进行读操作和/或写操作，以实现网络适配器与第一内存之间的数据传输。
[0009]由此，通过为需要从网络适配器传输到内存的数据设置相应的数据传输方式，使其与一般的需要从网络适配器传输到第一中央处理单元以进行计算处理的数据相比，能够以不同的方式传输，从而能够避免这两种类型数据的传输任务之间的流量阻塞问题。
[0010]可选地，该系统还可以包括：第二中央处理单元；以及第二内存，关联到第二中央处理单元，其中，在第一内存空间和第二内存之间进行数据传输，以间接实现网络适配器与
第二内存之间的数据传输。
[0011]由此，对于需要从网络适配器传输到与第二中央处理单元关联的第二内存的数据，可以以不同于需要第一中央处理单元进行计算处理的数据的传输方式进行传输，避免两者之间的流量阻塞等问题。
[0012]可选地，该系统还可以包括：第二数据存储器，关联到第二中央处理单元，其中，在第二中央处理单元的控制下，在第二内存和第二数据存储器之间进行数据传输，以间接实现网络适配器与第二数据存储器之间的数据传输。
[0013]由此，可以以不同于需要第一中央处理单元进行计算处理的数据的传输方式，实现从关联到第一中央处理单元的网络适配器与关联到第二中央处理单元的第二数据存储器之间的数据传输。
[0014]可选地，该系统还可以包括：第一数据存储器，关联到第一中央处理单元，第一数据存储器具有第三内存，第三内存的第三内存空间被映射为逻辑上对应于网络适配器的第三映射内存空间，其中，网络适配器对第三映射内存空间进行读操作和/或写操作，以实现网络适配器与第三内存之间的数据传输，从而实现网络适配器与第一数据存储器之间的数据传输。
[0015]由此，可以以不同于需要第一中央处理单元进行计算处理的数据的传输方式，实现从关联到第一中央处理单元的网络适配器与关联到第一中央处理单元的第一数据存储器之间的数据传输。
[0016]可选地，网络适配器从网络接收到的数据包括要写入第一数据存储器或第二数据存储器的待存储数据和需要第一中央处理单元进行计算处理的待计算数据；并且网络适配器将待存储数据写入第一映射内存空间或第三映射内存空间，并将待计算数据提供给第一中央处理单元。
[0017]由此，网络适配器可以采用不同的方式对需要写入存储器的数据和需要进行计算处理的数据进行传输。
[0018]可选地，维护第一任务队列、第二任务队列、第三任务队列、第四任务队列、第五任务队列中的至少一个，第一任务队列包括从网络适配器到第一中央处理单元进行数据传输的任务；第二任务队列包括从网络适配器到第一映射内存空间进行数据传输的任务；第三任务队列包括从网络适配器到第三映射内存空间进行数据传输的任务；第四任务队列包括从第一内存空间到第二内存进行数据传输的任务；第五任务队列包括从第二内存到第二数据存储器进行数据传输的任务。
[0019]通过对不同的数据传输维护相应的任务队列，可以更加灵活地管理/调控/调度各种数据的传输。
[0020]可选地，网络适配器可以包括：控制器，在控制器的控制下对第一映射内存空间和/或第三映射内存空间进行读操作和/或写操作。
[0021]由此，第一中央处理单元可以将向映射内存空间进行数据传输的管理权限卸载到网络适配器的控制器，由控制器对这些数据的传输进行管理，而不需要由第一中央处理单元来进行管理，减轻第一中央处理单元的负载。
[0022]可选地，网络适配器还可以包括：第四内存，用于对从第一映射内存空间和/或第三映射内存空间进入网络适配器或要从网络适配器输出到第一映射内存空间和/或第三映
射内存空间的数据进行缓存。
[0023]由此，网络适配器可以便利地在自身的内存和映射到自身的映射内存空间之间进行数据搬迁(传输)。
[0024]可选地，网络适配器还可以包括：网络模块，用于通过网络进行数据传输。
[0025]可选地，第一内存通过内存总线连接到第一CPU，第一数据存储器和网络适配器连接到PCIe总线，并通过PCIe总线连接到第一CPU，第二内存通过内存总线连接到第二CPU，第二数据存储器通过PCIe总线连接到第一CPU。
[0026]可选地，所述数据处理系统是分布式存储系统中的一个节点，网络适配器从网络接收到的数据包括初步进入分布式存储系统并需要进行第一阶段处理的第一阶段数据和从其它节点接收的第二阶段数据，第一中央处理单元对第一阶段数据进行第一阶段处理生成第二阶段数据，网络适配器将所生成的第二阶段数据相应传输到分布式存储系统中的其它节点，将从其它节点接收的第二阶段数据和/或本节点生成的部分第二阶段数据写入本节点的数据存储器。
[0027]由此，分布式存储系统中各节点的网络适配器可以以不同的方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，包括：第一中央处理单元；第一内存，关联到第一中央处理单元；以及网络适配器，关联到第一中央处理单元，其中，第一内存的第一内存空间被映射为逻辑上对应于网络适配器的第一映射内存空间，网络适配器对第一映射内存空间进行读操作和/或写操作，以实现网络适配器与第一内存之间的数据传输。2.根据权利要求1所述的系统，还包括：第二中央处理单元；以及第二内存，关联到第二中央处理单元，其中，在第一内存空间和第二内存之间进行数据传输，以间接实现网络适配器与第二内存之间的数据传输。3.根据权利要求2所述的系统，还包括：第二数据存储器，关联到第二中央处理单元，其中，在第二中央处理单元的控制下，在第二内存和第二数据存储器之间进行数据传输，以间接实现网络适配器与第二数据存储器之间的数据传输。4.根据权利要求3所述的系统，还包括：第一数据存储器，关联到第一中央处理单元，第一数据存储器具有第三内存，第三内存的第三内存空间被映射为逻辑上对应于网络适配器的第三映射内存空间，其中，网络适配器对第三映射内存空间进行读操作和/或写操作，以实现网络适配器与第三内存之间的数据传输，从而实现网络适配器与第一数据存储器之间的数据传输。5.根据权利要求4所述的系统，其中，网络适配器从网络接收到的数据包括要写入第一数据存储器或第二数据存储器的待存储数据和需要第一中央处理单元进行计算处理的待计算数据；并且网络适配器将待存储数据写入第一映射内存空间或第三映射内存空间，并将待计算数据提供给第一中央处理单元。6.根据权利要求5所述的系统，其中，维护第一任务队列、第二任务队列、第三任务队列、第四任务队列、第五任务队列中的至少一个，第一任务队列包括从网络适配器到第一中央处理单元进行数据传输的任务；第二任务队列包括从网络适配器到第一映射内存空间进行数据传输的任务；第三任务队列包括从网络适配器到第三映射内存空间进行数据传输的任务；...

【专利技术属性】
技术研发人员：李舒，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：