数据处理系统和数据处理的方法技术方案

本发明专利技术实施例提供了一种数据处理系统和数据处理方法。通过获取数据请求的MMIO地址，该MMIO地址能够直接获取PCIe存储设备中存储的数据，网络适配器根据该MMIO地址，能够直接从所述数据处理系统的PCIe存储设备中读取数据并传送给第二数据处理系统，或将从所述第二数据处理系统接收的数据直接写入所述PCIe存储设备中。使得所述处理系统能够实现在网络通信的两个数据处理系统间传递数据时，数据的传输从PCIe存储设备直接到网络适配器之间传递，不需要经过内存。降低了在两个数据处理系统件传递数据时对内存、CPU等资源的占用率，并提高了数据传输的效率。

Data processing system and data processing method

The embodiment of the invention provides a data processing system and a data processing method. By acquiring the data request MMIO address, the address of the MMIO direct access to the storage of PCIe data in a storage device, according to the MMIO address of the network adapter, can be directly from the data processing system of the PCIe storage device to read and transfer the data to second data processing system, or the data received from the second data processing system directly written into the PCIe storage device. When the processing system is able to transfer data between two data processing systems of network communication, data transmission is transmitted from the PCIe storage device directly to the network adapter without memory. The utilization ratio of memory, CPU and other resources is reduced, and the efficiency of data transmission is improved when the data transmission of the two data processing systems is reduced.

【技术实现步骤摘要】
【国外来华专利技术】数据处理系统和数据处理的方法
本专利技术涉及信息
，尤其涉及一种不同数据处理系统之间数据传输的设备、方法和系统。
技术介绍
在大数据的潮流下，通常会采用多副本的方式来保障数据的可靠性。而采用多副本方式，往往会导致节点间的数据迁移操作非常多。RDMA(RemoteDirectMemoryAccess，远程直接数据存取)技术是一种实现网络上两个节点间数据读取的技术。RDMA通过网络把数据直接传入计算机的内存，将数据从本地节点快速移动到远程节点内存中，而不对操作系统造成任何影响。在网络上传输的RDMA信息包含目标虚拟地址、内存钥匙和数据本身.请求完成既可以完全在用户空间中处理(通过轮询用户级完成排列)，或者在应用一直睡眠到请求完成时的情况下通过内核内存处理。RDMA操作使应用可以从一个远程应用的内存中读数据或向这个内存写数据。目标主机的网络适配器确认内存钥匙，直接将数据写人应用缓存中。RDMA要求传输的数据必须要通过内存才能进行两个相互通信的服务器之间的数据传输。如果不通过内存的话，则无法进行数据传输。导致数据传输的时延和内存占用率较高。
技术实现思路
本专利技术实施例提供一种系统和数据处理方法，以提高在两个数据处理系统之间传输数据时的效率和设备利用率。本专利技术实施例提供了一种数据处理系统，包括中央处理器CPU、内存、快捷外围部件互连标准PCIe控制器、网络适配器和至少一个PCIe存储设备，其特征在于，还包括：管理单元，用于在所述数据处理系统接收数据请求时，根据所述数据请求中携带的第一地址信息，获取请求的数据在所述PCIe存储设备中的第一存储地址，所述第一存储地址是内存映射输入输出MMIO地址；所述网络适配器，根据所述第一存储地址从所述PCIe存储设备直接读取数据传送给第二数据处理系统，或将从所述第二数据处理系统接收的数据直接写入所述PCIe存储设备中，所述第二数据处理系统是与所述数据处理系统通过网络通信的数据处理系统；所述CPU为每个所述PCIe存储设备分配一个唯一标识，所述唯一标识用于标识每个所述PCIe存储设备；所述第一地址信息包括所述PCIe存储设备的唯一标识和逻辑区块地址LBA；其中，所述管理单元包括基地址获取单元和存储地址获取单元：所述基地址获取单元，用于在所述数据处理系统接收到与其通过网络通信的第二数据处理系统的第一数据请求时，根据所述第一数据请求中携带的PCIe存储设备的唯一标识，获取请求的数据的BAR中的基地址；存储地址获取单元，用于根据所述BAR中的基地址以及所述第一数据请求携带的LBA地址，获取请求的数据在所述PCIe存储设备中的第一存储地址。可选的，所述PCIe存储设备包括地址转换单元，用于根据所述第一存储地址获取所述数据请求所请求的数据在所述PCIe存储设备的第二存储地址。可选的，所述第二存储地址是物理地址或逻辑地址,所述物理地址是能够直接读取数据的线性连续地址，所述逻辑地址是对非线性连续的物理地址进行线性排序后的地址。可选的，所述地址转换单元还用于配置第一基地址寄存器BAR，所述第一BAR地址寄存器存储所述第一存储地址与所述第二存储地址之间的对应关系，所述第二存储地址是线性连续的存储地址。可选的，所述地址转换单元还用于配置第二BAR地址寄存器，所述第二BAR地址寄存器存储所述第一存储地址与所述第二存储地址的虚拟地址之间的对应关系，所述第二存储地址是非线性连续的存储地址，所述第二存储地址的虚拟地址是所述第二存储地址经过线性排序后的地址。可选的，所述CPU为每个所述PCIe存储设备分配一个唯一标识，所述唯一标识用于标识每个所述PCIe存储设备。可选的，所述第一地址信息包括所述PCIe存储设备的唯一标识和逻辑区块地址LBA。可选的，所述管理单元还用于建立所述唯一标识与所述PCIe存储设备的BAR中的基地址之间的对应关系。所述唯一标识包括供应商识别码VenderID、设备识别码DeviceID或硬盘序列号中的至少一个；或者所述唯一标识是对VenderID、DeviceID或硬盘序列号中的至少一个进行哈希处理后得到的标识。可选的，所述管理单元包括基地址获取单元和存储地址获取单元：所述基地址获取单元，用于在所述数据处理系统接收到与其通过网络通信的第二数据处理系统的第一数据请求时，根据所述第一数据请求中携带的PCIe存储设备的唯一标识，获取请求的数据的BAR中的基地址；存储地址获取单元，用于根据所述BAR中的基地址以及所述第一数据请求携带的LBA地址，获取请求的数据在所述PCIe存储设备中的第一存储地址，所述第一存储地址是MMIO地址。可选的，所述CPU将获取到的所述第一存储地址注册在所述网络适配器中。可选的，所述数据处理系统还包括发送单元，所述发送单元用于将所述管理单元获取的所述第一存储地址发送给所述第二数据处理系统。可选的，所述PCIe控制器获取所述网络适配器发出的携带所述第一存储地址的数据请求，所述地址转换单元获取第二存储地址的数据，并将获取到的数据返回给所述网络适配器，或将网络适配器发送的数据写入所述第二存储地址。可选的，所述管理单元还包括全局基地址获取单元和全局存储地址获取单元：所述全局基地址获取单元，用于在所述数据处理系统接收到第二数据请求时，根据所述第二数据请求中携带的PCIe存储设备的唯一标识，获取所述第二数据请求所请求的数据的在所述第二数据处理系统的BAR中的基地址，所述第二数据请求是向所述第二数据处理系统发送数据或从所述第二数据处理系统读取数据的请求；所述全局存储地址获取单元，用于根据所述第二数据处理系统的BAR中的基地址以及所述第二数据请求中携带的所述LBA地址，获取所述第二数据请求所请求的数据在所述第二数据处理系统的MMIO地址。可选的，所述第二数据处理系统的PCIe控制器中的数据转换单元，根据所述数据处理系统发送的所述第二数据请求所请求的数据在所述第二数据处理系统的MMIO地址，获取所述第二数据请求所请求的数据在所述第二数据处理系统的物理地址或逻辑地址，所述物理地址是能够直接读取数据的线性连续地址，所述逻辑地址是对非线性连续的物理地址进行线性排序后的地址。本专利技术实施例还提供了一种数据处理方法，所述方法应用于包括中央处理器CPU、内存、快捷外围部件互连标准PCIe控制器、网络适配器和至少一个PCIe存储设备的数据处理系统中，所述方法包括：在所述数据处理系统接收到第一数据请求时，获取所述第一数据请求携带的第一地址信息；根据所述第一地址信息，获取请求的数据在所述PCIe存储设备中的第一存储地址，所述第一存储地址是MMIO地址；所述网络适配器根据所述第一存储地址直接从所述PCIe存储设备读取数据传送给第二数据处理系统，或将从所述第二数据处理系统接收的数据直接写入所述PCIe存储设备中，所述第二数据处理系统是与所述数据处理系统通过网络通信的数据处理系统；所述CPU为每个所述PCIe存储设备分配一个唯一标识，所述唯一标识用于标识每个所述PCIe存储设备；所述第一地址信息包括所述PCIe存储设备的唯一标识和逻辑区块地址LBA；所述获取请求的数据在所述存储设备中的第一存储地址包括：根据所述第一数据请求中携带的PCIe存储设备的唯一标识，获取请求的数据的BAR中的基地址；根据所述本文档来自技高网...

【技术保护点】
一种数据处理系统，包括中央处理器CPU、内存、快捷外围部件互连标准PCIe控制器、网络适配器和至少一个PCIe存储设备，其特征在于，还包括：管理单元，用于在所述数据处理系统接收到数据请求时，根据所述数据请求中携带的第一地址信息，获取请求的数据在所述PCIe存储设备中的第一存储地址，所述第一存储地址是内存映射输入输出MMIO地址；所述网络适配器，根据所述第一存储地址，从所述PCIe存储设备直接读取数据传送给第二数据处理系统，或将从所述第二数据处理系统接收的数据直接写入所述PCIe存储设备中，所述第二数据处理系统是与所述数据处理系统通过网络通信的数据处理系统；所述CPU为每个所述PCIe存储设备分配一个唯一标识，所述唯一标识用于标识每个所述PCIe存储设备；所述第一地址信息包括所述PCIe存储设备的唯一标识和逻辑区块地址LBA；其中，所述管理单元包括基地址获取单元和存储地址获取单元：所述基地址获取单元，用于在所述数据处理系统接收到与其通过网络通信的第二数据处理系统的第一数据请求时，根据所述第一数据请求中携带的PCIe存储设备的唯一标识，获取请求的数据的BAR中的基地址；存储地址获取单元，用于根据所述BAR中的基地址以及所述第一数据请求携带的LBA地址，获取请求的数据在所述PCIe存储设备中的第一存储地址。...

【技术特征摘要】
【国外来华专利技术】1.一种数据处理系统，包括中央处理器CPU、内存、快捷外围部件互连标准PCIe控制器、网络适配器和至少一个PCIe存储设备，其特征在于，还包括：管理单元，用于在所述数据处理系统接收到数据请求时，根据所述数据请求中携带的第一地址信息，获取请求的数据在所述PCIe存储设备中的第一存储地址，所述第一存储地址是内存映射输入输出MMIO地址；所述网络适配器，根据所述第一存储地址，从所述PCIe存储设备直接读取数据传送给第二数据处理系统，或将从所述第二数据处理系统接收的数据直接写入所述PCIe存储设备中，所述第二数据处理系统是与所述数据处理系统通过网络通信的数据处理系统；所述CPU为每个所述PCIe存储设备分配一个唯一标识，所述唯一标识用于标识每个所述PCIe存储设备；所述第一地址信息包括所述PCIe存储设备的唯一标识和逻辑区块地址LBA；其中，所述管理单元包括基地址获取单元和存储地址获取单元：所述基地址获取单元，用于在所述数据处理系统接收到与其通过网络通信的第二数据处理系统的第一数据请求时，根据所述第一数据请求中携带的PCIe存储设备的唯一标识，获取请求的数据的BAR中的基地址；存储地址获取单元，用于根据所述BAR中的基地址以及所述第一数据请求携带的LBA地址，获取请求的数据在所述PCIe存储设备中的第一存储地址。2.根据权利要求1所述的数据处理系统，其特征在于，所述PCIe存储设备包括地址转换单元，用于根据所述第一存储地址获取所述数据请求所请求的数据在所述PCIe存储设备的第二存储地址。3.根据权利要求2所述的数据处理系统，其特征在于，所述第二存储地址是物理地址或逻辑地址,所述物理地址是能够直接读取数据的线性连续地址，所述逻辑地址是对非线性连续的物理地址进行线性排序后的地址。4.根据权利要求2或3所述的数据处理系统，其特征在于，所述地址转换单元还用于配置第一BAR地址寄存器，所述第一BAR地址寄存器存储所述第一存储地址与所述第二存储地址之间的对应关系，所述第二存储地址是线性连续的存储地址。5.根据权利要求2或3所述的任一数据处理系统，其特征在于，所述地址转换单元还用于配置第二BAR地址寄存器，所述第二BAR地址寄存器存储所述第一存储地址与所述第二存储地址的虚拟地址之间的对应关系，所述第二存储地址是非线性连续的存储地址，所述第二存储地址的虚拟地址是所述第二存储地址经过线性排序后的地址。6.根据权利要求1所述的数据处理系统，其特征在于，所述管理单元还用于建立所述唯一标识与所述PCIe存储设备的BAR中的基地址之间的对应关系。7.根据权利要求6所述的数据处理系统，其特征在于：所述唯一标识包括供应商识别码VenderID、设备识别码DeviceID或硬盘序列号中的至少一个；或者所述唯一标识是对VenderID、DeviceID或硬盘序列号中的至少一个进行哈希处理后得到的标识。8.根据权利要求1-3所述的数据处理系统，其特征在于，所述CPU将获取到的所述第一存储地址注册在所述网络适配器中。9.根据权利要求1-3所述的数据处理系统，其特征在于，所述数据处理系统还包括发送单元，所述发送单元用于将所述管理单元获取的所述第一存储地址发送给所述第二数据处理系统。10.根据权利要求2所述的数据处理系统，其特征在于，所述PCIe控制器获取所述网络适配器发出的携带所述第一存储地址的数据请求，所述地址转换单元获取第二存储地址的数据并将获取到的数据返回给所述网络适配器，或将网络适配器发送的数据写入所述第二存储地址。11.根据权利要求1-3所述的任一数据处理系统，其特征在于，所述管理单元还包括全局基地址获取单元和全局存储地址获取单元：所述全局基地址获取单元，用于在所述数据处理系统接收到第二数据请求时，根据所述第二数据请求中携带的PCIe存储设备的唯一标识，获取所述第二数据请求所请求的数据的在所述第二数据处理系统的BAR中的基地址，所述第二数据请求是向所述第二数据处理系统发送数据或从所述第二数据处理系统读取数据的请求；所述全局存储地址获取单元，用于根据所述第二数据处理系统的BAR中的基地址以及所述第二数据请求中携带的LBA地址，获取所述第二数据请求所请求的数据在所述第二数据处理系统的MMIO地址。12.根据权利要求11所述的数据处理系统，其特征在于，所述第二数据处理系统的PCIe控制器中的数据转换单元，根据所述数据处理系统发送的所述第二数据请求所请求的数据在所述第二数据处理系统的MMIO地址，获取所述第二数据请求所请求的数据在所述第二数据处理系统的物理地址或逻辑地址，所述物理地...

【专利技术属性】
技术研发人员：何剑，施广宇，倪小珂，诺伯特·埃吉，李显才，刘毓，刘华伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44