一种数据处理方法技术

本发明专利技术涉及计算机技术领域，具体公开了一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置、设备、存储介质及分布式集群


[0001]本专利技术涉及计算机
，特别是涉及一种数据处理方法
、
装置
、
设备
、
存储介质及分布式集群
。

技术介绍

[0002]随着人工智能的发展，大规模计算场景不断增加，对设备的计算能力要求越来越高
。
因此，在主机设备上安装加速器作为中央处理器（
Central Processing Unit
，简称
CPU
）的协处理器的方案成为广泛使用的技术
。
例如具有强大计算能力的图形处理器（
Graphics Processing Unit
，简称
GPU
）可以同时处理多个数据集，可以显著提高设备的计算效率
。
[0003]然而，目前这种利用协处理器加强主机的计算能力的方案，无论是发送方设备的将待处理数据写入本地，还是将计算任务的计算结果反馈给计算任务的发送方设备，均需要经过主机内存进行导入或导出，即协处理器为主机设备进行计算加速的方案增加了数据传输路径，成为这种协处理器加速方案现今的瓶颈
。
[0004]如何进一步提高主机利用协处理器加速的方案的计算效率，是本领域技术人员需要解决的技术问题
。

技术实现思路

[0005]本专利技术的目的是提供一种数据处理方法
、
装置
、
设备
、
存储介质及分布式集群，用于提高主机利用协处理器加速的方案的计算效率
。
[0006]为解决上述技术问题，本专利技术提供一种数据处理方法，应用于主机控制器，包括：当接收到计算任务时，基于计算机快速互联协议将所在主机安装的第一加速器的共享内存的控制权切换至所述计算任务的发送方设备，以使所述发送方设备基于远程直接数据存取协议向所述共享内存写入所述计算任务的待处理数据；基于计算机快速互联协议将所述共享内存的控制权切换至所述主机安装的第二加速器，以使所述第二加速器自所述共享内存读取所述待处理数据以执行所述计算任务，并将计算结果写入所述共享内存；当所述第二加速器完成所述计算任务时，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备以使所述发送方设备基于远程直接数据存取协议自所述共享内存读取所述计算结果，或基于计算机快速互联协议将所述共享内存的控制权切换至所述主机控制器以使所述主机控制器自所述共享内存读取所述计算结果
。
[0007]在一些实施中，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备，包括：基于计算机快速互联协议使能所述第一加速器的远程直接数据存取通道，以基于所述远程直接数据存取通道连通所述发送方设备至所述共享内存；基于计算机快速互联协议将所述共享内存的控制权切换至所述第二加速器，包括：
基于计算机快速互联协议使能所述第一加速器对所述第二加速器的通道，以基于对所述第二加速器的通道连通所述第二加速器至所述共享内存；基于计算机快速互联协议将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议使能所述第一加速器对所述主机控制器的通道，以基于对所述主机控制器的通道连通所述主机控制器至所述共享内存
。
[0008]在另一些实施中，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备，包括：使能所述主机的远程直接数据存取模块，并基于计算机快速互联协议控制所述第一加速器将所述共享内存连通所述远程直接数据存取模块，以基于所述远程直接数据存取模块连通所述发送方设备至所述共享内存
。
[0009]在一些实施中，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述发送方设备；基于计算机快速互联协议将所述共享内存的控制权切换至所述第二加速器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述第二加速器；基于计算机快速互联协议将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述主机控制器
。
[0010]在一些实施中，所述基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述发送方设备，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为开启对应所述发送方设备的第一数据输入输出通道，并关闭对应所述第二加速器的第二数据输入输出通道以及对应所述主机控制器的第三数据输入输出通道；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述第二加速器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为开启对应所述第二加速器的所述第二数据输入输出通道，并关闭对应所述发送方设备的所述第一数据输入输出通道以及对应所述主机控制器的所述第三数据输入输出通道；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为开启对应所述主机控制器的所述第三数据输入输出通道，并关闭对应所述发送方设备的所述第一数据输入输出通道以及对应所述第二加速器的所述第二数据输入输
出通道
。
[0011]在另一些实施中，所述基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述发送方设备，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述第一加速器中的三选一通道切换开关切换为所述发送方设备与所述共享内存导通；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述第二加速器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述第一加速器中的所述三选一通道切换开关切换为所述第二加速器与所述共享内存导通；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述第一加速器中的所述三选一通道切换开关切换为所述主机控制器与所述共享内存导通
。
[0012]在一些实施中，所述共享内存设有命令缓存区，以使所述发送方设备
、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，应用于主机控制器，包括：当接收到计算任务时，基于计算机快速互联协议将所在主机安装的第一加速器的共享内存的控制权切换至所述计算任务的发送方设备，以使所述发送方设备基于远程直接数据存取协议向所述共享内存写入所述计算任务的待处理数据；基于计算机快速互联协议将所述共享内存的控制权切换至所述主机安装的第二加速器，以使所述第二加速器自所述共享内存读取所述待处理数据以执行所述计算任务，并将计算结果写入所述共享内存；当所述第二加速器完成所述计算任务时，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备以使所述发送方设备基于远程直接数据存取协议自所述共享内存读取所述计算结果，或基于计算机快速互联协议将所述共享内存的控制权切换至所述主机控制器以使所述主机控制器自所述共享内存读取所述计算结果
。2.
根据权利要求1所述的数据处理方法，其特征在于，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备，包括：基于计算机快速互联协议使能所述第一加速器的远程直接数据存取通道，以基于所述远程直接数据存取通道连通所述发送方设备至所述共享内存；基于计算机快速互联协议将所述共享内存的控制权切换至所述第二加速器，包括：基于计算机快速互联协议使能所述第一加速器对所述第二加速器的通道，以基于对所述第二加速器的通道连通所述第二加速器至所述共享内存；基于计算机快速互联协议将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议使能所述第一加速器对所述主机控制器的通道，以基于对所述主机控制器的通道连通所述主机控制器至所述共享内存
。3.
根据权利要求1所述的数据处理方法，其特征在于，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备，包括：使能所述主机的远程直接数据存取模块，并基于计算机快速互联协议控制所述第一加速器将所述共享内存连通所述远程直接数据存取模块，以基于所述远程直接数据存取模块连通所述发送方设备至所述共享内存
。4.
根据权利要求1所述的数据处理方法，其特征在于，基于计算机快速互联协议将所述共享内存的控制权切换至所述发送方设备，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述发送方设备；基于计算机快速互联协议将所述共享内存的控制权切换至所述第二加速器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述第二加速器；基于计算机快速互联协议将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述主机控制器
。5.
根据权利要求4所述的数据处理方法，其特征在于，所述基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述发送方设备，包括：
基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为开启对应所述发送方设备的第一数据输入输出通道，并关闭对应所述第二加速器的第二数据输入输出通道以及对应所述主机控制器的第三数据输入输出通道；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述第二加速器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为开启对应所述第二加速器的所述第二数据输入输出通道，并关闭对应所述发送方设备的所述第一数据输入输出通道以及对应所述主机控制器的所述第三数据输入输出通道；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为开启对应所述主机控制器的所述第三数据输入输出通道，并关闭对应所述发送方设备的所述第一数据输入输出通道以及对应所述第二加速器的所述第二数据输入输出通道
。6.
根据权利要求4所述的数据处理方法，其特征在于，所述基于计算机快速互联协议将所述第一加速器中所述共享内存的通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述发送方设备，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述第一加速器中的三选一通道切换开关切换为所述发送方设备与所述共享内存导通；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述第二加速器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述第一加速器中的所述三选一通道切换开关切换为所述第二加速器与所述共享内存导通；所述基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述共享内存的控制权切换至所述主机控制器，包括：基于计算机快速互联协议将所述第一加速器中所述共享内存的所述通道选择寄存器的参数配置为将所述第一加速器中的所述三选一通道切换开关切换为所述主机控制器与所述共享内存导通
。7.
根据权利要求1所述的数据处理方法，其特征在于，所述共享内存设有命令缓存区，以使所述发送方设备
、
所述主机控制器和所述第二加速器在不具有所述共享内存的控制权时将对所述共享内存的读写命令写入所述命令缓存区
。8.
根据权利要求7所述的数据处理方法，其特征在于，所述命令缓存区包括与所述发送方设备对应的第一命令缓存区
、
与所述第二加速器对应的第二命令缓存区以及与所述主机控制器对应的第三命令缓存区；所述发送方设备
、
所述主机控制器和所述第二加速器在不具有所述共享内存的控制权时将对所述共享内存的读写命令写入所述命令缓存区，包括：
所述发送方设备
、
所述主机控制器和所述第二加速器在不具有所述共享内存的控制权时将对所述共享内存的读写命令写入对应的所述命令缓存区，若对应的所述命令缓存区已写满，则将读写命令覆盖写入对应的所述命令缓存区中写入时间最早的读写命令
。9.
根据权利要求8所述的数据处理方法，其特征在于，还包括：根据所述主机的操作环境配置所述第一命令缓存区的大小
、
所述第二命令缓存区的大小以及所述第三命令缓存区的大小
。10.
根据权利要求7所述的数据处理方法，其特征在于，所述发送方设备
、
所述主机控制器和所述第二加速器在取得对所述共享内存的控制权后，检查所述命令缓存区，若所述命令缓存区存储有本地发送的未执行的读写命令，则在执行完未执行的读写命令后再执行新的读写命令
。11.
根据权利要求1所述的数据处理方法，其特征在于，所述发送方设备
、
所述主机控制器和所述第二加速器在不具有所述共享内存的控制权时，将对所述共享内存的读写命令写入本地的命令缓存区
。12.
根据权利要求1所述的数据处理方法，其特征在于，所述第二加速器自所述共享内存读取所述待处理数据以执行所述计算任务，并将计算结果写入所述共享内存，包括：所述第二加速器自所述共享内存将所述待处理数据读取至本地缓存，将所述待处理数据输入预先部署的内核模型，得到所述计算结果，将所述计算结果写入所述共享内存；其中，所述内核模型为所述主机控制器基于计算机快速互联协议将所述共享内存的控制权切换至所述主机控制器后，所述主机控制器向所述共享内存写入的
。13.
根据权利要求1所述的数据处理方法，其特征在于，所述当...

【专利技术属性】
技术研发人员：王彦伟，李仁刚，阚宏伟，樊嘉恒，黄宬，刘钧锴，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：