用于深度学习的系统、处理数据的方法及电子设备技术方案

本申请实施例提供了一种用于深度学习的系统、处理数据的方法及电子设备，其中，该系统包括：动态随机存储器，通过数据总线与处理器连接；多个处理器，用于通过数据总线从动态随机存储器中读取输入数据，运行深度学习模型以对输入数据进行分析得到输出结果，其中，每个处理器均设置有RDMA网络接口，各个RDMA网络接口之间均建立有通信连接，以用于在各个处理器之间传输深度学习模型中至少一个隐藏层对输入数据的中间处理结果。通过本申请，达到了降低对数据总线的依赖，避免了多个处理器对数据总线的处理资源的抢占，实现了降低数据总线的负载，提升系统运行速度，加快数据处理效率的技术效果。技术效果。技术效果。

【技术实现步骤摘要】
用于深度学习的系统、处理数据的方法及电子设备


[0001]本申请实施例涉及深度学习领域，具体而言，涉及一种用于深度学习的系统、处理数据的方法及电子设备。

技术介绍

[0002]相关技术中，基于多个处理器运行深度学习模型的应用场景下，在运行过程中，绝大多数数据都需要通过数据总线传输，有时会出现多个处理器同时申请试用数据总线的情况下，此时，数据总线就成了整个系统的瓶颈，例如，比如某个GPU可能需要等待其它3个GPU的数据传递完成后才能开始工作，极大地降低了整个系统的运算速度。

技术实现思路

[0003]本申请实施例提供了一种用于深度学习的系统、处理数据的方法及电子设备，以至少解决相关技术中相关技术中运行深度学习的过程中，处理器对数据总线的依赖程度较高，造成的运行速度较低，运算效率较低的问题。
[0004]根据本申请的一个实施例，提供了一种用于深度学习的系统，包括：动态随机存储器，通过数据总线与处理器连接，以至少用于通过数据总线将输入数据发送给处理器进行处理；多个处理器，用于通过数据总线从动态随机存储器中读取输入数据，运行深度学习模型以对输入数据进行分析得到输出结果，并将输出结果返回至动态随机存储器，其中，每个处理器均设置有远程直接地址访问RDMA网络接口，各个RDMA网络接口之间均建立有通信连接，以用于在各个处理器之间传输深度学习模型中至少一个隐藏层对输入数据的中间处理结果。
[0005]可选地，处理器中的RDMA网络接口通过串联的形式建立起各个处理器之间的通信连接，其中，多个从处理器中至少包括：输入处理器与输出处理器，其中，输入处理器为基于数据总线从动态随机存储器中读取输入数据的处理器，输出处理器为基于数据总线向动态随机存储器中发送输出结果的处理器。
[0006]可选地，处理器中的RDMA网络接口的数量至少为两个，其中，输入处理器与输出处理器中至少存在一个闲置RDMA网络接口，除了闲置RDMA网络接口之外，其他各个RDMA网络接口通过串联的形式建立起各个处理器之间的通信连接。
[0007]可选地，输入处理器中与输出处理器中RDMA网络接口的数量均为一个，除了输入处理器与输出处理器之外，其他处理器均设置有两个RDMA网络接口，且各个RDMA网络接口通过串联的形式建立起各个处理器之间的通信连接。
[0008]可选地，各个处理器分别用于将自身处理得到的隐藏层的结果数据传输至与其串联的下一个处理器，依次类推，直到在输出处理器中得到第n隐藏层的第n结果数据，并将第n结果数据作为输出结果发送至动态随机存储器。
[0009]可选地，输入处理器中用于对输入数据进行分析处理得到第一隐藏层的第一结果数据；其中，第一处理器通过RDMA网络接口接收第一结果数据，并对第一结果数据进行分析
处理得到第二隐藏层的第二结果数据，并将第二结果数据通过RDMA网络接口传输至第二处理器；其中，第二处理器用于对第二结果数据进行分析处理得到第三隐藏层的第三结果数据，依次类推，直到在输出处理器中得到第n隐藏层的第n结果数据，并将第n结果数据作为输出结果发送至动态随机存储器；其中，输入处理器、第一处理器、第二处理器，以及输出处理器通过RDMA网络接口连接依次呈串联关系。
[0010]可选地，RDMA网络接口通过串联以及并联的形式建立起各个处理器之间的通信连接，其中，多个处理器中至少包括：输入处理器与输出处理器，其中，输入处理器为基于数据总线从动态随机存储器中读取输入数据的处理器，输出处理器为基于数据总线向动态随机存储器中发送输出结果的处理器。
[0011]可选地，各个处理器分别用于将自身处理得到隐藏层的结果数据传输与其串联的下一级处理器集合，其中，下一级处理器集合之间的连接关系为并联连接，直到在输出处理器中得到第n隐藏层的第n结果数据，并将第n结果数据作为输出结果发送至动态随机存储器。
[0012]可选地，输入处理器用于对输入数据进行分析处理得到第一隐藏层的第一结果数据，并将第一结果数据分为两部分得到第一数据与第二数据，并通过RDMA网络接口分别将第一数据、第二数据传输至与输入处理器串联的第一处理器，以及第二处理器；其中，第一处理器用于对第一数据进行处理，得到第二隐藏层的第二结果数据，第二处理器用于对第二数据进行处理，得到第二隐藏层的第三结果数据，其中，第一处理器与第二处理器为呈并联关系的处理器；第一处理器，用于将第二结果数据通过RDMA网络接口传输至第三处理器，其中，第三处理器用于对第二结果数据进行分析处理得到第三隐藏层的第四结果数据；第二处理器，用于将第三结果数据通过RDMA网络接口传输至第四处理器，其中，第四处理器用于对第三结果数据进行分析处理得到第三隐藏层的第五结果数据，其中，第三处理器与第四处理器为呈并联关系的处理器；依次类推，直到在输出处理器中得到第n隐藏层的第n结果数据，并将第n结果数据作为输出结果发送至动态随机存储器。
[0013]可选地，处理器配置的RDMA网络接口的目标数量为根据处理器待处理数据动态调整的动态值。
[0014]可选地，处理器还用于根据处理器待处理数据的负载确定目标数量，其中，负载越大，目标数量越多。
[0015]可选地，系统还包括：中央处理器，用于将输入数据写入至动态随机存储器。
[0016]可选地，各个处理器的算力相同，且处理器包括以下至少之一：图形处理器GPU或者现场可编程逻辑门阵列FPGA。
[0017]可选地，动态随机存储器包括：双倍速率同步动态随机存储器DDR。
[0018]可选地，处理器还用于通过数据总线将输出结果返回至动态随机存储器。
[0019]根据本申请实施例还提供了一种处理数据的方法，包括：处理器集合通过数据总线接收来自动态随机存储器的输入数据；运行深度学习模型对输入数据进行分析得到输出结果；将输出结果返回至动态随机存储器；其中，处理器集合中，每个处理器均设置远程直接地址访问RDMA网络接口，各个RDMA网络接口之间均建立有通信连接，以用于在各个处理器之间传输深度学习模型中至少一个隐藏层对输入数据的中间处理结果。
[0020]可选地，处理器上配置的RDMA网络接口的目标数量为根据处理器待处理数据动态
调整的动态值。
[0021]可选地，目标数量通过如下方式确定：获取处理器待处理数据的负载；确定处理器待处理数据的负载确定目标数量，其中，负载越大，目标数量越多。
[0022]可选地，处理器中的RDMA网络接口通过串联的形式建立起各个处理器之间的通信连接，各个处理器分别用于将自身处理得到的隐藏层的结果数据传输至与其串联的下一个处理器，依次类推，直到在输出处理器中得到第n隐藏层的第n结果数据，并将第n结果数据作为输出结果发送至动态随机存储器。
[0023]可选地，RDMA网络接口通过串联以及并联的形式建立起各个处理器之间的通信连接，各个处理器分别用于将自身处理得到隐藏层的结果数据传输与其串联的下一级处理器集合，其中，下一级处理器集合之间的连接关系为并联连接，直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于深度学习的系统，其特征在于，包括：动态随机存储器，通过数据总线与处理器连接，以至少用于通过所述数据总线将输入数据发送给所述处理器进行处理；多个所述处理器，用于通过所述数据总线从所述动态随机存储器中读取所述输入数据，运行深度学习模型以对所述输入数据进行分析得到输出结果，并将所述输出结果返回至所述动态随机存储器，其中，每个所述处理器均设置有远程直接地址访问RDMA网络接口，各个所述RDMA网络接口之间均建立有通信连接，以用于在各个处理器之间传输深度学习模型中至少一个隐藏层对所述输入数据的中间处理结果。2.根据权利要求1所述的系统，其特征在于，所述处理器中的所述RDMA网络接口通过串联的形式建立起所述各个处理器之间的所述通信连接，其中，所述多个处理器中至少包括：输入处理器与输出处理器，其中，所述输入处理器为基于数据总线从所述动态随机存储器中读取所述输入数据的处理器，所述输出处理器为基于数据总线向所述动态随机存储器中发送所述输出结果的处理器。3.根据权利要求2所述的系统，其特征在于，所述处理器中的RDMA网络接口的数量至少为两个，其中，所述输入处理器与所述输出处理器中至少存在一个闲置RDMA网络接口，除了所述闲置RDMA网络接口之外，其他各个所述RDMA网络接口通过串联的形式建立起所述各个处理器之间的所述通信连接。4.根据权利要求2所述的系统，其特征在于，所述输入处理器中与所述输出处理器中RDMA网络接口的数量均为一个，除了所述输入处理器与所述输出处理器之外，其他处理器均设置有两个RDMA网络接口，且各个所述RDMA网络接口通过串联的形式建立起所述各个处理器之间的所述通信连接。5.根据权利要求3或者权利要求4所述的系统，其特征在于，所述各个处理器分别用于将自身处理得到的隐藏层的结果数据传输至与其串联的下一个处理器，依次类推，直到在所述输出处理器中得到第n隐藏层的第n结果数据，并将所述第n结果数据作为输出结果发送至所述动态随机存储器。6.根据权利要求5所述的系统，其特征在于，所述输入处理器中用于对所述输入数据进行分析处理得到第一隐藏层的第一结果数据；其中，第一处理器通过RDMA网络接口接收所述第一结果数据，并对所述第一结果数据进行分析处理得到第二隐藏层的第二结果数据，并将所述第二结果数据通过RDMA网络接口传输至第二处理器；其中，所述第二处理器用于对所述第二结果数据进行分析处理得到第三隐藏层的第三结果数据，依次类推，直到在所述输出处理器中得到第n隐藏层的第n结果数据，并将所述第n结果数据作为输出结果发送至所述动态随机存储器；其中，所述输入处理器、所述第一处理器、所述第二处理器，以及所述输出处理器通过RDMA网络接口连接依次呈串联关系。7.根据权利要求1所述的系统，其特征在于，所述RDMA网络接口通过串联以及并联的形式建立起所述各个处理器之间的所述通信连接，其中，所述多个处理器中至少包括：输入处理器与输出处理器，其中，所述输入处理器为基于数据总线从所述动态随机存储器中读取所述输入数据的处理器，所述输出处理器为基于数据总线向所述动态随机存储器中发送所述输出结果的处理器。8.根据权利要求7所述的系统，其特征在于，所述各个处理器分别用于将自身处理得到
隐藏层的结果数据传输与其串联的下一级处理器集合，其中，所述下一级处理器集合之间的连接关系为并联连接，直到在所述输出处理器中得到第n隐藏层的第n结果数据，并将所述第n结果数据作为输出结果发送至所述动态随机存储器。9.根据权利要求8所述的系统，其特征在于，所述输入处理器用于对所述输入数据进行分析处理得到第一隐藏层的第一结果数据，并将所述第一结果数据分为两部分得到第一数据与第二数据，并通过RDMA网络接口分别将第一数据、第二数据传输至与所述输入处理器串联的第一处理器，以及第二处理器；其中，所述第一处理器用于对所述第一数据进行处理，得到第二隐藏层的第二结果数据，所述第二处理器用于对所述第二数据进行处理，得到第二隐藏层的第三结果数据，其中，所述第一处理器与所述第二处理器为呈并联关系的处理器；所述第一处理器，用于将所述第二结果数据通过RDMA网络接口传输至第三处理器，其中，所述第三处理器用于对所述第二结果数据进行分析处理得到第三隐藏层的第四结果数据；所述第二...

【专利技术属性】
技术研发人员：刘伟，宿栋栋，沈艳梅，阚宏伟，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：