数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本公开涉及数据处理方法、装置、计算机设备和存储介质，可以对神经网络进行训练，在训练的过程中，对输入数据、输出数据、权值、权值梯度进行与量化相关的处理时，利用参数服务器实现了权值的更新、权值量化参数的计算、对权值进行量化、量化后权值分别进行数据布局，而后将权值量化参数、所述前向量化后权值和所述反向量化后权值广播至所述多个工作节点，利用工作节点实现其他处理过程，对参数服务器和工作节点所进行的处理进行了合理的划分，减少了处理过程中装置进行权值量化、数据布局的计算次数，减少了计算开销、传输带宽、访存量、通讯量，降低了装置的能耗。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
本公开涉及计算机
，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，神经网络neuralnetwork，NN)的应用越来越广泛，其被应用于图像处理、视频处理、语音识别等数据处理中。神经网络通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。它是一种应用较为广泛的识别分类模型，多用于函数逼近、模型识别分类、数据压缩和时间序列预测等。神经网络被应用到图像识别、语音识别、自然语言处理等领域中，然而，随着神经网络复杂度提高，数据的数据量和数据维度都在不断增大，不断增大的数据量等对运算装置的数据处理效率、存储装置的存储容量及访存效率等提出了较大的挑战。相关技术中，采用固定位宽对神经网络的运算数据进行量化，即将浮点型的运算数据转换为定点型的运算数据，以实现神经网络的运算数据的压缩，但相关技术中进行量化所占用的计算开销、传输带宽大、访存量高、通讯量大、浪费装置的能耗。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够解决上述技术问题数据处理方法、装置、计算机设备和存储介质。根据本公开的一方面，提供了一种数据处理装置，用于对神经网络进行训练，所述神经网络包括多个神经网络层，所述装置包括参数服务器和多个工作节点，其中，所述参数服务器用于接收每个工作节点发送的对应当前神经网络层的权值梯度，并根据多个权值梯度和权值更新算子对所述当前神经网络层的权值进行更新，得到更新后权值；根据权值参数算子和所述更新后权值进行量化参数计算，得到对应的权值量化参数；根据确定的权值量化参数和权值量化算子对所述更新后权值进行量化处理，得到量化后权值；利用前向布局算子和反向布局算子对所述量化后权值分别进行数据布局处理，得到前向量化后权值和反向量化后权值；将所述权值量化参数、所述前向量化后权值和所述反向量化后权值，广播至所述多个工作节点，以使目标工作节点能够根据接收到的数据进行对应的数据处理操作，所述目标工作节点为所述多个工作节点中的任意一个。根据本公开的另一方面，提供了一种数据处理方法，用于对神经网络进行训练的数据处理装置，所述神经网络包括多个神经网络层，所述数据处理装置包括参数服务器和多个工作节点，所述方法包括：控制所述参数服务器接收每个工作节点发送的对应当前神经网络层的权值梯度，并根据多个权值梯度和权值更新算子对所述当前神经网络层的权值进行更新，得到更新后权值；控制所述参数服务器根据权值参数算子和所述更新后权值进行量化参数计算，得到对应的权值量化参数；控制所述参数服务器根据确定的权值量化参数和权值量化算子对所述更新后权值进行量化处理，得到量化后权值；控制所述参数服务器利用前向布局算子和反向布局算子对所述量化后权值分别进行数据布局处理，得到前向量化后权值和反向量化后权值；控制所述参数服务器将所述权值量化参数、所述前向量化后权值和所述反向量化后权值，广播至所述多个工作节点，以使目标工作节点能够根据接收到的数据进行对应的数据处理操作，所述目标工作节点为所述多个工作节点中的任意一个。根据本公开的另一方面，提供了一种人工智能芯片，所述芯片包括上述数据处理装置。根据本公开的另一方面，提供了一种电子设备，所述电子设备包括上述人工智能芯片。根据本公开的另一方面，提供了一种板卡，所述板卡包括：存储器件、接口装置和控制器件以及上述人工智能芯片；其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；所述存储器件，用于存储数据；所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；所述控制器件，用于对所述人工智能芯片的状态进行监控，其中，所述存储器件包括：多组存储单元，每一组所述存储单元与所述人工智能芯片通过总线连接，所述存储单元为：DDRSDRAM；所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；所述接口装置为：标准PCIE接口。根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述数据处理方法。根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述数据处理方法。本公开所提供的数据处理方法、装置、计算机设备和存储介质，可以对神经网络进行训练，在训练的过程中，对输入数据、输出数据、权值、权值梯度进行与量化相关的处理时，利用参数服务器实现了权值的更新、权值量化参数的计算、对权值进行量化、量化后权值分别进行数据布局，而后将权值量化参数、所述前向量化后权值和所述反向量化后权值广播至所述多个工作节点，利用工作节点实现其他处理过程，对参数服务器和工作节点所进行的处理进行了合理的划分，减少了处理过程中装置进行权值量化、数据布局的计算次数，减少了计算开销、传输带宽、访存量、通讯量，降低了装置的能耗。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开实施例的数据处理装置中所利用的处理器的示意图。图2示出根据本公开一实施例的数据处理装置的框图。图3、图4示出根据本公开一实施例的数据处理装置的工作原理示意图。图5示出根据本公开一实施例的数据处理方法的流程图。图6示出根据本公开实施例的板卡的结构框图。图7示出根据本公开实施例的一种电子设备800的框图。图8示出根据本公开实施例的一种电子设备1900的框图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。应当理解，本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和权利要本文档来自技高网...

【技术保护点】
1.一种数据处理装置，其特征在于，用于对神经网络进行训练，所述神经网络包括多个神经网络层，所述装置包括参数服务器和多个工作节点，其中，所述参数服务器用于/n接收每个工作节点发送的对应当前神经网络层的权值梯度，并根据多个权值梯度和权值更新算子对所述当前神经网络层的权值进行更新，得到更新后权值；/n根据权值参数算子和所述更新后权值进行量化参数计算，得到对应的权值量化参数；/n根据确定的权值量化参数和权值量化算子对所述更新后权值进行量化处理，得到量化后权值；/n利用前向布局算子和反向布局算子对所述量化后权值分别进行数据布局处理，得到前向量化后权值和反向量化后权值；/n将所述权值量化参数、所述前向量化后权值和所述反向量化后权值，广播至所述多个工作节点，以使目标工作节点能够根据接收到的数据进行对应的数据处理操作，所述目标工作节点为所述多个工作节点中的任意一个。/n

【技术特征摘要】
1.一种数据处理装置，其特征在于，用于对神经网络进行训练，所述神经网络包括多个神经网络层，所述装置包括参数服务器和多个工作节点，其中，所述参数服务器用于
接收每个工作节点发送的对应当前神经网络层的权值梯度，并根据多个权值梯度和权值更新算子对所述当前神经网络层的权值进行更新，得到更新后权值；
根据权值参数算子和所述更新后权值进行量化参数计算，得到对应的权值量化参数；
根据确定的权值量化参数和权值量化算子对所述更新后权值进行量化处理，得到量化后权值；
利用前向布局算子和反向布局算子对所述量化后权值分别进行数据布局处理，得到前向量化后权值和反向量化后权值；
将所述权值量化参数、所述前向量化后权值和所述反向量化后权值，广播至所述多个工作节点，以使目标工作节点能够根据接收到的数据进行对应的数据处理操作，所述目标工作节点为所述多个工作节点中的任意一个。


2.根据权利要求1所述的装置，其特征在于，
所述目标工作节点，用于根据接收到的所述权值量化参数、所述前向量化后权值、量化后输入数据、输入数据量化参数和前向卷积网络算子进行卷积前向运算，得到对应所述当前神经网络层的输出数据。


3.根据权利要求2所述的装置，其特征在于，
所述目标工作节点，还用于在所述当前神经网络层为所述神经网络的最后一层时，根据预设的目标输出数据确定所述输出数据的误差，以使所述装置根据所述误差判断是否满足训练结束条件。


4.根据权利要求1所述的装置，其特征在于，
所述目标工作节点，用于根据输入数据和输入数据参数算子进行量化参数计算，得到输入数据量化参数；
根据确定的输入数据量化参数和输入数据量化算子对输入数据进行量化处理，得到量化后输入数据。


5.根据权利要求2所述的装置，其特征在于，
所述目标工作节点，用于对所述输出数据进行误差运算，得到所述输出数据的输出数据梯度。


6.根据权利要求5所述的装置，其特征在于，
所述目标工作节点，还用于根据所述输出数据梯度和输出数据梯度参数算子进行量化参数计算，得到输出数据梯度量化参数；
根据确定的输出数据梯度量化参数和输出数据梯度量化算子对所述输出数据梯度进行量化处理，得到量化后输出数据梯度。


7.根据权利要求6所述的装置，其特征在于，
所述目标工作节点，还用于根据所述量化后输出数据梯度、所述输出数据梯度量化参数、所述量化后输入数据、所述输入数据量化参数和权值梯度算子进行权值梯度运算，得到对应所述当前神经网络层的新的权值梯度，并将所述新的权值梯度发送至所述参数服务器。


8.根据权利要求6所述的装置，其特征在于，
所述目标工作节点，还用于根据所述量化后输出数据梯度、所述输出数据量化参数、所述反向量化后权...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：北京;11