加速装置、数据处理系统以及加速装置的操作方法制造方法及图纸

本公开涉及一种加速装置，该加速装置包括加速器。加速器通过使用基于批次大小和序列大小中的至少一个来选择的计算方法并且通过根据所选择的计算方法控制第一输入数据和第二输入数据到处理元件阵列的输入路径来处理计算。该计算方法包括第一计算方法和第二计算方法，并且根据第一计算方法基于批次大小将第一输入数据和第二输入数据输入到处理元件阵列中，并且根据第二计算方法基于序列大小将第一输入数据输入到处理元件阵列中。输入数据输入到处理元件阵列中。输入数据输入到处理元件阵列中。

【技术实现步骤摘要】
加速装置、数据处理系统以及加速装置的操作方法
[0001]相关申请的交叉引用
[0002]本专利文件要求于2020年8月27日提交的、申请号为10
‑
2020
‑
0108437的韩国申请的优先权和权益，其通过引用整体并入本文作为本专利文件公开的一部分。


[0003]本专利文件中公开的技术和实施方案总体涉及一种半导体装置。

技术介绍

[0004]人工智能(AI)加速器是一种被设计成对诸如人工神经网络的人工智能应用进行加速的硬件加速器或计算机系统。AI加速器可以加快与诸如多层感知器(MLP)、长短期记忆(LSTM)、卷积神经网络(CNN)的人工智能应用相关联的进程，同时减少主机资源的负担。
[0005]长短期记忆(LSTM)是一种在深度学习领域中使用的人工循环神经网络架构，并且可以通过在加速器中计算基于序列信息的输入数据以及当前单元的输出值来执行与LSTM操作相关联的计算。
[0006]由于上述计算的速度提高直接与加速器的性能有关，因此正在讨论包括加快加速器内的进程的新方式的各种技术。

技术实现思路

[0007]本专利文件中公开的技术可以在各个实施例中实施，以提供一种具有提高的计算输入数据的能力的加速装置、数据存储装置、数据处理系统以及加速装置的操作方法。
[0008]在实施例中，一种加速装置可以包括：加速器，与人工神经网络的处理元件阵列通信，并且被配置成通过使用基于批次大小和序列大小中的至少一个而选择的计算方法并且通过根据所选择的计算方法控制第一输入数据和第二输入数据到处理元件阵列的输入路径来执行计算，批次大小对应于处理元件阵列同时可处理的数据的大小，序列大小对应于被顺序输入到处理元件阵列的数据的长度，其中该计算方法包括第一计算方法和第二计算方法，并且根据第一计算方法基于批次大小将第一输入数据和第二输入数据输入到处理元件阵列中，并且根据第二计算方法基于序列大小将第一输入数据输入到处理元件阵列中。
[0009]在实施例中，一种数据存储装置可以包括：处理元件阵列，被配置成执行与输入数据相关联的计算；以及加速器，与处理元件阵列通信，并且被配置成通过使用基于批次大小和序列大小中的至少一个而选择的计算方法并且通过根据所选择的计算方法控制第一输入数据和第二输入数据到处理元件阵列的输入路径来执行计算，批次大小对应于处理元件阵列同时可处理的数据的大小，序列大小对应于被顺序输入到处理元件阵列的数据的长度，其中该计算方法包括第一计算方法和第二计算方法，并且根据第一计算方法基于批次大小将第一输入数据和第二输入数据输入到处理元件阵列中，并且根据第二计算方法基于序列大小将第一输入数据输入到处理元件阵列中。
[0010]在实施例中，一种数据处理系统可以包括主机装置和数据存储装置。主机装置可
以基于批次大小与批次参考值之间的比较、序列大小与序列参考值之间的比较或这些比较的组合中的至少一个，确定计算方法以及将第一输入数据和第二输入数据输入到处理元件阵列的方法；并且数据存储装置被配置成根据所确定的计算方法来控制第一输入数据和第二输入数据到处理元件阵列的输入路径，其中该计算方法包括第一计算方法和第二计算方法，并且根据第一计算方法基于批次大小将第一输入数据和第二输入数据输入到处理元件阵列中，并且根据第二计算方法基于序列大小将第一输入数据输入到处理元件阵列中。
[0011]在实施例中，一种加速装置的操作方法可以包括：接收与同时可处理的数据的大小相对应的批次大小以及与被顺序输入的数据的长度相对应的序列大小；基于批次大小与批次参考值之间的比较、序列大小与序列参考值之间的比较或这些比较的组合中的至少一个，在第一计算方法与第二计算方法之间选择一个作为计算方法并且选择将第一输入数据和第二输入数据输入到处理元件阵列的方法；在确定计算方法是第一计算方法时，将与批次大小相对应的第一输入数据或第二输入数据沿第一方向输入到处理元件阵列；在确定计算方法是第二计算方法时，将与序列大小相对应的第一输入数据沿第一方向输入到处理元件阵列；并且通过利用第一输入数据、第二输入数据以及分别用于第一输入数据和第二输入数据的权重值执行计算处理，然后获得当前单元的状态值和当前单元的输出值。
[0012]在实施例中，一种加速装置可以包括：处理元件阵列，包括多个处理元件，并且被配置成输出第一计算结果值、第二计算结果值和第三计算结果值，第一计算结果值是对第一输入数据和与第一输入数据的权重值相对应的第三输入数据进行计算的结果，并且第二计算结果值是对第二输入数据和与第二输入数据的权重值相对应的第四输入数据进行计算的结果；IO缓冲块，被配置成将第一输入数据和第二输入数据沿第一方向提供到处理元件阵列；权重缓冲块，被配置成将第三输入数据和第四输入数据沿第二方向提供到处理元件阵列；以及处理元件控制器，被配置成基于批次大小与批次参考值之间的比较、序列大小与序列参考值之间的比较或这些比较的组合中的至少一个，在第一计算方法与第二计算方法之间选择一个作为计算方法并且选择将第一输入数据和第二输入数据输入到处理元件阵列的方法，其中根据第一计算方法基于批次大小将第一输入数据和第二输入数据输入到处理元件阵列中，并且根据第二计算方法基于序列大小将第一输入数据输入到处理元件阵列中。
[0013]在所公开技术的一些实施方案中，可以基于待输入的数据的批次大小和序列大小来确定计算方法，并且根据所确定的计算方法，可以调整数据输入并且可以处理计算。因此，所期望的可以是可以提高对输入数据的计算效率的效果。
[0014]在所公开技术的一些实施方案中，可以参考序列并行处理数据输入。因此，所期望的可以是可以提高对数据的计算速度的效果。
附图说明
[0015]图1是示出基于所公开技术的一些实施方案的外部服务器以及与外部服务器通信的数据处理系统的示例的示图。
[0016]图2是示出基于所公开技术的一些实施方案的数据处理系统的示例的示图。
[0017]图3是示出基于所公开技术的一些实施方案的计算方法的示图。
[0018]图4是示出基于所公开技术的一些实施方案的加速装置的示例的示图。
[0019]图5是示出基于所公开技术的一些实施方案的第一计算方法的示例的示图。
[0020]图6和图7是示出基于所公开技术的一些实施方案的第二计算方法的示例的示图。
[0021]图8是示出基于所公开技术的一些实施方案的门缓冲块的示例的示图。
[0022]图9示出基于所公开技术的一些实施方案的门缓冲块的示例操作。
[0023]图10示出基于所公开技术的一些实施方案的门缓冲块的示例操作。
[0024]图11是示出基于所公开技术的一些实施方案的门缓冲块的示例操作的示图。
[0025]图12是示出基于所公开技术的一些实施方案的数据处理系统的示例的示图。
[0026]图13是示出基于所公开技术的一些实施方案的加速装置的示例操作的流程图。
[0027]图14是详细示出图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种加速装置，包括：加速器，与人工神经网络的处理元件阵列通信，并且通过使用基于批次大小和序列大小中的至少一个选择的计算方法并通过根据所选择的计算方法控制第一输入数据和第二输入数据到所述处理元件阵列的输入路径来执行计算，所述批次大小对应于所述处理元件阵列同时能够处理的数据的大小，所述序列大小对应于被顺序输入到所述处理元件阵列的数据的长度，其中所述计算方法包括第一计算方法和第二计算方法，并且根据所述第一计算方法基于所述批次大小将所述第一输入数据和所述第二输入数据输入到所述处理元件阵列中，并且根据所述第二计算方法基于所述序列大小将所述第一输入数据输入到所述处理元件阵列中。2.根据权利要求1所述的加速装置，其中所述加速器包括：所述处理元件阵列，包括多个处理元件，并且输出第一计算结果值、第二计算结果值和第三计算结果值，所述第一计算结果值是对所述第一输入数据和与所述第一输入数据的权重值相对应的第三输入数据进行计算的结果，并且所述第二计算结果值是对所述第二输入数据和与所述第二输入数据的权重值相对应的第四输入数据进行计算的结果；IO缓冲块，将所述第一输入数据和所述第二输入数据沿第一方向提供到所述处理元件阵列；权重缓冲块，将所述第三输入数据和所述第四输入数据沿第二方向提供到所述处理元件阵列；以及处理元件控制器，基于所述批次大小与批次参考值之间的比较、所述序列大小与序列参考值之间的比较或这些比较的组合中的至少一个，在所述第一计算方法与所述第二计算方法之间选择一个作为所述计算方法，并且选择将所述第一输入数据和所述第二输入数据输入到所述处理元件阵列的方法。3.根据权利要求2所述的加速装置，其中，在确定所述计算方法是所述第一计算方法时，所述处理元件控制器控制与所述批次大小相对应的所述第一输入数据或所述第二输入数据沿所述第一方向输入到所述处理元件阵列，并且其中，在确定所述计算方法是所述第二计算方法时，所述处理元件控制器控制与所述序列大小相对应的所述第一输入数据沿所述第一方向输入到所述处理元件阵列。4.根据权利要求2所述的加速装置，其中所述加速器进一步包括门缓冲块，对从所述处理元件阵列提供的所述第一计算结果值、所述第二计算结果值和所述第三计算结果值执行加法处理，并且存储相关的数据。5.根据权利要求4所述的加速装置，其中所述门缓冲块包括：多工器，选择包括所述第一计算结果值、所述第二计算结果值和所述第三计算结果值的数据输入；门控制器，控制所述数据输入；门缓冲器，存储从所述处理元件阵列提供的所述第一计算结果值、所述第二计算结果值或第三计算结果值以及对所述第一计算结果值、所述第二计算结果值和所述第三计算结果值进行加法处理的结果中的至少一个；加法器，对所述第一计算结果值、所述第二计算结果值和所述第三计算结果值执行加
法处理；以及门缓冲控制器，控制所述门缓冲块的全部操作。6.根据权利要求5所述的加速装置，其中所述多工器包括：第一多工器，将从所述处理元件阵列提供的所述第一计算结果值、所述第二计算结果值和所述第三计算结果值之中的至少一个或多个选择性地输入到所述加法器；以及第二多工器，将零或从所述门缓冲器反馈回的数据选择性地输入到所述加法器。7.根据权利要求5所述的加速装置，其中所述门缓冲块包括至少一个组，每个组包括所述多工器、所述门控制器、所述加法器和所述门缓冲器，并且其中所述至少一个组的数量与所述处理元件阵列内沿所述第二方向的所述处理元件的数量相对应。8.根据权利要求5所述的加速装置，其中所述门缓冲控制器根据相应序列将通过所述多工器提供的所述第一计算结果值和所述第二计算结果值分开存储在所述门缓冲器中。9.根据权利要求4所述的加速装置，其中所述加速器进一步包括：激励函数单元，对通过执行所述计算而获得的并且从所述门缓冲块提供的数据执行激励函数处理；以及特定函数单元，对通过执行所述激励函数处理而获得的数据执行除所述激励函数处理之外的特定计算，以获得当前单元的状态值和所述当前单元的输出值。10.根据权利要求9所述的加速装置，其中所述加速器进一步包括：状态缓冲块，存储从所述激励函数单元提供的所述当前单元的状态值和所述当前单元的输出值，并且提供所述当前单元的状态值和所述当前单元的输出值；以及数据传送单元，联接到所述IO缓冲块和所述状态缓冲块中的每一个，并且将从主机装置提供的数据传送到所述IO缓冲块，或者将从所述状态缓冲块提供的数据传送到所述主机装置。11.一种数据处理系统，包括：主机装置，基于批次大小与批次参考值之间的比...

【专利技术属性】
技术研发人员：南智勋，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：