存储器访问制造技术

提供了一种用于管理存储器访问的方法，用于实施卷积神经网络的至少一层。该方法包括基于卷积神经网络的特征来预测与存储器的部分相关的访问过程。响应于该预测，该方法包括在所预测的访问过程之前执行用于获取与存储器的部分相对应的存储器地址转换并将其存储在存储装置中的操作。提供了一种装置，其包括至少一个处理器和存储装置。该设备被配置为预测与处理器外部的存储器的部分相关的访问过程。响应于该预测，该装置被配置为在所预测的访问过程之前获取与存储器的部分相对应的存储器地址转换并将其存储在存储装置中。

【技术实现步骤摘要】
存储器访问
本公开涉及用于管理数据处理的方法和装置。
技术介绍
用于实施卷积神经网络的处理器(例如神经处理单元(NPU)、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)和协处理器)具有板上存储器，通常以静态随机存取存储器(SRAM)的形式。当使用这种处理器实施卷积神经网络时，可能无法将所有数据(例如，包括输入数据、输出数据和与卷积神经网络中涉及的操作相对应的数据)都保持在处理器存储器(memory)上。至少一些数据可以存储在处理器外部的存储器中，这可以包括易失性和非易失性存储器。当执行卷积神经网络时，处理器可以访问外部存储器。处理器可以具有关联的存储装置(storage)(例如高速缓存，也称为转换后备缓冲器)，其存储与存储器中的位置相对应的存储器地址转换。存储器地址转换用于将处理器使用的存储器地址转换为标识存储关联的数据的存储器的部分的存储器地址。使用虚拟存储器可以使分散的物理存储器位置看起来是连续的。它们还可以允许在同一虚拟地址上运行的处理访问存储在物理存储器的不同部分中的数据的不同版本。由于大小限制，存储装置可能无法存储所有存储器地址位置的存储器地址转换。大小限制可能由所需的属性(例如，所需的访问速度、面积或成本)强加。在要访问存储器位置并且关联的存储器地址转换未被存储在存储装置中的情况下，提取存储器地址转换使得可以访问存储器位置。提取可以包括访问辅助的较大的存储装置，例如较大的高速缓存，或者可能涉及访问包括用于较大系统的存储器地址转换的主页表。期望在实施卷积神经网络时提高存储器访问的效率。
技术实现思路
根据本公开的第一方面，提供了一种用于管理存储器访问的方法，该方法用于使用处理器对输入数据实施卷积神经网络的至少一层以生成输出数据，该方法至少包括：基于卷积神经网络的至少一个或多个特征，预测与处理器外部的存储器的部分相关的访问过程；以及响应于该预测，在所预测的访问过程之前，执行用于获取与存储器的部分相对应的存储器地址转换并且将存储器地址转换存储在存储装置中的操作。根据本公开的第二方面，提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括指令，该指令在由处理器执行时使处理器至少：基于卷积神经网络的至少一个或多个特征预测与处理器外部的存储器的部分相关的访问过程，用于对输入数据实施卷积神经网络的至少一层以生成输出数据；响应于该预测，在所预测的访问过程之前，执行用于获取与存储器的部分相对应的存储器地址转换并将存储器地址转换存储在存储装置中的操作。根据本公开的第三方面，提供了一种装置，包括：至少一个处理器，用于对输入数据实施卷积神经网络的至少一层以生成输出数据；以及用于存储多个存储器地址转换的存储装置，其中，该装置被配置为：基于卷积神经网络的至少一个或多个特征，预测与至少一个处理器外部的存储器的部分相关的访问过程；响应于该预测，在所预测的访问过程之前，执行用于获取与存储器的部分相对应的存储器地址转换并将存储器地址转换存储在存储装置中的操作。附图说明通过以下参照附图进行的优选实施例的描述(仅通过示例给出)，其他特征和优点将变得显而易见，在附图中，相同的附图标记用于表示相同的特征。图1是示出根据示例的装置的示意图；图2是示出根据示例的方法的流程图；图3是根据示例的要使用卷积神经网络处理的图像的示意图；图4A是示出根据示例的简化的卷积神经网络的实现方式的示意图；图4B是示出根据示例的卷积处理的示意图；图5是示出根据示例的卷积神经网络的实现方式的示意图；图6是根据示例的包括特征的系统的示意图；图7是根据示例的包括特征的系统的示意图；以及图8是根据示例的非暂态计算机可读存储介质的示意图。具体实施例根据以下参考附图的描述，根据示例的系统和方法的细节将变得显而易见。在该描述中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”或类似语言的引用是指结合该示例描述的特征、结构或特性至少包括在该一个示例中，但不一定要包括在其他示例中。应当进一步注意的是，示意性地描述了某些示例，其中某些特征被省略和/或必要地简化以便于解释和理解示例背后的概念。本文描述的某些示例提供了一种用于存储与存储器的部分相对应的存储器地址转换的方法，当实施卷积神经网络的至少一层时，该存储器地址转换随后要在存储装置中被访问，之后处理器访问存储器的部分。可以基于由处理器实施的卷积神经网络的一个或多个特征来确定存储器访问模式。在某些情况下，顺序访问的存储器的部分可能分散在存储器中，因此在可以访问这些存储器的部分之前，确定这些存储器的部分的地址可能会浪费时间。预测要访问的存储器的部分并在访问存储器的部分之前获取与存储器的部分相对应的存储器地址转换可以防止读取或写入操作被延迟或暂缓以确定相关的存储器的部分的地址。不希望延迟或暂缓读取或写入操作，因为这会降低处理吞吐量，从而降低处理效率并浪费功率。预测还可以指确定处理，例如基于卷积神经网络的至少一个特征的确定处理。实施卷积神经网络的至少一层可以包括训练阶段(对样本数据训练卷积神经网络)和推理阶段(使用卷积神经网络来处理数据和进行推理)。当与存储数据的方式相比，卷积神经网络无序地读取或写入数据时，本文描述的示例将特别有用。在这种情况下，将执行频繁的分散存储器访问。当实施卷积神经网络的至少一层时，可以对各种数据执行存储器访问。本文描述的示例可适用于当读取和/或写入输入数据、输出数据、与卷积神经网络相关的数据(例如表示卷积神经网络的至少一层中的核心(kernel)的权重的数据)和/或偏差数据时对存储器的部分进行访问。输入数据可以涉及输入到卷积神经网络的第一层的数据和输入到卷积神经网络的每个后续层的数据。输入数据可以包括从一个或多个传感器(例如图像传感器、声音传感器)导出的传感器数据，和如下所述的其他合适形式的传感器数据。输入数据还可以包括通过对传感器数据执行操作而生成的输入特征图。在一些示例中，输入到卷积神经网络的第一层的数据可以是传感器数据，并且输入到卷积神经网络的后续层的数据可以被称为输入特征图。输出数据可以涉及从卷积神经网络的最后一层输出的数据以及在每个中间层执行卷积时输出的数据。当对来自传感器的输入数据或输入特征图实施卷积层时输出的数据可被称为一个或多个输出特征图。数据可以是压缩的或未压缩的。本文描述的某些示例基于用于存储存储器地址转换的存储装置的大小来确定何时适合获取并存储随后将被访问的存储器地址转换。此外，可以从存储装置中移除存储器地址转换。在这种情况下，确定何时适合获取存储器地址转换并将存储器地址转换存储在存储装置中可以基于存储装置中存储器地址转换的保留和/或逐出策略。在一些实现方式中，仅将最相关的存储器地址转换存储在存储装置中可能具有高水平的精度。这可以允许减小存储装置的大小，进而减少在存储装置中查找存储器地址转换所花费的时间。存储器可以指易失性和非易失性存储器类型。存储器地址转换也可以被称为虚拟存储器地址转换或简称为本文档来自技高网...

【技术保护点】
1.一种用于管理存储器访问的方法，所述方法用于使用处理器对输入数据实施卷积神经网络的至少一层以生成输出数据，所述方法包括：/n基于所述卷积神经网络的至少一个或多个特征，预测与所述处理器外部的存储器的部分相关的访问过程；以及/n响应于所述预测，在所预测的访问过程之前，执行用于获取与所述存储器的部分相对应的存储器地址转换并将所述存储器地址转换存储在存储装置中的操作。/n

【技术特征摘要】
20190620 US 16/447,7281.一种用于管理存储器访问的方法，所述方法用于使用处理器对输入数据实施卷积神经网络的至少一层以生成输出数据，所述方法包括：
基于所述卷积神经网络的至少一个或多个特征，预测与所述处理器外部的存储器的部分相关的访问过程；以及
响应于所述预测，在所预测的访问过程之前，执行用于获取与所述存储器的部分相对应的存储器地址转换并将所述存储器地址转换存储在存储装置中的操作。


2.根据权利要求1所述的方法，其中，所述卷积神经网络的一个或多个特征包括以下项中的任一项：
所述输入数据的各部分要被访问以实施所述卷积神经网络的所述至少一层的顺序；
表示所述卷积神经网络的至少一部分的数据的各部分要被访问以实施所述卷积神经网络的至少一层的顺序；以及
当实施所述卷积神经网络的所述至少一层时所述输出数据的各部分被生成的顺序。


3.根据权利要求1所述的方法，其中，实施所述卷积神经网络的所述至少一层包括：对所述输入数据执行多个操作，并且每个操作针对所述输入数据中多个部分中的至少一部分执行，并且所述卷积神经网络的所述一个或多个特征包括以下项中的任何一项：
所述多个部分中至少一个部分的大小；以及
所述输入数据的哪些部分被包括在所述输入数据的每个部分中。


4.根据权利要求1所述的方法，其中，预测与所述处理器外部的所述存储器的部分相关的所述访问过程是基于所述输入数据的至少一个特征的，并且可选地，其中，所述输入数据的所述至少一个特征包括所述输入数据在所述处理器外部的存储器中的存储配置。


5.根据权利要求1所述的方法，其中，用于获取与所述存储器的部分相对应的所述存储器地址转换并将所述存储器地址转换存储在所述存储装置中的操作是以下项中的任何一项：
写入操作，其中所述写入操作是空写入操作，使得没有数据被写入到所述存储器的部分；
读取操作，用于读取所述存储器的部分；以及
自定义操作，用于获取所述存储器地址转换并将所述存储器地址转换存储在所述存储装置中。


6.根据权利要求1所述的方法，其中，所述方法包括根据以下项中的至少一项从所述存储装置中移除所述存储器地址转换：
对与所述存储器的部分的进一步访问...

【专利技术属性】
技术研发人员：沙吉尔·赛义德，达仁·克罗克斯福德，格雷姆·莱斯利·因格拉姆，
申请(专利权)人：ARM有限公司，顶级公司，
类型：发明
国别省市：英国;GB