【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、本公开内容的各方面涉及在对在具有异构存储器架构的计算设备上的的数学运算的执行期间的存储管理(memory management)。
2、许多计算系统实现的冯诺依曼架构通常将处理器和存储器分开，使得以便执行操作，处理器经由总线从存储器读取数据以及将数据写入存储器。冯诺依曼架构计算系统的存储器可以分为具有不同性能特征的和与处理器不同距离的不同部分。例如，存储器可以是按层次结构进行组织的，在该层次结构中，与较大、较慢的存储器组件相比，小型、快速的存储器组件可以具有更高的性能，以及更靠近处理器。例如，高性能存储器可以用作为用以临时地存储数据的高速缓存，以及可以位于相对于所述数据执行各种操作的处理器附近或可以与相对于所述数据执行各种操作的处理器位于同一位置。处理器外(off-processor)存储器组件可用于临时存储处理器当前未使用但最近可能已使用或预期在不久的将来使用的其它数据。这个处理器外存储器组件可能大于高速缓存，但是可能具有相对于高速缓存的更长的延时(例如，更长的读取/写入时间)。还有一些其它存储器组件可以被包括在计算系统中，具有离处理器更长的距离以及较小的性能特征，诸如在其中持久地存储数据的固态驱动器或硬盘驱动器、从其处理器可以经由网络连接取回数据用于进行处理的网络存储设备等。
3、由于可以用于存储数据的高性能存储器的成本接近于对这样的数据执行操作的处理器，因此计算系统可以被设计为具有有限量的高性能存储器和大量的较低性能存储器。在许多情况下，计算系统中所包括的高性能存储器的量可能显著地小
4、因此，所需要改进的是用于在执行数学运算的计算系统中的存储管理的技术。
技术实现思路
1、某些方面提供一种计算机实现的用于在处理器上使用机器学习模型执行操作的方法。该方法通常包括在与处理器相关联的第一存储器组件中对用于机器学习模型的权重数据的至少一部分进行初始化。输入数据是存储在与处理器耦合的第二存储器组件中的。使用机器学习模型的操作是经由与处理器相关联的功能单元基于权重数据的至少一部分和输入数据来执行的。使用机器学习模型的操作的结果是存储在第二存储器组件中的。
2、其它方面提供一种被配置为执行上述方法以及本文中描述的那些方法的处理系统；一种包括指令的非暂时性计算机可读介质，所述指令在由处理系统的一个或多个处理器执行时使得所述处理器系统执行上述方法以及本文中描述的那些方法；一种体现在计算机可读存储介质上的计算机程序产品，其包括用于执行上述方法以及本文中进一步描述的那些方法的代码；以及一种处理系统，其包括用于执行上述方法以及本文中进一步描述的那些方法的单元。
3、以下描述和相关的附图详细阐述了一个或多个实施例的某些说明性特征。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中，使用所述机器学习模型执行所述操作包括：
3.根据权利要求2所述的方法，还包括将来自所述第二存储器组件的所述输入数据加载到所述处理器的所述存储寄存器中，其中，所述操作的所述结果是通过所述功能单元使用加载到所述处理器的所述存储寄存器的所述输入数据来生成的。
4.根据权利要求2所述的方法，还包括：
5.根据权利要求4所述的方法，其中，在所述处理器的所述存储寄存器中存储的数据被选择以使在从所述第二存储器组件取回用于处理的额外数据之前在其期间使用所述处理器的所述存储寄存器中的数据执行操作的时间的量最大化。
6.根据权利要求5所述的方法，其中，在所述处理器的所述存储寄存器中存储的所述数据还是基于在所述第一存储器组件与所述第二存储器组件之间的存取延时中的不对称来选择的。
7.根据权利要求1所述的方法，其中，所述输入数据包括从流数据源接收的数据。
8.根据权利要求1所述的方法，其中，所述第一存储器组件包括具有与所述第二存储器组件相比更低的存储密
9.根据权利要求8所述的方法，其中，所述第一存储器组件包括非易失性随机存取存储器(NVRAM)，并且其中，所述第二存储器组件包括动态随机存取存储器(DRAM)。
10.根据权利要求1所述的方法，其中，使用所述机器学习模型执行操作包括使用存内处理技术来执行所述操作。
11.根据权利要求10所述的方法，其中，所述存内处理技术包括在所述处理器的一个或多个静态随机存取存储器(SRAM)组件中执行所述操作。
12.根据权利要求1所述的方法，其中，所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元整合在单个管芯上。
13.根据权利要求1所述的方法，其中，所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元整合在单个封装中。
14.根据权利要求13所述的方法，其中，所述第一存储器组件是在所述单个封装的第一管芯中实现的，并且其中，所述处理器的所述第二存储器组件和所述功能单元是在所述单个封装的第二管芯中实现的。
15.根据权利要求13所述的方法，其中，所述单个封装还包括应用处理器，所述应用处理器调用使用所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元的所述操作。
16.根据权利要求1所述的方法，其中，所述方法通过所述处理器的仲裁单元来执行，所述仲裁单元被配置为对在所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元之间的操作进行仲裁。
17.一种装置，包括：
18.根据权利要求17所述的装置，其中，为了使用所述机器学习模型执行所述操作，所述处理器被配置为使得所述装置进行如下操作：
19.根据权利要求18所述的装置，其中，所述处理器还被配置为使得所述装置将来自所述第二存储器组件的所述输入数据加载到所述处理器的所述存储寄存器中，其中，所述功能单元被配置为使用加载到所述处理器的所述存储寄存器的所述输入数据来生成所述操作的所述结果。
20.根据权利要求18所述的装置，其中，所述处理器还被配置为：
21.根据权利要求20所述的装置，其中，在所述处理器的所述存储寄存器中存储的数据被选择以使在从所述第二存储器组件取回用于处理的额外数据之前在其期间使用所述处理器的所述存储寄存器中的数据执行操作的时间的量最大化。
22.根据权利要求17所述的装置，其中，所述第一存储器组件包括具有与所述第二存储器组件相比更低的存储密度和更低的写入吞吐量的存储器组件。
23.根据权利要求17所述的装置，其中，为了使用所述机器学习模型执行操作，所述处理器被配置为使用存内处理技术来执行所述操作。
24.根据权利要求17所述的装置，其中，所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元整合在单个管芯上。
25.根据权利要求17所述的装置，其中，所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元整合在单个封装中。
26.根据权利要求25所述的装置，其中，所述单个封装还包括应用处理器，所述应用处理器调用使用所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元的所述操作。
27.根据权利要求17所述的装置，其中，所述第一存储器组件包括使用第一工艺节点制造的组件，其中，所述第二存储器组件包括使用第二工艺节点制造的组件，并且其中，所述第一工艺节点和所述第二工艺节点...
【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中，使用所述机器学习模型执行所述操作包括：
3.根据权利要求2所述的方法，还包括将来自所述第二存储器组件的所述输入数据加载到所述处理器的所述存储寄存器中，其中，所述操作的所述结果是通过所述功能单元使用加载到所述处理器的所述存储寄存器的所述输入数据来生成的。
4.根据权利要求2所述的方法，还包括：
5.根据权利要求4所述的方法，其中，在所述处理器的所述存储寄存器中存储的数据被选择以使在从所述第二存储器组件取回用于处理的额外数据之前在其期间使用所述处理器的所述存储寄存器中的数据执行操作的时间的量最大化。
6.根据权利要求5所述的方法，其中，在所述处理器的所述存储寄存器中存储的所述数据还是基于在所述第一存储器组件与所述第二存储器组件之间的存取延时中的不对称来选择的。
7.根据权利要求1所述的方法，其中，所述输入数据包括从流数据源接收的数据。
8.根据权利要求1所述的方法，其中，所述第一存储器组件包括具有与所述第二存储器组件相比更低的存储密度和更低的写入吞吐量的存储器组件。
9.根据权利要求8所述的方法，其中，所述第一存储器组件包括非易失性随机存取存储器(nvram)，并且其中，所述第二存储器组件包括动态随机存取存储器(dram)。
10.根据权利要求1所述的方法，其中，使用所述机器学习模型执行操作包括使用存内处理技术来执行所述操作。
11.根据权利要求10所述的方法，其中，所述存内处理技术包括在所述处理器的一个或多个静态随机存取存储器(sram)组件中执行所述操作。
12.根据权利要求1所述的方法，其中，所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元整合在单个管芯上。
13.根据权利要求1所述的方法，其中，所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元整合在单个封装中。
14.根据权利要求13所述的方法，其中，所述第一存储器组件是在所述单个封装的第一管芯中实现的，并且其中，所述处理器的所述第二存储器组件和所述功能单元是在所述单个封装的第二管芯中实现的。
15.根据权利要求13所述的方法，其中，所述单个封装还包括应用处理器，所述应用处理器调用使用所述处理器的所述第一存储器组件、所述第二存储器组件和所述功能单元的所述操作。
16.根据权利要求1所述的方法，其中，所述方法通过所述处理器的仲裁单元来...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。