通用并行计算架构制造技术

一种装置包括多个并行计算核心（102），其中每个计算核心被配置成执行一个或多个处理操作并且生成输入数据。该装置还包括与每个计算核心相关联的多个并行协处理器（112）。每个计算核心被配置成将由该计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个。协处理器被配置成处理输入数据并且生成输出数据。该装置进一步包括多个约简器电路（115）。每个计算核心与约简器电路中的一个相关联。每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果。计算核心、协处理器和约简器电路在二维布局中横向地并排布置。

【技术实现步骤摘要】
【国外来华专利技术】通用并行计算架构
本公开总体上涉及用于计算设备和计算系统的硬件架构。更具体地，本公开涉及可以支持先进的计算功能的通用并行计算架构，该先进的计算功能诸如在人工智能中使用的功能。
技术介绍
人脑是典型地包含由一千万亿个突触连接的大约1000亿个神经元的大规模并行系统。理想情况下，模拟人脑的运作可以支持诸如人工智能之类的先进的计算功能。然而，模拟人脑或设计与人脑的能力相匹敌的计算系统的常规尝试通常由于多个原因而是不充足的，诸如基本上不与大脑的连接性或三维结构相匹配。
技术实现思路
本公开提供了一种通用并行计算架构。在第一实施例中，一种装置包括多个并行计算核心，其中每个计算核心被配置成执行一个或多个处理操作并且生成输入数据。该装置还包括与每个计算核心相关联的多个并行协处理器。每个计算核心被配置成将由该计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个。协处理器被配置成处理输入数据并且生成输出数据。该装置进一步包括多个约简器电路。每个计算核心与约简器电路中的一个相关联。每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果。计算核心、协处理器和约简器电路在二维布局中横向地并排布置。在第二实施例中，一种装置包括多个并行计算核心，其中每个计算核心被配置成执行一个或多个处理操作并且生成输入数据。该装置还包括与每个计算核心相关联的多个并行协处理器。每个计算核心被配置成将由该计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个。协处理器被配置成处理输入数据并且生成输出数据。用于每个计算核心的协处理器的子集中的协处理器还被配置成将一个或多个功能共同地应用于输出数据，并且该子集中的协处理器中的一个进一步被配置成向相关联的计算核心提供一个或多个结果。在第三实施例中，一种装置包括N个并行计算核心，其中每个计算核心被配置成执行一个或多个处理操作并且生成输入数据。该装置还包括个协处理器，其中每个计算核心与N个并行协处理器相关联。每个计算核心被配置成将由该计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个。协处理器被配置成处理输入数据并且生成输出数据。该装置进一步包括N个约简器电路。每个计算核心与约简器电路中的一个相关联。每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果。计算核心、协处理器和约简器电路在二维布局中横向地并排布置，并且N是具有为至少十六的值的整数。在第四实施例中，一种装置包括多个计算核心，其中每个计算核心被配置成执行一个或多个处理操作并且生成输入数据。该装置还包括与每个计算核心相关联的多个协处理器，其中每个协处理器被配置成从至少一个计算核心接收输入数据，处理输入数据，并且生成输出数据。该装置进一步包括多个约简器电路，其中每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果。此外，该装置包括将计算核心与同计算核心相关联的协处理器通信地耦合的多个通信链路。在第五实施例中，一种装置包括多个计算核心，其中每个计算核心被配置成执行一个或多个处理操作并且生成输入数据。该装置还包括与每个计算核心相关联的多个协处理器，其中每个协处理器被配置成从至少一个计算核心接收输入数据，处理输入数据，并且生成输出数据。该装置进一步包括将计算核心与同计算核心相关联的协处理器通信地耦合的多个通信链路。用于每个计算核心的协处理器的子集中的协处理器还被配置成将一个或多个功能共同地应用于输出数据，其中该子集中的协处理器中的一个进一步被配置成向相关联的计算核心提供一个或多个结果。在第六实施例中，一种装置包括N个并行计算核心，其中每个计算核心被配置成执行一个或多个处理操作并且生成输入数据。该装置还包括个协处理器，其中每个计算核心与N个并行协处理器相关联。每个协处理器被配置成从至少一个计算核心接收输入数据，处理输入数据，并且生成输出数据。该装置进一步包括N个约简器电路，其中每个计算核心与约简器电路中的一个相关联。每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果。此外，该装置包括将计算核心与同计算核心相关联的协处理器通信地耦合的多个通信链路。通信链路包括至共享存储器的链路。共享存储器被配置成存储来自计算核心的输入数据，并且将输入数据提供给协处理器。共享存储器包括具有多个存储器地址的多个存储器位置。计算核心被配置成将输入数据写入至不同的存储器地址，并且协处理器被配置成从不同的存储器地址读取输入数据。从以下附图、描述和权利要求书中，其他技术特征对于本领域技术人员而言可以容易地清楚。附图说明为了更完整地理解本公开及其特征，现在对结合附图考虑的以下描述进行参考，在附图中：图1A至图1C图示了根据本公开的示例通用并行计算架构；图2和图3图示了根据本公开的图1A至图1C的计算架构中的示例通信；图4和图5图示了根据本公开的图1A至图1C的计算架构中的示例协处理器功能性；图6图示了根据本公开的图1A至图1C的计算架构中的示例可编程协处理器和约简功能性；图7和图8图示了使用根据本公开的通用并行计算架构的示例计算系统；图9图示了使用根据本公开的通用并行计算架构来支持先进计算功能的示例方法；图10至图12图示了根据本公开的通用并行计算架构中的部件的其他示例连接性；和图13至图19图示了根据本公开的通用并行计算架构中的示例通信方案。具体实施方式下面讨论的图1A至图19以及在本专利文件中用于描述本专利技术的原理的各种实施例仅通过说明的方式，并且不应当以任何方式被解释为限制本专利技术的范围。本领域技术人员将理解，本专利技术的原理可以在任何类型的适当布置的设备或系统中被实现。如上所述，人脑是典型地包含由一千万亿个突触连接的大约1000亿个神经元的大规模并行系统。突触支持神经元之间的信号传输。人脑具有与经典图灵机非常不同的结构。在给定大量的神经元和突触典型地处于人脑中的情况下，使用经典图灵机来模拟人脑是不能实行的。尽管人类智能具有许多组成部分，但是一个关键的组成部分是维度约简，它是指接收巨大量（高带宽）的感官输入并且将信息约简下来到更小量（低带宽）的描述性概念的过程。从数学上讲，可以使用各种形式的迭代因子分析来实现该约简。各种形式的因子分析倾向于有几个共同的特征。例如，在被称为“正向解释模式”的一个操作模式中，因子分析对大量输入执行一些简单的计算，累加总和，并且对输出执行可能更复杂的计算。在被称为“反向学习模式”的另一个操作模式中，因子分析通过对输出和对应输入的一些简单计算来变更对输入的简单计算。尽管这些计算倾向于是简单的，但是扇入（指输入的数本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n多个并行计算核心，每个计算核心被配置成执行一个或多个处理操作并且生成输入数据；/n与每个计算核心相关联的多个并行协处理器，每个计算核心被配置成将由所述计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个，协处理器被配置成处理输入数据并且生成输出数据；以及/n多个约简器电路，每个计算核心与约简器电路中的一个相关联，每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果；/n其中，计算核心、协处理器和约简器电路在二维布局中横向地并排布置。/n

【技术特征摘要】
【国外来华专利技术】20170406 US 15/4812011.一种装置，包括：
多个并行计算核心，每个计算核心被配置成执行一个或多个处理操作并且生成输入数据；
与每个计算核心相关联的多个并行协处理器，每个计算核心被配置成将由所述计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个，协处理器被配置成处理输入数据并且生成输出数据；以及
多个约简器电路，每个计算核心与约简器电路中的一个相关联，每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果；
其中，计算核心、协处理器和约简器电路在二维布局中横向地并排布置。


2.根据权利要求1所述的装置，其中协处理器和约简器电路以行和列被布置，每个列与计算核心中的不同的一个相关联。


3.根据权利要求2所述的装置，进一步包括：
信号线，所述信号线将所有计算核心通信地耦合到所有列中的协处理器。


4.根据权利要求1所述的装置，其中：
并行计算核心包括N个计算核心；并且
每个计算核心与N个并行协处理器相关联。


5.根据权利要求1所述的装置，其中：
并行计算核心包括至少16个计算核心；并且
每个计算核心与至少16个并行协处理器相关联。


6.根据权利要求1所述的装置，其中：
计算核心驻留在第一集成电路芯片中；并且
协处理器驻留在第二集成电路芯片中。


7.根据权利要求6所述的装置，进一步包括：
至少一个通信链路，所述至少一个通信链路将第一集成电路芯片与第二集成电路芯片耦合。


8.根据权利要求6所述的装置，其中以下各项中的至少一个：
第一集成电路芯片中的计算核心被配置成与不同的第二集成电路芯片中的不同数量或类型的协处理器通信；和
第二集成电路芯片中的协处理器被配置成与不同的第一集成电路芯片中的不同数量或类型的计算核心通信。


9.根据权利要求1所述的装置，其中每个约简器电路包括处理电路和存储器。


10.一种装置，包括：
多个并行计算核心，每个计算核心被配置成执行一个或多个处理操作并且生成输入数据；以及
与每个计算核心相关联的多个并行协处理器，每个计算核心被配置成将由所述计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个，协处理器被配置成处理输入数据并且生成输出数据；
其中，用于每个计算核心的协处理器的子集中的协处理器还被配置成将一个或多个功能共同地应用于输出数据，所述子集中的协处理器中的一个进一步被配置成向相关联的计算核心提供一个或多个结果。


11.根据权利要求10所述的装置，其中计算核心和协处理器在二维布局中横向地并排布置。


12.根据权利要求10所述的装置，其中协处理器以行和列被布置，每个列与计算核心中的不同的一个相关联。


13.根据权利要求12所述的装置，进一步包括：
信号线，所述信号线将所有计算核心通信地耦合到所有列中的协处理器。


14.根据权利要求10所述的装置，其中：
并行计算核心包括N个计算核心；并且
每个计算核心与N个并行协处理器相关联。


15.根据权利要求10所述的装置，其中：
并行计算核心包括至少16个计算核心；并且
每个计算核心与至少16个并行协处理器相关联。


16.根据权利要求10所述的装置，其中：
计算核心驻留在第一集成电路芯片中；并且
协处理器驻留在第二集成电路芯片中。


17.根据权利要求16所述的装置，进一步包括：
至少一个通信链路，所述至少一个通信链路将第一集成电路芯片与第二集成电路芯片耦合。


18.根据权利要求16所述的装置，其中以下各项中的至少一个：
第一集成电路芯片中的计算核心被配置成与不同的第二集成电路芯片中的不同数量或类型的协处理器通信；和
第二集成电路芯片中的协处理器被配置成与不同的第一集成电路芯片中的不同数量或类型的计算核心通信。


19.一种装置，包括：
N个并行计算核心，每个计算核心被配置成执行一个或多个处理操作并且生成输入数据；

个协处理器，其中每个计算核心与N个并行协处理器相关联,每个计算核心被配置成将由所述计算核心生成的输入数据提供给与每个计算核心相关联的协处理器中所指定的一个，协处理器被配置成处理输入数据并且生成输出数据；以及
N个约简器电路，每个计算核心与约简器电路中的一个相关联，每个约简器电路被配置成从相关联的计算核心的每个协处理器接收输出数据，将一个或多个功能应用于输出数据，并且向相关联的计算核心提供一个或多个结果；
其中，计算核心、协处理器和约简器电路在二维布局中横向地并排布置；并且
其中，N是具有为至少十六的值的整数。


20...

【专利技术属性】
技术研发人员：P伯查德，U德雷佩尔，
申请(专利权)人：高盛有限责任公司，
类型：发明
国别省市：美国;US