【技术实现步骤摘要】
【国外来华专利技术】
本说明书总体上涉及使用硬件集成电路来执行卷积神经网络的组卷积。
技术介绍
1、神经网络是采用一层或多层节点来为接收到的输入生成输出——例如，分类——的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。一些神经网络可以是被配置用于图像处理的卷积神经网络或被配置用于语音和语言处理的递归神经网络(rnn)。不同类型的神经网络架构可以用于执行与分类或图案辨识、涉及数据建模的预测和信息聚类相关的各种任务。
2、神经网络层可以具有对应的参数或权重集合。权重用于通过神经网络层处理输入(例如，批量输入)，以生成用于计算神经网络推理的层的对应输出。批量输入和核集合可以表示为输入和权重的张量，即多维数组。硬件加速器是用于实现神经网络的专用集成电路。该电路包括具有与张量的元素相对应的位置的存储器，该张量可以使用电路的控制逻辑来遍历或访问。
技术实现思路
1、本说明书描述了用于在硬件神经网络加速器上高效地实现组卷积的技术。组卷积通过沿着输入矩阵的通道维度对它们进行分组来卷积它们的输入特征图，其中表示组卷积的每个输入组与对应的输出组相关联。具体地，基于这些技术，当使用在诸如平板电脑或智能电话的示例计算设备上实现的机器学习模型的卷积神经网络(cnn)处理输入图像时，可以充分利用组卷积来实现某些硬件和计算效率。
2、使用实现具有组卷积层的卷积神经网络的硬件集成电路来处理输入图像。该处理包括确定沿着输入特征图的通道维度的分区到集成电路的计算单元中的乘法累加单体的映射，并将组卷
3、本说明书中描述的主题的一个方面可以体现在一种用于使用被配置为实现包括多个神经网络层的卷积神经网络的硬件集成电路来处理输入图像的方法中。神经网络层包括组卷积层。该方法包括识别控制参数，该控制参数定义沿着输入特征图的通道维度的多个分区；确定分区到在集成电路的计算单元中的乘法累加单体(mac)的映射；以及对于组卷积层，将组卷积应用于输入特征图。
4、该应用包括针对分区中的每个分区：基于所确定的映射，将用于组卷积层的权重提供给多个mac的子集；经由集成电路的输入总线，将输入特征图的相应输入提供给子集中的每个mac；以及在子集中的每个mac处，使用相应输入和用于组卷积层的对应权重来计算乘积。该方法包括基于乘积的累加来生成用于组卷积层的输出特征图。
5、这些和其他实施方式可以各自可选地包括以下特征中的一个或多个。例如，在一些实施方式中，确定分区到乘法累加单体的映射包括：基于每个分区中的通道的数量来确定映射。在一些实施方式中，多个分区中的每个分区包括与分区的相应大小相对应的相应数目的输入通道。
6、生成输出特征图包括：基于每个分区的相应大小来生成输出特征图。在一些实施方式中，生成输出特征图包括：使用mac的子集来计算多个乘积；以及从多个乘积生成乘积的累加。该方法可以包括：访问描述计算单元的硬件配置的信息；以及基于计算单元的硬件配置来确定每个分区的相应大小。
7、在一些实施方式中，输入总线包括广播功能，并且该方法进一步包括：经由输入总线并且针对每个分区，将输入特征图的多个输入广播到集成电路的计算单元。所述方法还可以包括：经由所述输入总线并且针对所述输入特征图的第一分区，将所述第一分区的第一输入广播给所述子集中的每个mac；其中，广播的所述第一输入在针对所述组卷积层的计算期间被重复使用。在一些实施方式中，输入特征图的第一分区对应于输出特征图的第一分区；并且第一输入已经重复使用输出特征图的第一分区的输出。
8、该方面和其他方面的其他实施方式包括被配置为执行在计算机存储设备上编码的方法的动作的对应系统、装置和计算机程序。一个或多个计算机的系统可以借助于安装在系统上的、在操作中使系统执行动作的软件、固件、硬件或它们的组合来如此配置。一个或多个计算机程序可以借助于具有在由数据处理装置执行时使得装置执行动作的指令而被如此配置。
9、本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。描述了用于充分利用专用集成电路的示例硬件架构来实现卷积神经网络的执行的改进的技术，该卷积神经网络包括组卷积层，即，与逐深度卷积或全卷积相反的执行组卷积的层。
10、硬件架构包括特定类型的存储器布局、广播输入总线和乘法累加单体的配置，其可以实现具有相对于常规架构改进的计算效率和硬件利用率的组卷积。输入总线耦合到乘法累加单体，并且被配置为跨一些(或全部)乘法累加单体广播输入。广播函数允许对在计算用于对应组卷积的输出通道时重复使用的输入的计算进行并行化。
11、该架构可以用于优化各种类型的基于组卷积的神经网络的执行，并且允许将更宽范围的组卷积概念应用于各种计算机视觉任务。例如，编译器或相关控制逻辑可以用于确定组卷积运算到电路的计算单元中的乘法累加单体的最优映射。
12、可以确定映射以优化计算操作的不同方面，诸如最大化计算单元的整体利用率、最小化操作的整体时延或两者。特定映射的优点可以是最小化获取给定计算的新参数或附加参数所需的片外通信的量。确定映射的示例设备(例如，主机)可以相对于集成电路在芯片外。在一些实施方式中，编译器以及其他相关控制逻辑可以体现在示例设备中。
13、在附图和下面的描述中阐述了本说明书中描述的主题的一个或多个实施方式的细节。根据说明书、附图和权利要求，主题的其他潜在特征、方面和优点将变得显而易见。
本文档来自技高网...【技术保护点】
1.一种用于使用硬件集成电路处理输入图像的方法，所述硬件集成电路被配置为实现包括多个神经网络层的卷积神经网络，所述多个神经网络层包括组卷积层，所述方法包括：
2.根据权利要求1所述的方法，其中，确定所述多个分区到所述多个乘法累加单体的映射包括：
3.根据权利要求2所述的方法，其中：
4.根据权利要求3所述的方法，其中，生成所述输出特征图包括：
5.根据权利要求3所述的方法，进一步包括：
6.根据权利要求1所述的方法，其中，所述输入总线包括广播功能，并且所述方法进一步包括：
7.根据权利要求6所述的方法，进一步包括：
8.根据权利要求6所述的方法，其中：
9.根据权利要求1所述的方法，其中，生成所述输出特征图包括：
10.一种用于处理输入图像的系统，所述系统包括：
11.根据权利要求10所述的系统，其中，确定所述多个分区到所述多个乘法累加单体的映射包括：
12.根据权利要求11所述的系统，其中：
13.根据权利要求12所述的系统，其中，生成
14.根据权利要求12所述的系统，其中，所述操作进一步包括：
15.根据权利要求10所述的系统，其中，所述输入总线包括广播功能，并且所述操作进一步包括：
16.根据权利要求15所述的系统，其中，所述操作进一步包括：
17.根据权利要求15所述的系统，其中：
18.根据权利要求1所述的方法，其中，生成所述输出特征图包括：
19.一种存储用于使用硬件集成电路处理输入图像的指令的非暂时性机器可读存储设备，所述硬件集成电路被配置为实现包括多个神经网络层的卷积神经网络，所述多个神经网络层包括组卷积层，所述指令能被处理器执行以引起操作的执行，所述操作包括：
20.根据权利要求19所述的非暂时性机器可读存储设备，其中：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于使用硬件集成电路处理输入图像的方法，所述硬件集成电路被配置为实现包括多个神经网络层的卷积神经网络，所述多个神经网络层包括组卷积层，所述方法包括：
2.根据权利要求1所述的方法，其中，确定所述多个分区到所述多个乘法累加单体的映射包括：
3.根据权利要求2所述的方法，其中：
4.根据权利要求3所述的方法，其中，生成所述输出特征图包括：
5.根据权利要求3所述的方法，进一步包括：
6.根据权利要求1所述的方法，其中，所述输入总线包括广播功能，并且所述方法进一步包括：
7.根据权利要求6所述的方法，进一步包括：
8.根据权利要求6所述的方法，其中：
9.根据权利要求1所述的方法，其中，生成所述输出特征图包括：
10.一种用于处理输入图像的系统，所述系统包括：
11.根据权利要求10所述的系统，其中，确定所述多个分区到所述多...
【专利技术属性】
技术研发人员：贝尔金·阿金，苏约格·古普塔，高操，周平，加布里尔·明策尔·本德，刘寒骁，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。