一种卷积计算方法、AI芯片及电子设备技术

本申请涉及一种卷积计算方法、AI芯片及电子设备，属于计算机技术领域。该方法包括：分别利用各个权重块与同一个数据块进行卷积计算，得到每个权重块相对于数据块的卷积数据，其中，每个权重块为卷积计算所需的完整权重中的一部分，且每个权重块中的权重数量不大于总的计算单元的数量；将各个权重块相对于同一个数据块的卷积数据进行相加，得到卷积计算结果。通过将卷积计算所需的完整权重切分为多个权重块，分别利用各个权重块与同一个数据块进行卷积计算，之后再将各个权重块相对于同一个数据块的卷积数据进行相加，便可得到卷积计算结果，从而支持当卷积计算所需的权重数量大于总的计算单元的数量时的卷积计算。的计算单元的数量时的卷积计算。的计算单元的数量时的卷积计算。

【技术实现步骤摘要】
一种卷积计算方法、AI芯片及电子设备


[0001]本申请属于计算机
，具体涉及一种卷积计算方法、AI芯片及电子设备。

技术介绍

[0002]近年来，人工智能（Artificial Intelligence，AI）技术得到了迅猛发展，也取得了显著的成果，特别是在图像检测和识别以及语言识别等方向上，人工智能的识别率超过了人类。而神经网络处理是实现人工智能的重要处理技术。
[0003]随着大规模卷积神经网络的广泛应用，给硬件实现提出了更高的要求。目前的卷积计算方法仅支持卷积计算所需的权重数量小于等于硬件并行的计算单元的数量的计算。然而受制于硬件面积和功耗的约束，在硬件实现的过程中，一个cycle（周期）内的并行运算量总是有限的，当卷积计算所需的权重数量大于硬件并行的计算单元的数量时，传统的卷积计算方法则无法实现卷积计算。

技术实现思路

[0004]鉴于此，本申请的目的在于提供一种卷积计算方法、AI芯片及电子设备，以改善现有卷积计算方法无法适用于卷积计算所需的权重数量大于硬件并行的计算单元的数量的问题。
[0005]本申请的实施例是这样实现的：第一方面，本申请实施例提供了一种卷积计算方法，应用于包含多个计算单元的AI芯片，所述方法包括：分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相对于所述数据块的卷积数据，其中，每个所述权重块为卷积计算所需的完整权重中的一部分，且每个所述权重块中的权重数量不大于总的计算单元的数量，每个所述数据块为卷积计算所需的完整数据中的一部分，通过按照硬件所支持的最大输出数据尺寸以及所述完整权重的尺寸对所述完整数据进行切分得到；将各个所述权重块相对于同一个数据块的卷积数据进行相加，得到卷积计算结果。
[0006]本申请实施例中，通过将卷积计算所需的完整权重切分为多个权重块，分别利用各个权重块与同一个数据块进行卷积计算，之后再将各个权重块相对于同一个数据块的卷积数据进行相加，便可得到卷积计算结果，从而提供了一种支持当卷积计算所需的权重数量大于总的计算单元的数量时的卷积计算方法。同时，通过按照硬件所支持的计算单元的数量来划分权重块，使得每个权重块中的权重数量不大于总的计算单元的数量，从而在实现卷积计算的同时，能够充分利用硬件所提供的运算单元，进一步提高卷积运算效率；同理，通过按照硬件所支持的最大输出数据尺寸以及完整权重的尺寸对完整数据进行切分得到，以保证所划分的数据块在符合硬件要求的情况下，尽可能的减少数据块的数量，从而可以进一步减少AI芯片与外部存储器的交互次数，以提高卷积运算效率。
[0007]结合第一方面实施例的一种可能的实施方式，分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相对于所述数据块的卷积数据，包括：将第i个权重
块与所述第i个权重块在所述数据块中对应的目标数据进行卷积计算，得到所述第i个权重块相对于所述数据块的卷积数据，i依次取1至n，n为大于1的整数；所述目标数据为模拟利用所述完整权重按照预设步长在所述数据块中滑动，并从滑动所得的数据中选取出的与所述第i个权重块对应的数据。
[0008]本申请实施例中，采用串行的方式，将第i个权重块与第i个权重块在数据块中对应的目标数据进行卷积计算，这样可以在有限的计算单元的情况下，尽可能的支持最大的卷积计算。
[0009]结合第一方面实施例的一种可能的实施方式，将各个所述权重块相对于同一个数据块的卷积数据进行相加，得到卷积计算结果，包括：将第i+1个权重块相对于所述数据块的卷积数据与第i个权重块的卷积累加数据相加，得到所述第i+1个权重块的卷积累加数据，其中，第1个权重块的卷积累加数据等于所述第1个权重块相对于所述数据块的卷积数据，i依次取1至n，n为大于1的整数。
[0010]本申请实施例中，采用串行的方式，将第i+1个权重块相对于所述数据块的卷积数据与第i个权重块的卷积累加数据相加，这样可以减少存储各个权重块相对于数据块的卷积数据的存储空间。
[0011]结合第一方面实施例的一种可能的实施方式，分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相对于所述数据块的卷积数据之前，所述方法还包括：按照硬件所支持的计算单元的数量将所述完整权重切分为多个权重块，每个所述权重块中的权重数量不大于总的计算单元的数量。
[0012]本申请实施例中，按照硬件所支持的计算单元的数量将完整权重切分为多个权重块，从而使得可以支持当卷积计算所需的权重数量大于总的计算单元的数量时的卷积计算。专利技术人在研究本申请时发现，相比于按照AI芯片内部的缓存大小的方式来划分权重块，在高性能的硬件运算中，运算单元更容易产生瓶颈，通过按照硬件所支持的计算单元的数量来划分权重块，从而在实现卷积计算的同时，能够充分利用硬件所提供的运算单元，进一步提高卷积运算效率。
[0013]结合第一方面实施例的一种可能的实施方式，分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相对于所述数据块的卷积数据，包括：针对每一个数据块，分别利用各个权重块与该数据块进行卷积计算，得到每个所述权重块相对于该数据块的卷积数据。
[0014]本申请实施例中，考虑到受制于硬件面积和功耗的约束，累加模块的输出数量也是有限的，通过将卷积计算所需的完整数据切换为多个数据块，使得该方法可以适用于更多场景。
[0015]结合第一方面实施例的一种可能的实施方式，所述方法还包括：按照硬件所支持的最大输出数据尺寸以及所述完整权重的尺寸，将所述完整数据切分为多个数据块。
[0016]本申请实施例中，通过按照硬件所支持的最大输出数据尺寸以及完整权重的尺寸来划分数据块，以保证所划分的数据块在符合硬件要求的情况下，尽可能的减少数据块的数量，从而可以进一步减少AI芯片与外部存储器的交互次数。
[0017]第二方面，本申请实施例还提供了一种AI芯片，包括：卷积模块以及累加模块；卷积模块，用于分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相
对于所述数据块的卷积数据，其中，每个所述权重块为卷积计算所需的完整权重中的一部分，且每个所述权重块中的权重数量不大于所述卷积模块中计算单元的数量，每个所述数据块为卷积计算所需的完整数据中的一部分，通过按照硬件所支持的最大输出数据尺寸以及所述完整权重的尺寸对所述完整数据进行切分得到；累加模块，用于将各个所述权重块相对于同一个数据块的卷积数据进行相加，得到卷积计算结果。
[0018]结合第二方面实施例的一种可能的实施方式，所述卷积模块包括：多个计算单元和求和单元；多个计算单元，每个计算单元用于将对应的权重和数据进行乘积；求和单元，用于对各个计算单元的计算结果进行相加。
[0019]结合第二方面实施例的一种可能的实施方式，所述AI芯片还包括：第一缓存区，用于存储输入的数据块；和/或，第二缓存区，用于存储输入的权重块。
[0020]本申请实施例中，通过在AI芯片内部增设第一缓存区和/或第二缓存区，可以较少A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积计算方法，其特征在于，应用于包含多个计算单元的AI芯片，所述方法包括：分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相对于所述数据块的卷积数据，其中，每个所述权重块为卷积计算所需的完整权重中的一部分，且每个所述权重块中的权重数量不大于总的计算单元的数量，每个所述数据块为卷积计算所需的完整数据中的一部分，通过按照硬件所支持的最大输出数据尺寸以及所述完整权重的尺寸对所述完整数据进行切分得到；将各个所述权重块相对于同一个数据块的卷积数据进行相加，得到卷积计算结果。2.根据权利要求1所述的方法，其特征在于，分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相对于所述数据块的卷积数据，包括：将第i个权重块与所述第i个权重块在所述数据块中对应的目标数据进行卷积计算，得到所述第i个权重块相对于所述数据块的卷积数据，i依次取1至n，n为大于1的整数；所述目标数据为模拟利用所述完整权重按照预设步长在所述数据块中滑动，并从滑动所得的数据中选取出的与所述第i个权重块对应的数据。3.根据权利要求1所述的方法，其特征在于，将各个所述权重块相对于同一个数据块的卷积数据进行相加，得到卷积计算结果，包括：将第i+1个权重块相对于所述数据块的卷积数据与第i个权重块的卷积累加数据相加，得到所述第i+1个权重块的卷积累加数据，其中，第1个权重块的卷积累加数据等于所述第1个权重块相对于所述数据块的卷积数据，i依次取1至n，n为大于1的整数。4.根据权利要求1所述的方法，其特征在于，分别利用各个权重块与同一个数据块进行卷积计算，得到每个所述权重块相对于所述数据块的卷积数据之前，所述方法还包括：按照硬件所支持的计算单元的数量将所述完整权重切分为多个权重块，每个所述权重块中的权重数量不大于总的计算单元的数量。5.根据权利要求1
...

【专利技术属性】
技术研发人员：高聪，李智，李国嵩，何浩，王刚，
申请(专利权)人：上海登临科技有限公司，
类型：发明
国别省市：