卷积神经网络的处理方法、装置、介质和设备制造方法及图纸

公开了一种卷积神经网络的处理方法、装置、介质和设备，其中，方法包括：获取输入特征图；通过卷积神经网络的空洞卷积层处理输入特征图，得到多个局部特征图；多个局部特征图进行补零，通过对补零后的多个局部特征图的卷积处理，得到多个局部输出特征图；将多个局部输出特征图融合，得到空洞卷积层处理后的输出特征图。可以从输入特征图中拆分出多个连续的局部特征图，并利用紧凑的卷积核对局部特征图进行卷积处理，在不增加运算量的前提下实现对输入特征图的空洞卷积处里，克服了空洞对空洞卷积算法的限制，并且可以实现相邻滑窗窗口之间数据的复用，降低了访存开销，有助于拓展空洞卷积算法的应用范围。卷积算法的应用范围。卷积算法的应用范围。

【技术实现步骤摘要】
卷积神经网络的处理方法、装置、介质和设备


[0001]本公开涉及一种卷积神经网络的处理方法、装置、存储介质和电子设备。

技术介绍

[0002]实践中，利用卷积神经网络处理数据(例如可以是图像数据或文本数据)时，为了提升特征提取操作在图像欧式空间上的感知范围，通常会采用堆叠小尺寸卷积核(如1
×
1卷积核、3
×
3卷积核等)以及采用下采样的处理方式。由于下采样操作会损失特征图的分辨率，会影响目标检测任务和语义分割任务的准确度，因而，在此类任务中通常不会在卷积神经网络中引入下采样，而是采用空洞卷积来扩大感知范围，同时保持高分辨率的精度。空洞卷积也叫扩张卷积或者膨胀卷积，是在卷积核元素之间加入一些空洞来扩大卷积核的过程。空洞率用于表征相邻两个卷积核元素之间的步长。例如，空洞率为n(n为大于零的整数)时，同一行或同一列中相邻两个卷积核元素之间的空洞数量为(n
‑
1)。
[0003]神经网络加速器在进行卷积处理时，通常是采用滑窗从特征图中读取特征数据，如此一来，可以局部复用上个窗口读入的特征数据，从而降低访存开销。
[0004]相关技术中，利用空洞卷积层对输入的特征图进行处理时，通常采用以下两种方式：一种是对空洞卷积核中的空洞进行权重填零处理，形成新的卷积核，然后利用新的卷积核对输入的特征图进行处理；另一种则直接以空洞率为步长提取出多个存在空洞的局部特征图，然后根据预先设计的取数逻辑对提取出的局部特征图进行处理。由于空洞的限制，第一种处理方式的运算量显著增加，而第二种处理方式则可能导致访存瓶颈，进而限制了空洞卷积层的应用范围。

技术实现思路

[0005]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种卷积神经网络的处理方法、装置、存储介质和电子设备。
[0006]根据本公开实施例的一个方面，提供了一种卷积神经网络的处理方法，包括：获取输入特征图；通过卷积神经网络的空洞卷积层处理输入特征图，得到多个局部特征图；对多个局部特征图进行补零，通过对补零后的多个局部特征图的卷积处理，得到多个局部输出特征图；将多个局部输出特征图融合，得到空洞卷积层处理后的输出特征图。
[0007]根据本公开实施例的又一个方面，提供了一种卷积神经网络的处理装置，包括：获取单元，被配置成获取输入特征图；拆分单元，被配置成通过卷积神经网络的空洞卷积层处理输入特征图，得到多个局部特征图；卷积单元，被配置成对多个局部特征图进行补零，通过对补零后的多个局部特征图的卷积处理，得到多个局部输出特征图；融合单元，被配置成将多个局部输出特征图融合，得到空洞卷积层处理后的输出特征图。
[0008]根据本公开实施例的再一方面，提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于实现上述方法。
[0009]根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；
用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
[0010]本公开的卷积神经网络的处理方法，可以将空洞卷积层的输入特征图拆分成多个局部特征图，然后利用卷积核对局部特征图进行卷积处理，得到多个局部输出特征图，最后将各个局部输出特征图融合为输出特征图。可以从输入特征图中拆分出多个连续的局部特征图，并利用紧凑的卷积核对局部特征图进行卷积处理，在不增加运算量的前提下实现对输入特征图的空洞卷积处理，克服了空洞对空洞卷积算法的限制，并且可以实现相邻滑窗窗口之间数据的复用，降低了访存开销，有助于拓展空洞卷积算法的应用范围。
[0011]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0012]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0013]图1是本公开的卷积神经网络的处理方法所适用的一个场景示意图；
[0014]图2是本公开的卷积神经网络的处理方法的一个实施例的流程示意图；
[0015]图3是本公开的卷积神经网络的处理方法的又一个实施例的流程示意图；
[0016]图4是本公开的卷积神经网络的处理方法的一个场景示意图；
[0017]图5是本公开的卷积神经网络的处理方法的一个实施例中延后操作的流程示意图；
[0018]图6是本公开的卷积神经网络的处理方法的一个实施例中前移操作的流程示意图；
[0019]图7是本公开的卷积神经网络的处理方法的一个场景示意图；
[0020]图8是本公开的卷积神经网络的处理方法的一个实施例中连续空洞卷积的流程示意图；
[0021]图9是本公开的卷积神经网络的处理装置的一个实施例的结构示意图；
[0022]图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
[0023]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0024]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0025]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0026]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指
一个、两个或两个以上。
[0027]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0028]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0030]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0031]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
[0032]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0033]应注意到：相似的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络的处理方法，包括：获取输入特征图；通过卷积神经网络的空洞卷积层处理所述输入特征图，得到多个局部特征图；对所述多个局部特征图进行补零，通过对补零后的多个局部特征图的卷积处理，得到多个局部输出特征图；将所述多个局部输出特征图融合，得到所述空洞卷积层处理后的输出特征图。2.根据权利要求1所述的方法，所述通过卷积神经网络的空洞卷积层处理所述输入特征图，得到多个局部特征图，包括：基于所述空洞卷积层的空洞率，将所述输入特征图拆分成多个局部特征图。3.根据权利要求2所述的方法，其中，所述基于所述空洞卷积层的空洞率，将所述输入特征图拆分成多个局部特征图，包括：基于所述空洞卷积层的空洞率，确定待拆分的局部特征图的数量，并确定每个所述局部特征图的下标；基于所述空洞卷积层的空洞率、卷积核以及所述局部特征图的下标，确定所述局部特征图在所述输入特征图中的覆盖区域；基于各所述局部特征图在所述输入特征图中的覆盖区域，将所述输入特征图拆分成多个局部特征图。4.根据权利要求3所述的方法，所述对所述多个局部特征图进行补零之前，还包括：基于所述空洞卷积层的补零参数、空洞率和所述局部特征图的下标，确定所述多个局部特征图分别对应的局部补零参数；所述对所述多个局部特征图进行补零，通过对补零后的多个局部特征图的卷积处理，得到多个局部输出特征图，包括：基于所述局部补零参数对所述多个局部特征图进行补零处理；基于所述空洞卷积层的卷积核，对补零后的局部特征图进行卷积处理，得到多个局部输出特征图。5.根据权利要求4所述的方法，其中，在所述得到多个局部输出特征图之后，还包括：基于所述空洞卷积层的补零参数、空洞率和所述局部输出特征图的下标，确定所述局部特征图对应的局部输出特征图的偏移系数；所述将所述多个局部输出特征图融合，得到所述空洞卷积层处理后的输出特征图，包括：基于所述偏移系数和所述空洞卷积层的空洞率，将所述局部输出特征图填充到待输出的特征图中，得到所述空洞卷积层处理后的输出特征图。6.根据权利要求1至5中任一项所述的方法，其中，所述方法还包括：判断所述空洞卷积层的前置处理是否属于预设的操作类型；当所述前置处理属于所述预设的操作类型时，进行延后操作，所述延后操作包括：将所述前置处理延后至所述空洞卷积层拆分所述输入特征图之后，并对所述多个局部特征图分别执行所述前置处理；迭代执行所述针对前置处理的判断操作和所述延后操作，并保持延后操作后的处理的执行次序与延后操作前的执行次序一致，直到所述前置处理不属于所述预设的操作类型。
7.根据权利要求1至6中任一...

【专利技术属性】
技术研发人员：赵卓然，顾兆，李德林，李建军，王振江，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：