在像素到像素神经网络中处理数据制造技术

提供了用于在神经网络中处理数据的技术。示例方法可以包括：由神经网络的每一层处理数据输入的第一条带中的行，该行在水平方向上并且根据逐层序列被顺序地处理；在处理所述行之后，由每一层在逐行的基础上处理所述第一条带中的后续行，每个后续行在所述水平方向上并且根据所述逐层序列被顺序地处理；基于所述行和后续行的处理来生成输出条带；由每一层处理所述数据输入的第二条带，所述第二条带中的每一行在所述水平方向上并且根据所述逐层序列被处理，其中，所述第二条带中的行在逐行的基础上被处理；以及基于第二条带的处理生成另一输出条带。出条带。出条带。

【技术实现步骤摘要】
【国外来华专利技术】在像素到像素神经网络中处理数据


[0001]本公开总体上涉及神经网络。例如，本公开的各方面涉及用于在神经网络中处理数据的技术和系统。

技术介绍

[0002]各种设备和系统可以实现处理引擎和网络以处理各种类型的数据并生成特定的输出和/或效果。例如，一些设备可以实现神经网络以处理图像和/或视频并生成用于消费的输出(例如，用于在设备上显示，用于由应用使用等)。神经网络可以有效地执行具有准确结果的各种复杂任务。神经网络的输出和功能还可以用于各种应用中，诸如例如计算机图形、扩展现实(例如，增强现实、虚拟现实等)、图像识别、数据处理(例如，图像处理、视频处理等)、数据后处理、视觉渲染、电视等。
[0003]神经网络通常处理大量数据，诸如视频、图像和/或音频数据，以执行某些任务并生成特定输出。由神经网络处理的数据量和神经网络的处理需求可能对设备资源(诸如存储器、功率和计算资源)造成重大负担。此外，一些神经网络架构可能比其他神经网络架构更资源密集和/或可能需要或利用附加资源来进行其操作。这可以进一步增加神经网络的资源和/或处理成本，降低神经网络的效率，和/或以其他方式增加神经网络的操作和资源负担和要求。

技术实现思路

[0004]在一些示例中，描述了用于提高神经网络效率并减少神经网络的资源和处理负担和成本的技术和系统。根据至少一个说明性示例，提供了一种在像素到像素神经网络中处理数据的方法。在一些示例中，该方法可以包括：获得输入数据，该输入数据包括对输入数据进行逻辑分割的条带，输入数据的每个条带包括至少一行数据；由神经网络的每一层处理所述输入数据的第一条带中的一行数据，其中，所述一行数据在水平方向上并且根据逐层序列被顺序地处理，其中，所述神经网络的每个先前层在所述神经网络的每个后续层之前处理特定行的数据；在处理所述第一条带中的所述数据行之后，由所述神经网络的每一层在逐行的基础上处理所述第一条带中的后续数据行，其中，在所述水平方向上并且根据所述逐层序列顺序地处理每个后续数据行；由所述神经网络基于对所述数据行和所述后续数据行的处理来生成第一输出条带；在处理所述第一条带之后，由所述神经网络的每一层在逐行的基础上处理所述输入数据的第二条带中的数据行，其中，所述第二条带中的每一数据行在所述水平方向上并根据所述逐层序列被处理；以及基于所述第二条带的处理生成第二输出条带。
[0005]根据至少一个说明性示例，提供了一种用于在像素到像素神经网络中处理数据的非暂时性计算机可读介质。在一些方面中，所述非暂时性计算机可读介质可包含指令，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器：获得包括逻辑分割所述输入数据的条带的输入数据，所述输入数据的每一条带包含至少一行数据；由神经网络的每
一层处理所述输入数据的第一条带中的一行数据，其中，所述一行数据在水平方向上并且根据逐层序列被顺序地处理，其中，所述神经网络的每个先前层在所述神经网络的每个后续层之前处理特定行的数据；在处理所述第一条带中的所述数据行之后，由所述神经网络的每一层在逐行的基础上处理所述第一条带中的后续数据行，其中，在所述水平方向上并且根据所述逐层序列顺序地处理每个后续数据行；由所述神经网络基于对所述数据行和所述后续数据行的处理来生成第一输出条带；在处理所述第一条带之后，由所述神经网络的每一层在逐行的基础上处理所述输入数据的第二条带中的数据行，其中，所述第二条带中的每一数据行在所述水平方向上并根据所述逐层序列被处理；以及基于所述第二条带的处理生成第二输出条带。
[0006]根据至少一个说明性示例，提供了一种用于在像素到像素神经网络中处理数据的装置。在一些方面，装置可以包括其上存储有计算机可读指令的存储器和一个或多个处理器，该一个或多个处理器被配置为：获得包括对输入数据进行逻辑分割的条带的输入数据，输入数据的每个条带包括至少一行数据；由神经网络的每一层处理所述输入数据的第一条带中的一行数据，其中，所述一行数据在水平方向上并且根据逐层序列被顺序地处理，其中，所述神经网络的每个先前层在所述神经网络的每个后续层之前处理特定行的数据；在处理所述第一条带中的所述数据行之后，由所述神经网络的每一层在逐行的基础上处理所述第一条带中的后续数据行，其中，在所述水平方向上并且根据所述逐层序列顺序地处理每个后续数据行；由所述神经网络基于对所述数据行和所述后续数据行的处理来生成第一输出条带；在处理所述第一条带之后，由所述神经网络的每一层在逐行的基础上处理所述输入数据的第二条带中的数据行，其中，所述第二条带中的每一数据行在所述水平方向上并根据所述逐层序列被处理；以及基于所述第二条带的处理生成第二输出条带。
[0007]根据另一说明性示例，一种用于处理像素到像素神经网络中的数据的装置可以包括：用于获得输入数据的部件，所述输入数据包括对所述输入数据进行逻辑分割的条带，所述输入数据的每个条带包括至少一行数据；由神经网络的每一层处理所述输入数据的第一条带中的一行数据，其中，所述一行数据在水平方向上并且根据逐层序列被顺序地处理，其中，所述神经网络的每个先前层在所述神经网络的每个后续层之前处理特定行的数据；在处理所述第一条带中的所述数据行之后，由所述神经网络的每一层在逐行的基础上处理所述第一条带中的后续数据行，其中，在所述水平方向上并且根据所述逐层序列顺序地处理每个后续数据行；由所述神经网络基于对所述数据行和所述后续数据行的处理来生成第一输出条带；在处理所述第一条带之后，由所述神经网络的每一层在逐行的基础上处理所述输入数据的第二条带中的数据行，其中，所述第二条带中的每一数据行在所述水平方向上并根据所述逐层序列被处理；以及基于所述第二条带的处理生成第二输出条带。
[0008]在一些方面，上述方法、非暂时性计算机可读介质和装置可以在第一存储器中存储由神经网络的前一层针对第一条带中的数据行中的一个或多个块生成的输出；以及在与神经网络的特定层相关联的第二存储器中存储来自数据行中的一个或多个块的一行或多行数据。在一些示例中，一行或多行数据可以包括前一条带
‑
块
‑
行上的神经网络的特定层的数据输入的一部分。
[0009]在一些方面，上述方法、非暂时性计算机可读介质和装置可以基于由前一层生成的输出、和包括前一条带
‑
块
‑
行上的特定层的数据输入的部分的一行或多行数据的组合，
来生成用于神经网络的特定层的输入；以及由神经网络的特定层基于前一层的输出生成附加输出。
[0010]在一些方面，上述方法、非暂时性计算机可读介质和装置可以确定特定层的输入的一部分；以及将所述输入的所述一部分存储在与所述神经网络的所述特定层相关联的第三存储器中。
[0011]在一些方面，上述方法、非暂时性计算机可读介质和装置可以基于特定层的附加输出、和来自后续层的先前条带
‑
块
‑
行的后续层的输入的一部分的组合，来生成神经网络的后续层的附加输入；以及由神经网络的后续层基于后续层的附加输入生成第二附加输出。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：获得输入数据，所述输入数据包括对所述输入数据进行逻辑分割的条带，所述输入数据的每个条带包括至少一行数据；由神经网络的每一层处理所述输入数据的第一条带中的一行数据，其中，所述一行数据在水平方向上并且根据逐层序列被顺序地处理，其中，所述神经网络的每个先前层在所述神经网络的每个后续层之前处理特定行的数据；在处理所述第一条带中的所述数据行之后，由所述神经网络的每一层在逐行的基础上处理所述第一条带中的后续数据行，其中，在所述水平方向上并且根据所述逐层序列顺序地处理每个后续数据行；由所述神经网络基于对所述数据行和所述后续数据行的处理来生成第一输出条带；在处理所述第一条带之后，由所述神经网络的每一层在逐行的基础上处理所述输入数据的第二条带中的数据行，其中，所述第二条带中的每一数据行在所述水平方向上并根据所述逐层序列被处理；以及基于所述第二条带的处理生成第二输出条带。2.根据权利要求1所述的装置，其中，为了在所述水平方向上顺序地处理所述第一条带中的所述数据行，所述一个或多个处理器被配置为：由所述神经网络的每一层顺序地处理所述行中的多个数据块，其中，所述神经网络的每一层在沿着水平方向处理后续块之前，沿着深度方向处理每个先前的数据块。3.根据权利要求2所述的装置，其中为了处理所述后续行，所述一个或多个处理器被配置为：由所述神经网络的每一层顺序地处理每个后续行中的相应的多个数据块，其中，所述神经网络的每一层在处理后续行中的后续数据块之前沿着所述深度方向处理所述后续行中的先前数据块。4.根据权利要求1所述的装置，其中，所述神经网络包括像素到像素神经网络，并且其中，所述输入数据包括与图像相关联的像素。5.根据权利要求1所述的装置，其中为了获得所述输入数据，所述一个或多个处理器被配置为：将所述输入数据逻辑分割成所述条带，其中每个条带包括所述输入数据的相应部分。6.根据权利要求1所述的装置，其中所述一个或多个处理器被配置为：在第一存储器中存储由所述神经网络的前一层针对所述第一条带中的所述数据行中的一个或多个块生成的输出；以及在与所述神经网络的特定层相关联的第二存储器中存储来自所述数据行中的所述一个或多个块的一行或多行数据，其中，所述一行或多行数据包括前一条带
‑
块
‑
行上的所述神经网络的所述特定层的数据输入的一部分。7.根据权利要求6所述的装置，其中所述一个或多个处理器被配置为：基于由所述前一层生成的所述输出、和包括所述前一条带
‑
块
‑
行上的所述特定层的所述数据输入的所述一部分的所述一行或多行数据的组合，生成所述神经网络的所述特定层
的输入；以及由所述神经网络的所述特定层基于所述前一层的所述输出来生成附加输出。8.根据权利要求7所述的装置，其中所述一个或多个处理器被配置为：确定所述特定层的所述输入的一部分；以及将所述输入的所述一部分存储在与所述神经网络的所述特定层相关联的第三存储器中。9.根据权利要求8所述的装置，其中所述一个或多个处理器被配置为：基于所述特定层的所述附加输出、和来自所述神经网络的所述后续层的前一条带
‑
块
‑
行的后续层的所述输入的所述一部分的组合，生成所述后续层的附加输入；以及由所述神经网络的所述后续层基于所述后续层的所述附加输入生成第二附加输出。10.根据权利要求9所述的装置，其中所述一个或多个处理器被配置为：将所述第二附加输出存储在第四存储器中，其中所述第二存储器和所述第三存储器包括行存储存储器中的行存储，并且其中所述第一存储器和所述第四存储器包括临时存储器中的缓冲器。11.根据权利要求1所述的装置，其中所述一个或多个处理器被配置为：在与所述神经网络的特定层相关联的第一存储器中存储由所述神经网络的前一层针对每个后续数据行中的一个或多个块生成的输出；以及在第二存储器中存储来自每个后续数据行中的所述一个或多个块的一行或多行数据，其中，所述一行或多行数据包括所述神经网络的所述特定层的一个或多个数据输入的一个或多个部分。12.根据权利要求11所述的装置，其中所述一个或多个处理器被配置为：基于由所述前一层生成的所述输出、与包括用于前一条带
‑
块
‑
行的所述特定层的所述一个或多个数据输入的所述一个或多个部分的所述一行或多行数据的组合，生成用于所述神经网络的所述特定层的输入；以及由所述神经网络的所述特定层基于来自所述前一层的所述输出和来自所述前一条带
‑
块
‑
行上的所述特定层的所述输入的子集，来生成附加输出。13.根据权利要求12所述的装置，其中所述一个或多个处理器被配置为：确定所述特定层的所述输入的部分；将所述输入的所述部分存储在与所述神经网络的后续层相关联的第三存储器中；以及将所述附加输出存储在第四存储器中，其中所述第二存储器和所述第四存储器包括存储器缓冲器。14.根据权利要求1所述的装置，其中，为了处理所述数据行，所述一个或多个处理器被配置为：由所述神经网络的每个后续层处理所述神经网络的先前层的输出，所述输出对应于所述数据行。15.根据权利要求1所述的装置，其中为了处理所述后续数据行，所述一个或多个处理器被配置为：由所述神经网络的每个后续层处理所述神经网络的先前层的输出，所述输出对应于所述第一条带中的后续数据行。
16.根据权利要求1所述的装置，其中所述装置包括相机设备。17.根据权利要求1所述的装置，其中，所述装置包括移动设备。18.一种方法，包括：获得输入数据，所述输入数据包括对所述输入数据进行逻辑分割的条带，所述输入数据的每个条带包括至少一行数据；由神经网络的每一层...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：