高效率神经网络视频图像处理的方法和系统技术方案

本公开涉及高效率神经网络视频图像处理的方法和系统。一种高效率神经网络视频图像处理的方法、系统和物品使用时间相关性。系统和物品使用时间相关性。系统和物品使用时间相关性。

【技术实现步骤摘要】
高效率神经网络视频图像处理的方法和系统


[0001]本公开涉及高效率神经网络视频图像处理的方法和系统。

技术介绍

[0002]许多图像处理应用使用深度中性网络来分析视频序列的帧的图像数据，用于计算机视觉任务或者特定的图像相关任务的图像数据变换。这种计算机视觉任务可包括物体检测、物体分割、物体识别、3D重建，等等。变换可包括编码和解码、改变分辨率、色调校正、细化白点，等等。然而，因为即使在许多帧之间可能只有微小的不显著的帧间差异的情况下，也完全处理视频序列的每一帧，这样的神经网络操作往往在很大程度上是冗余的。从而，传统的视频图像处理不必要地增加计算负载，进而也增加了消耗的功率，以执行视频图像处理，使得在小型图像处理设备上执行图像处理是特别困难的。

技术实现思路

[0003]根据本公开的一方面，提供了一种图像处理的由计算机实现的方法，包括：将视频序列的帧的图像数据输入到具有一个或多个上游层和相对于所述上游层的一个或多个下游层的神经网络中；并且确定是否关闭对所述下游层中的至少一者的至少一个省略层部分的处理，其中，所述确定取决于从处理当前帧的所述上游层中的一个或多个层输出的当前特征和与先前帧相关联的所述神经网络的先前特征的版本之间的比较。
[0004]根据本公开的一方面，提供了一种用于图像处理的系统，包括：存储器，其存储视频序列的帧的图像数据和神经网络特征；以及处理器电路，其形成与所述存储器通信地耦合的至少一个处理器，所述至少一个处理器被安排为通过以下步骤来进行操作：将所述图像数据输入到神经网络中，其中，所述神经网络具有一个或多个上游层和相对于所述上游层的一个或多个下游层，并且确定是否关闭对所述下游层中的至少一者的至少一个省略层部分的处理，其中，所述确定取决于从处理当前帧的所述上游层中的一个或多个层输出的当前特征和与先前帧相关联的先前特征的版本之间的相关性。
[0005]根据本公开的一方面，提供了至少一个非暂态物品，具有包括多个指令的至少一个计算机可读介质，所述多个指令响应于在计算设备上被执行，使得所述计算设备通过以下步骤来进行操作：将视频序列的帧的图像数据输入到具有一个或多个上游层和相对于所述上游层的一个或多个下游层的神经网络中；并且确定是否关闭对所述下游层中的至少一者的至少一个省略层部分的处理，其中，所述确定取决于从处理当前帧的所述上游层中的一个或多个层输出的当前特征和与先前帧相关联的先前特征的版本之间的相关性。
附图说明
[0006]在附图中以示例的方式而不是限制的方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，在附图之间重复附图标记以指示出对应的或
相似的元素。在附图中：
[0007]图1A
‑
1D是用来展示根据本文的至少一个实现方式的高效率神经网络视频图像处理的示例方法的图像；
[0008]图2是示出根据本文的至少一个实现方式由于执行高效率神经网络视频图像处理的方法所产生的计算负载降低的图线；
[0009]图3是根据本文的至少一个实现方式用于执行高效率神经网络视频图像处理的方法的示例系统的示意图；
[0010]图4是根据本文的至少一个实现方式的图3的系统的时间预测器单元的示意图；
[0011]图5是根据本文的至少一个实现方式的高效率神经网络视频图像处理的方法的流程图；
[0012]图6是根据本文的至少一个实现方式的高效率神经网络视频图像处理的方法的详细流程图；
[0013]图7是根据本文的至少一个实现方式用于高效率神经网络视频图像处理的另一示例系统的示意图；
[0014]图8是根据本文的至少一个实现方式用于高效率神经网络视频图像处理的另外一个示例系统的示意图；
[0015]图9是根据本文的至少一个实现方式用于高效率神经网络视频图像处理的替代示例系统的示意图；
[0016]图10是根据本文的至少一个实现方式用于操作高效率神经网络视频图像处理的方法的神经网络和由此产生的计算负载的图线；
[0017]图11是示例图像处理系统的说明图；
[0018]图12是示例系统的说明图；并且
[0019]图13是全都根据本公开的至少一些实现方式安排的示例系统的说明图。
具体实施方式
[0020]现在参考附图描述一个或多个实现方式。虽然论述了具体的配置和安排，但应当理解这么做只是为了说明。相关领域的技术人员将会认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和安排。相关领域的技术人员将会清楚，本文描述的技术和/或安排也可用在与本文所述不同的多种其他系统和应用中。
[0021]虽然接下来的描述阐述了例如可在诸如片上系统(system
‑
on
‑
a
‑
chip，SoC)体系结构之类的体系结构中显现的各种实现方式，但本文描述的技术和/或安排的实现方式不限于特定的体系结构和/或计算系统，而是可由任何体系结构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(integrated circuit，IC)芯片和/或封装的各种体系结构，和/或各种计算设备和/或消费电子(consumer electronic，CE)设备，例如机顶盒、电视、智能监视器、智能电话、相机、膝上型计算机、平板设备、其他边缘类型的设备，例如包括厨房或洗衣房电器的物联网(internet
‑
of
‑
things，IoT)设备、家庭安全系统，等等，可以实现本文描述的技术和/或安排。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择，等等，但可在没有这种具体细节的情况下实现要求保护的主题。在其他情况中，可能没有详细示出一些素材，例如控制结
构和完整软件指令序列，以免模糊本文公开的素材。
[0022]可以用硬件、固件、软件或者其任意组合来实现本文公开的素材，除非另有声明。本文公开的素材也可被实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如，机器可读介质可包括只读存储器(ROM)；随机访问存储器(random access memory，RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或者其他形式的传播信号(例如，载波、红外信号、数字信号，等等)，以及其他。在另一形式中，可结合上文提及的任何示例或者其他示例使用诸如非暂态计算机可读介质之类的非暂态物品，只不过其不包括暂态信号本身。其确实包括除了信号本身以外的可以以“暂态”方式暂时保存数据的那些元素，例如RAM等等。
[0023]说明书中提及“一个实现方式”、“一实现方式”、“一示例实现方式”等等指示的是描述的实现方式可包括特定的特征、结构或特性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理的由计算机实现的方法，包括：将视频序列的帧的图像数据输入到具有一个或多个上游层和相对于所述上游层的一个或多个下游层的神经网络中；并且确定是否关闭对所述下游层中的至少一者的至少一个省略层部分的处理，其中，所述确定取决于从处理当前帧的所述上游层中的一个或多个层输出的当前特征和与先前帧相关联的所述神经网络的先前特征的版本之间的比较。2.如权利要求1所述的方法，其中，所述先前特征的版本是从提供所述当前特征的同一上游层输出的先前特征。3.如权利要求1所述的方法，其中，所述当前特征是被安排为输入到具有能够被省略的省略层部分的省略层的可用省略区段中的那些特征。4.如权利要求1所述的方法，其中，所述处理的关闭导致关闭到加速器电路的电力，使得不为在所述至少一个省略层部分处处理数据消耗电力。5.如权利要求1所述的方法，其中，所述处理的关闭包括通过省略所述神经网络的至少一个省略层部分的处理来等效于关闭处理以增大所述神经网络的吞吐量。6.如权利要求1
‑
5中任一项所述的方法，其中，所述神经网络是主神经网络，并且其中，所述方法包括：在辅助神经网络处，确定所述当前特征和所述先前特征的版本之间的相关性以执行所述比较。7.如权利要求6所述的方法，其中，所述先前特征的所述版本是与所述先前帧相关联的压缩先前特征，并且是作为递归输出从所述辅助神经网络获得的并且与所述当前帧的当前特征一起被输入回到所述辅助神经网络中。8.如权利要求7所述的方法，其中，所述压缩先前特征是从在所述辅助神经网络的提供概率值作为输出的输出层之前的所述辅助神经网络的最后卷积层获得的。9.如权利要求7所述的方法，其中，具有至少一个省略层部分的所述下游层中的至少一者是省略层，并且其中，所述辅助神经网络具有输出一个或多个概率的输出层，每个概率与所述当前帧的至少一区域相关联并且是使用先前特征作为来自至少一个省略层的输出而不是使用从所述至少一个省略层输出的当前特征足够所述主神经网络执行预期任务的概率。10.如权利要求9所述的方法，其中，所述概率被与一个或多个阈值相比较以确定是否要在所述下游层的一个或多个省略层部分处省略处理。11.如权利要求7所述的方法，其中，所述辅助神经网络具有三个卷积层。12.一种用于图像处理的系统，包括：存储器，其存储视频序列的帧的图像数据和神经网络特征；以及处理器电路，其形成与所述存储器通信地耦合的至少一个处理器，所述至少一个处理器被安排为通过以下步骤来进行操作：将所述图像数据输入到神经网络中，其中，所述神经网络具有一个或多个上游层和相对于所述上游层的一个或多个下游层，并且确定是否关闭对所述下游层中的至少一者的至少一个省略层部分的处理，其中，所述确定取决于从处理当前帧的所述上游层中的一个或多个层输出的当前特征和与先前帧相关联的先前特征的版本之间的相关性。
13.如权利要求12所述的系统，其中，可用来具有要被省略的省略层部分的层是形成所述主神经网络的至少一个可用省略区段的多个连续下游卷积层。14.如权利要求...

【专利技术属性】
技术研发人员：诺姆，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：