图像处理方法及装置、训练方法、计算机可读存储介质制造方法及图纸

图像处理方法及装置、训练方法、计算机可读存储介质。本公开提供了一种图像处理方法，包括：获取输入图像和N

【技术实现步骤摘要】
图像处理方法及装置、训练方法、计算机可读存储介质


[0001]本公开涉及显示
，具体涉及一种图像处理方法及装置、神经网络 的训练方法、非瞬态计算机可读存储介质。

技术介绍

[0002]当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获 和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势 在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。卷积神 经网络(Convolutional Neural Network，CNN)是近年发展起来并引起广泛重视 的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有 前向反馈的网络。

技术实现思路

[0003]本公开提出了一种图像处理方法、图像处理装置、神经网络的训练方法、 非瞬态计算机可读存储介质。
[0004]第一方面，本公开提供一种图像处理方法，包括：
[0005]获取输入图像和N
‑
1个层级的动量项，N为正整数，且N>2；
[0006]基于所述输入图像，生成分辨率从高到低排列的N个层级的初始特征图像；
[0007]对于所述N个层级的初始特征图像，基于第i+1层级的初始特征图像和第i 层级的动量项，进行第i层级的迭代反投影处理，以生成第i层级的更新特征图 像；i＝1，2，
…
，N
‑
1；
[0008]基于第1层级的更新特征图像生成输出图像。
[0009]在一些实施例中，每个层级的迭代反投影处理包括：下采样处理、联接处 理、上采样处理、第一叠加处理和第二叠加处理；
[0010]第i层级的下采样处理包括：基于第i层级的迭代反投影处理的输入进行下 采样，生成第i层级的下采样输出；
[0011]第i层级的联接处理包括：基于所述第i层级的下采样输出和第i+1层级的 初始特征图像进行联接操作，生成第i层级的联合输出；
[0012]第i层级的上采样处理包括：基于所述第i层级的联合输出生成第i层级的 上采样输出；
[0013]第i层级的第一叠加处理包括：基于第i层级的第一叠加输入与第i层级的 上采样输出进行叠加，生成第i层级的第一叠加输出；
[0014]第i层级的第二叠加处理包括：将所述第i层级的迭代反投影处理的输入与 所述第i层级的第一叠加输出进行叠加，生成第i层级的迭代反投影处理的输出；
[0015]第j+1层级的迭代反投影处理嵌套在第j层级的下采样处理和第j层级的联 接处理之间，所述第j+1层级的迭代反投影处理的输入包括第j层级的下采样输 出，其中，j＝1，2，
…
，N
‑
2；其中，至少一个层级的迭代反投影处理连续执行 多次，且后一次迭代反投影处
理的输入包括前一次迭代反投影处理的输出；后 一次迭代反投影处理中的第一叠加处理的第一叠加输入包括前一次迭代反投影 处理中的第一叠加处理的第一叠加输出，第一次迭代反投影处理中的第一叠加 输入包括本层级的动量项，第1层级的更新特征图像包括第1层级的最后一次 迭代反投影处理的输出。
[0016]在一些实施例中，基于所述第i层级的下采样输出和第i+1层级的初始特征 图像进行联接，生成第i层级的联合输出，具体包括：
[0017]将所述第i层级的下采样输出作为所述第i+1层级的迭代反投影处理的输入， 以生成所述第i+1层级的迭代反投影处理的输出；以及，将所述第i+1层级的迭 代反投影处理的输出与所述第i+1层级的初始特征图像进行联接，以生成所述第 i层级的联合输出。
[0018]在一些实施例中，基于所述输入图像，生成分辨率从高到低排列的N个层 级的初始特征图像，包括：
[0019]对所述输入图像进行N个不同层级的分析处理，以分别生成分辨率从高到 低排列的所述N个层级的初始特征图像。
[0020]在一些实施例中，基于第1层级的更新特征图像生成输出图像，包括：
[0021]对所述第1层级的更新特征图像进行转换，以生成所述输出图像。
[0022]在一些实施例中，基于所述输入图像，生成分辨率从高到低排列的N个层 级的初始特征图像，包括：
[0023]将所述输入图像作为第1层级的中间输入图像，对所述输入图像进行下采 样，以分别生成分辨率从高到低排列的第2层至第N层级的中间输入图像；
[0024]对每个层级的中间输入图像进行分析处理，生成每个层级的输入特征图像； 其中，将第N层级的输入特征图像作为第N层级的初始特征图像；
[0025]对于前N
‑
1个层级中的每个层级而言，对本层级的所述中间输入图像依次 进行下采样和分析处理，生成中间特征图像；将本层级的所述中间特征图像与 下一层级的所述初始特征图像进行联接，并将联接后生成的图像进行上采样， 将上采样后的图像与本层级的所述动量项进行叠加，生成第一动量项；将所述 第一动量项与本层级的所述输入特征图像进行叠加，生成本层级的所述初始特 征图像。
[0026]在一些实施例中，每个层级的迭代反投影处理连续执行M次，M为大于1 的整数，每次迭代反投影处理包括下采样处理、联接处理、上采样处理、第一 叠加处理和第二叠加处理；
[0027]第i层级的第m次迭代反投影处理中的下采样处理包括：基于第i层级的第 m次迭代反投影处理的输入进行下采样，生成第i层级的第m次迭代反投影处 理的下采样输出；其中，第i层级的初始特征图像包括第i层级的第1次迭代反 投影处理的输入，第i层级的第1次之后的每次迭代反投影处理的输入包括前一 次迭代反投影处理的输出；
[0028]第i层级的第m次迭代反投影处理中联接处理包括：基于所述第i层级的第 m次迭代反投影处理的下采样输出和第i+1层级的第m次迭代反投影处理的输 出，进行联接操作，以生成第i层级的第m个补偿特征图像；
[0029]第i层级的第m次迭代反投影处理中上采样处理包括：基于第i层级的第m 个补偿特征图像进行上采样，生成第i层级的第m次迭代反投影处理的上采样 输出；
[0030]第i层级的第1次迭代反投影处理中的第一叠加处理包括：基于第i层级的 第1次
迭代反投影处理的上采样输出和第i层级的第一动量项，进行叠加操作， 以生成第i层级的第1次迭代反投影处理的第一叠加输出；第i层级的第1次之 后的每次迭代反投影处理中的第一叠加处理包括：基于本次迭代反投影处理的 上采样输出和前一次迭代反投影处理的第一叠加输出，进行叠加操作，以生成 本次迭代反投影处理的第一叠加输出；
[0031]第i层级的第1次迭代反投影处理中的第二叠加处理包括：基于第i层级的 第1次迭代反投影处理的第一叠加输出和第i层级的初始特征图像，进行叠加操 作，以生成第i层级的第1次迭代反投影处理的第二叠加输出；第i层级的第1 次之后的每次迭代反投影处理中的第二叠加处理包括：基于本次迭代反投影处 理的第一叠加输出和上一次迭代反投影处理的第二叠加输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取输入图像和N
‑
1个层级的动量项，N为正整数，且N>2；基于所述输入图像，生成分辨率从高到低排列的N个层级的初始特征图像；对于所述N个层级的初始特征图像，基于第i+1层级的初始特征图像和第i层级的动量项，进行第i层级的迭代反投影处理，以生成第i层级的更新特征图像；i＝1，2，
…
，N
‑
1；基于第1层级的更新特征图像生成输出图像。2.根据权利要求1所述的图像处理方法，其特征在于，每个层级的迭代反投影处理包括：下采样处理、联接处理、上采样处理、第一叠加处理和第二叠加处理；第i层级的下采样处理包括：基于第i层级的迭代反投影处理的输入进行下采样，生成第i层级的下采样输出；第i层级的联接处理包括：基于所述第i层级的下采样输出和第i+1层级的初始特征图像进行联接操作，生成第i层级的联合输出；第i层级的上采样处理包括：基于所述第i层级的联合输出生成第i层级的上采样输出；第i层级的第一叠加处理包括：基于第i层级的第一叠加输入与第i层级的上采样输出进行叠加，生成第i层级的第一叠加输出；第i层级的第二叠加处理包括：将所述第i层级的迭代反投影处理的输入与所述第i层级的第一叠加输出进行叠加，生成第i层级的迭代反投影处理的输出；第j+1层级的迭代反投影处理嵌套在第j层级的下采样处理和第j层级的联接处理之间，所述第j+1层级的迭代反投影处理的输入包括第j层级的下采样输出，其中，j＝1，2，
…
，N
‑
2；其中，至少一个层级的迭代反投影处理连续执行多次，且后一次迭代反投影处理的输入包括前一次迭代反投影处理的输出；后一次迭代反投影处理中的第一叠加处理的第一叠加输入包括前一次迭代反投影处理中的第一叠加处理的第一叠加输出，第一次迭代反投影处理中的第一叠加输入包括本层级的动量项，第1层级的更新特征图像包括第1层级的最后一次迭代反投影处理的输出。3.根据权利要求2所述的图像处理方法，其特征在于，基于所述第i层级的下采样输出和第i+1层级的初始特征图像进行联接，生成第i层级的联合输出，具体包括：将所述第i层级的下采样输出作为所述第i+1层级的迭代反投影处理的输入，以生成所述第i+1层级的迭代反投影处理的输出；以及，将所述第i+1层级的迭代反投影处理的输出与所述第i+1层级的初始特征图像进行联接，以生成所述第i层级的联合输出。4.根据权利要求2所述的图像处理方法，其特征在于，基于所述输入图像，生成分辨率从高到低排列的N个层级的初始特征图像，包括：对所述输入图像进行N个不同层级的分析处理，以分别生成分辨率从高到低排列的所述N个层级的初始特征图像。5.根据权利要求2所述的图像处理方法，其特征在于，基于第1层级的更新特征图像生成输出图像，包括：对所述第1层级的更新特征图像进行转换，以生成所述输出图像。6.根据权利要求1所述的图像处理方法，其特征在于，基于所述输入图像，生成分辨率从高到低排列的N个层级的初始特征图像，包括：将所述输入图像作为第1层级的中间输入图像，对所述输入图像进行下采样，以分别生
成分辨率从高到低排列的第2层至第N层级的中间输入图像；对每个层级的中间输入图像进行分析处理，生成每个层级的输入特征图像；其中，将第N层级的输入特征图像作为第N层级的初始特征图像；对于前N
‑
1个层级中的每个层级而言，对本层级的所述中间输入图像依次进行下采样和分析处理，生成中间特征图像；将本层级的所述中间特征图像与下一层级的所述初始特征图像进行联接，并将联接后生成的图像进行上采样，将上采样后的图像与本层级的所述动量项进行叠加，生成第一动量项；将所述第一动量项与本层级的所述输入特征图像进行叠加，生成本层级的所述初始特征图像。7.根据权利要求6所述的图像处理方法，其特征在于，每个层级的迭代反投影处理连续执行M次，M为大于1的整数，每次迭代反投影处理包括下采样处理、联接处理、上采样处理、第一叠加处理和第二叠加处理；第i层级的第m次迭代反投影处理中的下采样处理包括：基于第i层级的第m次迭代反投影处理的输入进行下采样，生成第i层级的第m次迭代反投影处理的下采样输出；其中，第i层级的初始特征图像包括第i层级的第1次迭代反投影处理的输入，第i层级的第1次之后的每次迭代反投影处理的输入包括前一次迭代反投影处理的输出；第i层级的第m次迭代反投影处理中联接处理包括：基于所述第i层级的...

【专利技术属性】
技术研发人员：那彦波，卢运华，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：