基于非局部特征的图像增强系统、图像增强方法技术方案

本发明专利技术公开了一种基于非局部特征的图像增强系统和方法。本发明专利技术包括一种端到端的可训练引导系统，该系统包括特征提取块、非局部特征生成器以及非局部特征增强块，旨在利用非局部特征概念处理低级图像问题。本发明专利技术还采用非局部特征合并块校正平移特征，进一步改进非局部特征，最终重构校正后的特征以形成增强图像。像。像。

【技术实现步骤摘要】
基于非局部特征的图像增强系统、图像增强方法


[0001]本专利技术通常涉及用于增强图像的系统和方法，更具体地，本专利技术基于非局部特征进行图像处理。

技术介绍

[0002]处理图像时可以使用相似像素或相似特征来实现去噪、去模糊、超分辨率等。但是，如果想要找到更接近的相似特征，就需要进行更多计算。尤其在传统方式下，不但效率低，而且不精确。最近，对于超分辨率、去噪、多帧系统图像增强或视频增强等需要像素关系来解决问题的很多图像处理任务中，深度学习模型都能够达到良好性能。
[0003]Adobe公司所属的专利公告号为9,087,390的已公告美国专利公开了一种与放大图像序列相关的技术。此外，该专利还公开了基于包括多个帧的原始图像序列中的原始帧生成上采样帧。尽管该专利提供了图像放大以引入噪声或放大图像中现有的噪声，但仍然缺乏端到端的可训练引导系统或方法。
[0004]Facebook公司所属的专利申请号为20190156210的另一项美国专利申请公开了一种与网络环境内利用机器学习进行图像分析和视频分析相关的技术，尤其涉及用于智能助理系统的硬件和软件。虽然该专利技术包括机器学习，是对先前专利的改进，但仍未能低成本且精确地实现图像增强。
[0005]上海交通大学所属的专利公告号为109360156的另一项中国专利申请提供了一种基于生成对抗网络的图像分块的单张图像去雨方法或系统。该专利技术鉴于现有技术的上述不足，提供了一种基于生成对抗网络的图像分块的单张图像去雨方法，以解决各种雨天情况下捕获的单张图像的恢复等问题。尽管如此，该专利仍缺乏增强多帧图像的能力，因为该系统主要专注于从图像中去除雨线。
[0006]本专利技术旨在提供一种用于图像增强系统和方法。更具体地，本专利技术基于非局部特征进行图像处理。此外，为了提高非局部性能并利用深度学习网络的能力，本专利技术提出了一种端到端的可训练引导系统，该系统包括特征提取块、非局部特征生成器、非局部特征增强块，用于利用非局部特征概念处理低级图像问题。该系统可以通过为多帧系统或单帧系统创建非局部特征来进行灵活的图像增强。和基于深度学习的其他非局部方法相比，该系统只需要很低的计算成本就可以获得增强图像。
[0007]因此，为了克服现有技术的缺点，例如对人的头发和手等难处理的人体部位进行图像处理，需要提供分层混合损失来代替传统的分割损失。分层混合损失体现为设计的权重。最后，为了定制人像分割应用，降低学习空间维度，构思了一种独特的数据增强策略，使得训练数据均匀分布，从而性能更加稳定，收敛速度更快。鉴于上述各专利技术，本领域需要一种系统来克服或缓解现有技术的上述缺点。
[0008]目前，现有技术中显然存在开发的适合各种目的的多种方法和系统。此外，虽然这些专利技术可能适用于它们所针对的特定目的，但是它们不适用于如前所述的本专利技术的目的。因此，需要一种基于非局部特征进行图像增强的高级图像增强系统。

技术实现思路

[0009]本专利技术提出了一种端到端的可训练引导系统，该系统包括特征提取块、非局部特征生成器以及非局部特征增强块，旨在利用非局部特征概念处理低级图像问题。
[0010]可以将图像发送到特征提取块(Feature Extraction Block，FEB)中进行特征提取。抽象特征集通过非局部特征生成器(Non
‑
local Feature Generator，NLFG)生成非局部特征。NLFG通过手动设计的移位(shift)在九个方向上平移特征，以创建非局部条件。然后，非局部特征增强块(Non
‑
local Feature Enhancement Block，NLFEB)利用这些非局部特征进行图像增强操作。NLFEB中引入非局部特征合并块(Non
‑
Local Feature Merge Block，NLFMB)模型来揭示特征像素间的关系。NLFMB可以校正平移特征，进一步改进非局部特征。最后，下一个模型可利用合适的条件图(condition map)对校正后的特征进行重构，以实现独特的增强目的。
[0011]本专利技术还提出了一种基于非局部特征处理图像的图像增强系统。图像增强系统包括特征提取模块，用于接收图像，特征提取模块包括处理单元和提取单元。处理单元处理图像的至少一帧以生成多个特征合并层。处理单元将多个特征合并层中的至少一个特征合并层与条件图连接，以形成一个或多个合并特征图。提取单元从一个或多个合并特征图中提取多个特征提取层，并从多个特征提取层中提取多个特征。
[0012]非局部特征生成器包括移位单元和填充单元。移位单元将九个不同方向的移位施加在多个特征上，以形成多个特征平移层。填充单元通过实施填充和裁剪操作，固定多个特征平移层上的移位，以形成一个或多个平移特征图。
[0013]非局部特征增强模块包括合并单元、重构单元以及连接单元。合并单元合并一个或多个平移特征图，以形成一个或多个非局部合并特征图。重构单元基于一个或多个非局部合并特征图构造多个重构层。连接单元连接多个重构层与条件图，形成增强图像。
[0014]本专利技术的主要目的是提供一种系统，该系统可以通过为多帧系统或单帧系统创建非局部特征来进行灵活的图像增强。和基于深度学习的其他非局部方法相比，该系统只需要很低的计算成本就可以获得增强图像。该系统提供了一种用于生成特征的非局部特征生成器，该特征包含从特征提取块中提取的特征之间的移位。此外，该系统通过合并非局部特征来利用非局部行为，相对于其他深度学习方法，降低了计算成本。
[0015]本专利技术的又一目的是提供一种在非局部特征增强模块中引入的非局部特征合并块(NLFMB)模型，以揭示特征像素之间的关系。
[0016]本专利技术的另一个目的是提供一种非局部特征合并块，校正平移特征，并进一步改进非局部特征，并提供一种重构单元，重构校正后的特征。
[0017]本专利技术的又一目的是提供一种条件图，所述条件图可以是用于去噪的噪声水平图，或用于锐化的锐度权重。
[0018]本专利技术的另一个目的是提供一种非局部特征生成器，通过平移特征在九个方向上创建九组特征。此外，利用适当移位提供了九个方向的平移。
[0019]本专利技术的另一个目的是提供一种非局部特征增强块，包括深度学习块，以避免特征之间大的运动。
[0020]本专利技术的另一个目的是提供一种深度学习块，所述深度学习块可以是可变形卷积网络、自注意力机制和三维卷积网络中的任意一个。DCN揭示了特征之间的关系，以扭曲特
征用于特征配准。自注意力机制关注的是像素关系。
[0021]以下结合附图所做的详细描述将使本专利技术的目的和方面变得更为明显，这些附图通过示例说明了根据本专利技术实施例的特征。为了实现上述及相关目的，本专利技术可以以附图所示的形式实施，但要关注以下事实，附图仅是说明性的，可以在所附权利要求范围内对说明和描述的具体结构进行变更。
[0022]尽管上述通过各示例性实施例和实施方式对本专利技术进行了描述，但应理解，在一个或多个单独实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于增强图像的图像增强系统，包括：特征提取模块，用于接收图像，其中，所述特征提取模块包括：处理单元，其中，所述处理单元处理所述图像的至少一帧以生成多个特征合并层，所述处理单元进一步将所述多个特征合并层中的至少一个特征合并层与条件图连接，以形成一个或多个合并特征图；以及提取单元，其中，所述提取单元从所述一个或多个合并特征图中提取多个特征提取层，所述提取单元还从所述多个特征提取层中提取多个特征；非局部特征生成器，其中，所述非局部特征生成器对所述多个特征进行平移，以形成一个或多个平移特征图；以及非局部特征增强模块，其中，所述非局部特征增强模块对所述一个或多个平移特征图进行合并，以形成一个或多个非局部合并特征图，其中，所述非局部特征增强模块包括：重构单元，其中，所述重构单元基于所述一个或多个非局部合并特征图构造多个重构层；以及连接单元，其中，所述连接单元连接所述多个重构层与所述条件图，以形成增强图像。2.根据权利要求1所述的图像增强系统，其中，所述非局部特征增强模块内的非局部特征合并块NLFMB模型识别像素之间的关系以形成所述增强图像。3.根据权利要求2所述的图像增强系统，其中，所述非局部特征合并块NLFMB在形成所述一个或多个非局部合并特征图之前对所述一个或多个平移特征图进行检查并校正。4.根据权利要求1所述的图像增强系统，其中，所述条件图为用于去噪的噪声水平图。5.根据权利要求1所述的图像增强系统，其中，所述条件图通过对所述多个特征合并层施加锐度权重形成所述一个或多个合并特征图来增强图像。6.根据权利要求1所述的图像增强系统，其中，所述非局部特征生成器通过时间维度检查空间相似性，以降低计算成本。7.根据权利要求1所述的图像增强系统，其中，所述非局部特征生成器在所述多个特征上生成九个不同方向，形成所述多个特征平移层。8.根据权利要求1所述的图像增强系统，其中，所述非局部特征增强模块包括深度学习块，以避免所述多个特征提取层之间产生大的移位。9.根据权利要求8所述的图像增强系统，其中，所述深度学习块基于可变形卷积网络DCN、自注意力机制和三维卷积网络中的任意一个。10.根据权利要求9所述的图像增强系统，其中，所述DCN识别所述一个或多个非局部合并特征图之间的关系以用于配准。11.根据权利要求9所述的图像增强系统，其中所述自注意力机制检查所述一个或多个非局部合并特征图的像素关系。12.根据权利要求9所述的图像增强系统，其中，所述自注意力机制包括空间注意力和时间注意力。13.根据权利要求9所述的图像增强系统，其中，所述三维卷积网络合并所述一个或多个平移特征图以识别至少一个平移特征图，以形成所述一个或多个非局部合并特征图。14.根据权利要求1所述的图像增强系统，其中，所述非局部特征生成器在U
‑
Net编码器中提取所述多个特征。15.一种基于非局部特征处理图像的图像增强系统，其中，所述图像增强系统包括：
特征提取模块，用于接收图像，其中所述特征提取模块包括：处理单元，其中，所述处理单元处理所述图像的至少一帧以生成多个特征合并层，所述处理单元进一步将所述多个特征合并层中的至少一个特征合并层与条件图连接，以形成一个或多个合并特征图；以及提取单元，其中，所述提取单元从所述一个或多个合并特征图中提取多个特征提取层，所述提取单元还从所述多个特征提取层中提取多个特征；非局部特征生成器，其中，所述非局部特征生成器包括：移位...

【专利技术属性】
技术研发人员：沈山岚，段宇波，
申请(专利权)人：黑芝麻智能科技重庆有限公司，
类型：发明
国别省市：