图像处理方法、装置及其计算机程序产品制造方法及图纸

提出了一种通过卷积神经网络(convolutional neural network，CNN)处理图像的方法、装置和计算机程序产品。从图像源接收原始图像。原始图像具有预定义大小和高分辨率，并以图像源支持的第一颜色空间表示。然后，通过缩小第一颜色空间的原始图像来获得中间图像，并从第一颜色空间转换到第二颜色空间。接下来，通过将转换后的中间图像放大到原始图像的预定义大小来获得还原图像。所述放大是通过使用CNN来执行的，原始图像和转换后的中间图像作为输入，并返回还原图像。CNN在三元组集上预训练，该三元组集包括过去的原始图像、转换后的过去的中间图像和过去的还原图像。换后的过去的中间图像和过去的还原图像。换后的过去的中间图像和过去的还原图像。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、装置及其计算机程序产品


[0001]本专利技术涉及图像处理领域，更具体地，涉及一种用于使用卷积神经网络(convolutional neural network，CNN)处理图像的方法、装置和计算机程序产品。

技术介绍

[0002]图像处理管道(image processing pipeline，IPP)通常用于将输入光学传感器生成的原始图像转换为要渲染的所得图像。高性能IPP在消费者类(特别是移动)设备、像科学任务之类的特定领域任务(例如DNA测序)等至关重要。如今，人工智能(artificial intelligence，AI)和深度学习技术在许多IPP中被广泛使用。更具体地，CNN目前是与图像处理相关的大多数深度学习任务中的核心和最先进的技术。因此，高性能IPP需要CNN进行适当的推理。
[0003]获得基于CNN的高性能的IPP的一种可能方法是降低图像分辨率。简言之，这种方法包括缩小原始图像，以受控的方式处理缩小的图像，以及通过使用CNN将处理后的缩小的图像放大到原始大小。但是，上述方法针对特定领域，因为可能会对原始图像中的细节级别产生负面影响。特别地，尽管这种方法每降低N倍图像分辨率，就会减少N2倍计算，但它会造成包括严重的细节/质量损失在内的副作用。此外，如果原始图像的分辨率高于1080p(对应于1920
×
1080像素)，则一些现有的使用缩小的图像的基于CNN的IPP，例如可训练引导滤波器和深度双边学习，可能无法提供足够的实时处理性能。

技术实现思路
/>[0004]提供本
技术实现思路
是为了以简化的形式介绍在以下具体实施方式中进一步描述的一些概念。本
技术实现思路
并不旨在识别本专利技术的关键特征或基本特征，也不旨在用于限制本专利技术的范围。
[0005]本专利技术的一个目的是提供一种技术方案，用于将图像源的原始图像转换为适合图像渲染器的图像，而不导致严重的细节/质量损失，也不使用复杂的计算概念，如在可训练引导滤波器和深度双边学习中使用的概念。
[0006]上述目的是通过所附权利要求中独立权利要求的特征来实现的。进一步的实施例和示例从从属权利要求、具体实施方式和附图中是显而易见的。
[0007]根据第一方面，提供了一种图像处理方法，执行过程如下。首先，从图像源接收原始图像。原始图像具有预定义大小和高分辨率，并且原始图像以图像源支持的第一颜色空间表示。然后，通过缩小第一颜色空间的原始图像来获得中间图像，并从第一颜色空间转换到图像渲染器支持的第二颜色空间。接下来，通过将转换后的中间图像放大到原始图像的预定义大小，同时提供还原图像的类似高分辨率，获得还原图像。所述放大是通过使用卷积神经网络(convolutional neural network，CNN)来执行的，卷积神经网络用于接收原始图像和转换后的中间图像作为输入，并基于输入返回还原图像。CNN基于三元组的训练集进行预训练，每个三元组包括图像源的过去的原始图像，以及均与过去的原始图像相对应的转
换后的过去的中间图像和过去的还原图像。这样执行的方法可以简化图像源与图像渲染器之间的图像处理，同时提供还原图像的高分辨率。此外，这样执行的方法可以适用于对分辨率高于1080p的原始图像的实时处理。
[0008]在第一方面的一个实施例中，原始图像的预定义大小表示为(w，h)，其中，w和h分别是以像素为单位的原始图像的宽度和高度。反过来，执行所述缩小第一颜色空间的原始图像，使得中间图像具有表示为(w/4，h/4)的大小。这可以降低包括颜色空间转换等进一步图像处理的计算成本。
[0009]在第一方面的一个实施例中，三元组的训练集包括在内容、分辨率和光照条件上类似于接收到的原始图像的过去的原始图像。这可以使CNN得到更高效的训练。
[0010]在第一方面的一个实施例中，每个三元组的形成过程如下。首先接收以第一颜色空间表示的过去的原始图像，然后缩小以获得第一颜色空间的过去的中间图像。接下来，将以第一颜色空间表示的过去的中间图像转换到第二颜色空间。之后，通过将以第一颜色空间表示的过去的原始图像转换到第二颜色空间，获得过去的还原图像。最后，将过去的原始图像与转换后的过去的中间图像和过去的还原图像组合，以形成对应的三元组。这可以使基于这样形成的三元组的训练集训练的CNN更高效地操作。
[0011]在第一方面的一个实施例中，所述缩小原始图像和所述缩小每个过去的原始图像是通过使用相同的插值算法或不同的插值算法执行的。这可以使根据第一方面的方法在使用中更加灵活。
[0012]在第一方面的一个实施例中，原始图像包括高频分量和低频分量。在本实施例中，CNN包括用于从原始图像中提取高频分量的第一提取块，用于从转换后的中间图像中提取低频分量的第二提取块，以及用于将提取的高频和提取的低频分量合并到还原图像中的解码块。CNN的这种架构可以使CNN更高效地操作。
[0013]在第一方面的一个实施例中，第一提取块、第二提取块和解码块中的每一个包括至少一个神经元的2D卷积层。这可以使转换后的中间图像更高效地升级到还原图像。
[0014]在第一方面的一个实施例中，卷积神经网络中的第一提取块和第二提取块用于并行操作。这可以使CNN操作更快。
[0015]根据第二方面，提供了一种图像处理装置，包括至少一个处理器和耦合到至少一个处理器的存储器。存储器存储处理器可执行指令，当至少一个处理器执行处理器可执行指令时，使至少一个处理器：从图像源接收原始图像，原始图像具有预定义大小和高分辨率，并且原始图像以图像源支持的第一颜色空间表示；通过缩小第一颜色空间的原始图像，获得中间图像；将以第一颜色空间表示的中间图像转换到图像渲染器支持的第二颜色空间；通过将转换后的中间图像放大到原始图像的预定义大小，同时提供还原图像的类似高分辨率，获得还原图像，至少一个处理器用于通过使用卷积神经网络(convolutional neural network，CNN)执行所述放大，并且CNN用于接收原始图像和转换后的中间图像作为输入，并基于输入返回还原图像。至少一个处理器还用于基于三元组的训练集预训练CNN，每个三元组包括图像源的过去的原始图像，以及均与过去的原始图像相对应的转换后的过去的中间图像和过去的还原图像。这样实现的装置可以简化图像源与图像渲染器之间的图像处理，同时提供还原图像的高分辨率。此外，这样实现的装置可以适用于对分辨率高于1080p的原始图像的实时处理。
[0016]在第二方面的一个实施例中，原始图像的预定义大小表示为(w，h)，其中，w和h分别是以像素为单位的原始图像的宽度和高度。反过来，至少一个处理器用于执行所述缩小第一颜色空间的原始图像，使得中间图像具有表示为(w/4，h/4)的大小。这可以降低包括颜色空间转换等进一步图像处理的计算成本。
[0017]在第二方面的一个实施例中，三元组的训练集包括在内容、分辨率和光照条件上类似于接收到的原始图像的过去的原始图像。这可以使CNN得到更高效的训练。
[0018]在第二方本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法(200)，其特征在于，包括：从图像源接收(S202)原始图像(308)，所述原始图像具有预定义大小和高分辨率，并且所述原始图像以所述图像源支持的第一颜色空间表示；通过缩小所述第一颜色空间的所述原始图像，获得(S204)中间图像；将以所述第一颜色空间表示的所述中间图像转换(S206)到图像渲染器支持的第二颜色空间，获得转换后的中间图像(310)；通过将所述转换后的中间图像放大到所述原始图像的所述预定义大小，同时提供还原图像的类似高分辨率，获得(S208)所述还原图像，其中，所述放大是通过使用卷积神经网络(300)来执行的，所述卷积神经网络(300)用于接收所述原始图像(308)和所述转换后的中间图像(310)作为输入，并基于所述输入返回所述还原图像(312)，其中，所述卷积神经网络(300)基于三元组的训练集进行预训练，每个三元组包括所述图像源的过去的原始图像，以及均与所述过去的原始图像相对应的转换后的过去的中间图像和过去的还原图像。2.根据权利要求1所述的方法，其特征在于，所述原始图像的所述预定义大小表示为(w，h)，其中，w和h分别是以像素为单位的所述原始图像的宽度和高度，并且执行所述缩小所述第一颜色空间的所述原始图像，使得所述中间图像具有表示为(w/4，h/4)的大小。3.根据权利要求1或2所述的方法，其特征在于，所述三元组的训练集包括在内容、分辨率和光照条件上类似于所述接收到的原始图像的所述过去的原始图像。4.根据权利要求1至3中任一项所述的方法，其特征在于，每个三元组通过以下步骤形成：
‑
接收(S502)以所述第一颜色空间表示的所述过去的原始图像；
‑
通过缩小所述第一颜色空间的所述过去的原始图像，获得(S504)所述过去的中间图像；
‑
将以所述第一颜色空间表示的所述过去的中间图像转换(S506)到所述第二颜色空间；
‑
通过将以所述第一颜色空间表示的所述过去的原始图像转换到所述第二颜色空间，获得(S508)所述过去的还原图像；
‑
将所述过去的原始图像与所述转换后的过去的中间图像和所述过去的还原图像组合(S510)。5.根据权利要求4所述的方法，其特征在于，所述缩小原始图像和所述缩小每个所述过去的原始图像是通过使用相同的插值算法或不同的插值算法执行的。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述原始图像(308)包括高频分量和低频分量，所述卷积神经网络(300)包括：
‑
第一提取块(302)，用于从所述原始图像中提取所述高频分量；
‑
第二提取块(304)，用于从所述转换后的中间图像中提取所述低频分量；
‑
解码块(306)，用于将所述提取的高频分量和低频分量合并到所述还原图像中。7.根据权利要求6所述的方法，其特征在于，所述第一提取块(302)、所述第二提取块(304)和所述解码块(306)中的每一个包括至少一个神经元的2D卷积层。
8.根据权利要求6或7所述的方法，其特征在于，所述卷积神经网络(300)中的所述第一提取块(302)和所述第二提取块(304)用于并行操作。9.一种图像处理装置(100)，其特征在于，包括：至少一个处理器(104)；存储器(102)，耦合到所述至少一个处理器，并存储处理器可执行指令(106)，当所述至少一个处理器(104)执行所述处理器可执行指令(106)时，使所述至少一个处理器(104)：
‑
从图像源接收原始图像(308)，所述原始图像...

【专利技术属性】
技术研发人员：维克多，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：