图像处理方法和装置制造方法及图纸

一种图像处理方法和图像处理装置。该图像处理方法包括：使用第一卷积神经网络提取输入的第一图像的特征，以及使用第二卷积神经网络重构并输出图像。所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层。该图像处理方法可以用于例如图像的风格迁移处理。

Image processing method and apparatus

Image processing method and image processing device. The image processing method includes extracting the characteristics of the input first image using a first convolution neural network, and reconstructing and outputting the image using a second convolution neural network. The first convolutional neural network comprises a plurality of first layer and interposed between the adjacent first volume between a plurality of laminated first pool layer, the first volume of each layer used to generate and output the first second convolution characteristics; convolutional neural network includes a plurality of second connecting coil and inserted between the adjacent layers the second volume multiple layer between the composite layer, upper layer sampling. The image processing method can be used, for example, the style transfer processing of an image.

【技术实现步骤摘要】
图像处理方法和装置
本专利技术的实施例涉及一种图像处理方法和装置。
技术介绍
当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。卷积神经网络(ConvolutionalNeuralNetwork，CNN)是近年发展起来并引起广泛重视的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有前向反馈的网络。现在，CNN的应用范围已经不仅仅限于图像识别领域，也可以应用在人脸识别、文字识别、图像处理等应用方向。
技术实现思路
本专利技术的至少一个实施例提供了一种图像处理方法，该方法包括：使用第一卷积神经网络提取输入的第一图像的特征，以及使用第二卷积神经网络重构并输出图像。所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。例如，在至少一个实施例的图像处理方法中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。例如，在至少一个实施例的图像处理方法中，所述复合层每个获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。例如，根据至少一个实施例的图像处理方法，还包括使用第三卷积神经网络提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等，并且所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。例如，根据至少一个实施例的图像处理方法，还包括对于所述多个第二卷积层中至少之一，选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。例如，根据至少一个实施例的图像处理方法，还包括对于所述多个第二卷积层中每个，都选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。例如，在至少一个实施例的图像处理方法中，所述第一卷积特征是内容特征，所述第三卷积特征是风格特征；或者，所述第一卷积特征是风格特征，所述第三卷积特征是内容特征。例如，在至少一个实施例的图像处理方法中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。本专利技术的至少一个实施例提供了一种图像处理装置，该装置包括：第一卷积神经网络模块和第二卷积神经网络模块。第一卷积神经网络模块用于提取输入的第一图像的特征，其中，所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络模块用于重构并输出图像，其中，所述第二神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；并且，所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。例如，在至少一个实施例的图像处理装置中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。例如，在至少一个实施例的图像处理装置中，所述复合层获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。例如，根据至少一个实施例的图像处理装置还包括第三卷积神经网络模块，第三卷积神经网络模块用于提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等；并且，所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。例如，根据至少一个实施例的图像处理装置，还包括选择模块，其中，对于所述多个第二卷积层中至少之一，通过所述选择模块配置为选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。例如，在至少一个实施例的图像处理装置中，对于所述多个第二卷积层中每个，所述选择模块配置为选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。例如，在至少一个实施例的图像处理装置中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。本专利技术的至少一个实施例提供了一种图像处理装置，该图像处理装置包括处理器和存储器，该存储器上存储有计算机程序，所述计算机程序被所述处理器运行时可以执行根据本专利技术至少一实施例的图像处理方法。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本专利技术的一些实施例，而非对本专利技术的限制。图1示出了一种神经网络的简单示意图。图2A示出了卷积神经网络的一种典型构型；图2B抽象地示出了的卷积神经网络中一个神经元的输入与输出。图3示出了一个使用卷积神经网络的输入图像的分析模块的示意图。图4A和图4B分别示出了根据本专利技术至少一个实施例的图像处理装置和处理方法的示意图。图5A和图5B示出了复合层的两个示例。图6示出了根据本专利技术另一个实施例的图像处理方法和装置的示意图。图7A和图7B示出了根据本专利技术再一个实施例的图像处理装置和方法的示意图。图8示出了根据本专利技术再本文档来自技高网...

【技术保护点】
一种图像处理方法，包括：使用第一卷积神经网络提取输入的第一图像的特征，其中，所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；使用第二卷积神经网络重构并输出图像，其中，第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；其中，所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。

【技术特征摘要】
1.一种图像处理方法，包括：使用第一卷积神经网络提取输入的第一图像的特征，其中，所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；使用第二卷积神经网络重构并输出图像，其中，第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；其中，所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。2.根据权利要求1的图像处理方法，其中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。3.根据权利要求1的图像处理方法，其中，所述复合层每个获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。4.根据权利要求1-3任一的图像处理方法，还包括：使用第三卷积神经网络提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等，并且所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。5.根据权利要求4的图像处理方法，还包括：对于所述多个第二卷积层中至少之一，选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。6.根据权利要求4的图像处理方法，还包括：对于所述多个第二卷积层中每个，都选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。7.根据权利要求5或6的图像处理方法，所述第一卷积特征是内容特征，所述第三卷积特征是风格特征；或者，所述第一卷积特征是风格特征，所述第三卷积特征是内容特征。8.根据权利要求4的图像处理方法，其中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。9.一种图像处理装置，包括：第一卷积神...

【专利技术属性】
技术研发人员：刘瀚文，那彦波，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11