一种图像升频系统及显示装置制造方法及图纸

本实用新型专利技术公开了一种图像升频系统及显示装置，采用卷积神经网络模块获取图像的特征图像，采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合成一分辨率放大n倍的特征图像。在复合器的升频过程中，输入信号中各特征图像的信息不损失的记载到生成的特征图像中，因此经过复合器后可以得到分辨率提升n倍的高质量图像。并且，在图像升频系统中可设置多个复合器进行逐次升频，每个复合器都可以执行单独倍数的升频功能，使系统可以根据需要灵活调整升频倍数。且由于复合器在将特征图像的分辨率放大n倍的同时，减少了复合器输出的特征图像的数量，从而减少下一级复合器或第一卷积神经网络模块的输入信号量，简化其计算量。

【技术实现步骤摘要】

本技术涉及图像信号处理
，尤其涉及一种图像升频系统及显示装 置。
技术介绍
目前，在图像信号处理的过程中，一般是利用标准的诸如双三次（bicubic)和线 性等标准升频（提高图像分辨率）方式对图像进行分辨率的提升。如图1所示，示出了一 个2X的升频方式，对输入图像的各像素（加上邻像素）使用四个不同的滤波器F1、滤波器 F2、滤波器F3和滤波器F4,每个滤波器产生四分之一的输出图像的像素，这个过程可以看 作是对输入图像应用4个滤波器（卷积）后交错或复用以创建宽度和高度翻倍的单一输出 图像。 但是，目前的图像升频系统数据计算量较大，升频倍数无法灵活调节。
技术实现思路
有鉴于此，本技术实施例提供了一种图像升频系统及显示装置，用以基于卷 积神经网络实现对图像分辨率高品质的升频，降低升频计算量，提高升频倍数调节的灵活 度。 因此，本技术实施例提供的一种图像升频系统，包括：级联的至少一个第一卷 积神经网络模块和至少一个复合器；其中， 升频系统的信号输入端与一所述第一卷积神经网络模块连接，升频系统的信号输 出端与一所述复合器连接； 所述复合器的信号输入端与一所述第一卷积神经网络模块的信号输出端连接，或 与另一所述复合器的信号输出端连接； 所述第一卷积神经网络模块，用于将输入到所述第一卷积神经网络模块的输入信 号的图像转换为多个特征图像并输出； 所述复合器，用于将输入到所述复合器的输入信号的特征图像中每n*n个特征图 像合成一分辨率为所述输入信号的特征图像η倍的特征图像并输出；输入到所述复合器的 输入信号中特征图像的数量为η*η的倍数，η为大于1的整数。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，所述 复合器的个数为两个或三个。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，各所 述复合器的信号输入端均与一所述第一卷积神经网络模块的信号输出端连接。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，所述 复合器为多个时，各所述复合器为升频倍数相同的复合器。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，所述 复合器为升频倍数为质数的复合器。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，所述 复合器为升频倍数为2的复合器。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，所述 复合器为自适应插值滤波器。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，还包 括：设置于升频系统的信号输出端与所述复合器之间的第二卷积神经网络模块； 所述第二卷积神经网络模块，用于对所述复合器的输出信号的特征图像进行画质 优化。 在一种可能的实施方式中，本技术实施例提供的上述图像升频系统中，所述 第一卷积神经网络模块和第二卷积神经网络模块包括至少一层由多个滤波单元组成的卷 积层。 本技术实施例提供了一种显示装置，包括本技术实施例提供的上述图像 升频系统。 本技术实施例的有益效果包括： 本技术实施例提供的一种图像升频系统及显示装置，采用卷积神经网络模块 获取图像的特征图像，采用复合器进行图像的升频处理将输入信号中每n*n个特征图像合 成一分辨率放大η倍的特征图像，在复合器的升频过程中，输入信号中各特征图像的信息 不损失的记载到生成的特征图像中，因此图像每经过一个升频倍数为η的复合器后，图像 分辨率可提升η倍。并且，在图像升频系统中可设置不止一个复合器进行逐次升频，每个复 合器都可以执行单独倍数的升频功能，使系统可以根据需要灵活调整升频倍数，实现了一 种针对不同升频倍数可通用的升频系统。进一步地，由于每个复合器在将特征图像的分辨 率放大η倍的同时，减少了复合器输出的特征图像的数量，可以减少级联的下一级复合器 或第一卷积神经网络模块的输入信号量，从而简化升频计算量。【附图说明】 图1为现有技术中2χ的升频示意图； 图2a_图2e分别为本技术实施例提供的图像升频系统的结构示意图； 图3为本技术实施例提供的图像升频系统中复合器的升频示意图； 图4为本技术实施例提供的图像升频系统中卷积神经网络模块的结构示意 图； 图5为本技术实施例提供的图像升频系统的训练方法的流程示意图。【具体实施方式】 卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研 究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减 少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作 为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识 别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他 形式的变形具有高度不变性。 基于卷积神经网络对于二维形状即图像的高度不变形，本技术提供一种图像 升频系统、对该图像升频系统进行训练的方法，以及根据训练后的图像升频系统对输入图 像进行升频的方法。该系统具体采用卷积神经网络对图像进行升频，在保证不丢失图像信 息的前提下，可有效的将低分辨率的图像转换为高分辨率的图像。 下面结合附图，对本技术实施例提供的图像升频系统及显示装置的具体实施 方式进行详细地说明。 本技术实施例提供的一种图像升频系统，如图2a至图2d所示，包括：级联的 至少一个第一卷积神经网络模块（Convolutional Network，CN)和至少一个复合器（Muxer Layer，ML);其中， 升频系统的信号输入端与一第一卷积神经网络模块连接，升频系统的信号输出端 与一复合器连接； 复合器的信号输入端与一第一卷积神经网络模块的信号输出端连接，或与另一复 合器的信号输出端连接； 第一卷积神经网络模块，用于将输入到第一卷积神经网络模块的输入信号的图像 转换为多个特征图像并输出给复合器； 复合器，用于将输入到复合器的输入信号的特征图像中每n*n个特征图像合成一 分辨率为输入信号的特征图像η倍的特征图像并输出；输入到复合器的输入信号中特征图 像的数量为η*η的倍数，η为大于1的整数。 在本技术实施例提供的上述图像升频系统中，采用复合器进行图像的升频处 理将输入信号中每个特征图像合成一分辨率放大η倍的特征图像，在复合器的升频过 程中，输入信号中各特征图像的信息不损失的记载到生成的特征图像中，因此图像每经过 一个升频倍数为η的复合器后，图像分辨率可提升η倍。并且，在图像升频系统中可设置不 止一个复合器进行逐次升频，每个复合器都可以执行单独倍数的升频功能，使系统可以根 据需要灵活调整升频倍数，实现了一种当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种图像升频系统，其特征在于，包括：级联的至少一个第一卷积神经网络模块和至少一个复合器；其中，升频系统的信号输入端与一所述第一卷积神经网络模块连接，升频系统的信号输出端与一所述复合器连接；所述复合器的信号输入端与一所述第一卷积神经网络模块的信号输出端连接，或与另一所述复合器的信号输出端连接；所述第一卷积神经网络模块，用于将输入到所述第一卷积神经网络模块的输入信号的图像转换为多个特征图像并输出；所述复合器，用于将输入到所述复合器的输入信号的特征图像中每n*n个特征图像合成一分辨率为所述输入信号的特征图像n倍的特征图像并输出；输入到所述复合器的输入信号中特征图像的数量为n*n的倍数，n为大于1的整数。

【技术特征摘要】

【专利技术属性】
技术研发人员：那彦波，张丽杰，何建民，
申请(专利权)人：京东方科技集团股份有限公司，
类型：新型
国别省市：北京;11