图像超分辨率重建方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像超分辨率重建方法、装置、设备及存储介质，涉及图像处理领域，其包括：获取包含目标对象的低分辨率图像；提取低分辨率图像中目标对象的掩模图像；根据掩模图像，在低分辨率图像中得到目标对象的低分辨率区域图像；利用超分辨率神经网络处理低分辨率区域图像，得到目标对象的超分辨率区域图像；对低分辨率图像进行上采样操作，得到上采样图像；融合上采样图像和超分辨率区域图像，得到低分辨率图像的超分辨率图像，上采样图像、超分辨率区域图像和超分辨率图像具有相同的分辨率。采用上述方法可以解决相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
图像超分辨率重建方法、装置、设备及存储介质


[0001]本申请实施例涉及图像处理
，尤其涉及一种图像超分辨率重建方法、装置、设备及存储介质。

技术介绍

[0002]超分辨率(Super Resolution,SR)重建可理解为基于低分辨率图像重建出相应的高分辨率图像。超分辨率在视频会议、视频学习等视频传输场景下得到了广泛的应用。比如，发送端采集视频数据后在网络中传输低分辨率的视频数据，以节省网络资源、提高传输速度，之后，接收端接收视频数据后利用超分辨率技术重建出高分辨率的视频数据，以实现播放高清的视频数据。一些相关技术中，对视频数据进行超分辨率时主要采用下述两种方案：一种是利用轻量级网络逐帧处理视频数据中的图像，对图像中的显示内容进行超分辨率，进而实现视频数据的超分辨率，如利用FSRCNN、ESPCN或IMDN等用于超分辨率的轻量级网络逐帧处理视频数据中的图像；一种是利用FSRVR或EDVR等用于超分辨率的网络对视频数据中的多帧图像进行处理，以基于多帧图像重构出一帧高分辨率图像，进而实现视频数据的超分辨率。专利技术人在实现本专利技术的过程中，发现上述相关技术存在如下缺陷：无论是利用超分辨率的轻量级网络逐帧处理视频数据中的图像，还是基于视频数据中的多帧图像重构一帧高分辨率图像，均具有较慢的处理速度，无法满足视频场景下超分辨率的速度要求，降低了视频会议的会议体验。

技术实现思路

[0003]本申请一个实施例提供了一种图像超分辨率重建方法、装置、设备及存储介质，以解决相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。
[0004]第一方面，本申请实施例提供了一种图像超分辨率重建方法，包括：
[0005]获取包含目标对象的低分辨率图像；
[0006]提取所述低分辨率图像中所述目标对象的掩模图像；
[0007]根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像；
[0008]利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像；
[0009]对所述低分辨率图像进行上采样操作，得到上采样图像；
[0010]融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像，所述上采样图像、所述超分辨率区域图像和所述超分辨率图像具有相同的分辨率。
[0011]第二方面，本申请实施例还提供了一种图像超分辨率重建装置，包括：
[0012]图像获取模块，用于获取包含目标对象的低分辨率图像；
[0013]掩模提取模块，用于提取所述低分辨率图像中所述目标对象的掩模图像；
[0014]区域确定模块，用于根据所述掩模图像，在所述低分辨率图像中得到所述目标对
象的低分辨率区域图像；
[0015]图像超分辨率模块，用于利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像；
[0016]图像上采样模块，用于对所述低分辨率图像进行上采样操作，得到上采样图像；
[0017]图像融合模块，用于融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像，所述上采样图像、所述超分辨率区域图像和所述超分辨率图像具有相同的分辨率。
[0018]第三方面，本申请实施例还提供了一种图像超分辨率重建设备，包括：
[0019]一个或多个处理器；
[0020]存储器，用于存储一个或多个程序；
[0021]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像超分辨率重建方法。
[0022]第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像超分辨率重建方法。
[0023]上述图像超分辨率重建方法、装置、设备及存储介质，通过获取包含目标对象的低分辨率图像，基于低分辨率图像得到包含目标对象的掩模图像，之后，根据掩模图像确定低分辨率图像中目标对象所在区域的低分辨率区域图像，利用超分辨率神经网络得到低分辨率区域图像对应的超分辨率区域图像，并且，对低分辨率图像进行上采样操作得到上采样图像，之后，融合超分辨率区域图像和上采样图像，以得到最终的超分辨率图像的技术手段，解决了相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。相比于利用超分辨率神经网络对全部低分辨率图像进行超分辨率，利用目标对象的掩模图像可在低分辨率图像中提取出目标对象所在区域的图像，并基于超分辨率神经网络仅对目标对象进行超分辨率，可减小超分辨率神经网络的数据处理量，提高超分辨率神经网络的处理速度以及计算效率，并且，通过对低分辨率图像进行上采样的方式，实现了提高非目标对象所在的区域的分辨率，保证最终得到的超分辨率图像不仅包含更清晰的目标对象，还包含非目标对象。
附图说明
[0024]图1为视频会议场景下数据传输示意图；
[0025]图2为本申请一个实施例提供的一种图像超分辨率重建方法的流程图；
[0026]图3为本申请一个实施例提供的另一种图像超分辨率重建方法的流程图；
[0027]图4为本申请一个实施例提供的一种数据流程框图；
[0028]图5为本申请一个实施例提供的一种图像超分辨率重建装置的结构示意图；
[0029]图6为本申请一个实施例提供的一种图像超分辨率重建设备的结构示意图。
具体实施方式
[0030]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
[0031]本申请一个实施例提供的图像超分辨率重建方法可以由图像超分辨率重建设备执行，该图像超分辨率重建设备可以通过软件和/或硬件的方式实现，该图像超分辨率重建设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。例如，图像超分辨率重建设备可以是电脑、手机、平板或交互智能平板等具有数据运算、分析能力的电子设备。
[0032]一个实施例中，图像超分辨率重建设备用于进行超分辨率重建，其可以应用在视频会议、视频教学等视频通信场景下，也可以同于其他需要超分辨率重建的场景下。以视频会议场景为例，将超分辨率重建应用于视频会议时，其数据传输示意图如图1所示。图1为视频会议场景下数据传输示意图，参考图1，视频会议时，相机或摄像头拍摄视频数据后，视频会议中的电子设备先对视频数据中的图像进行下采样处理(即缩小图像，可以降低图像的分辨率)，再进行视频编码(即压缩)处理，以得到低分辨率的视频数据，之后，利用网络传输低分辨率的视频数据。视频会议中的其他电子设备接收该低分辨率的视频数据后，对低分辨率的视频数据进行解码(即解压缩)处理，再进行超分辨率处理，以得到高分辨率的视频数据，其中，高分辨率的视频数据与拍摄得到的视频数据具有相同的分辨率，以此实现视频会议场景下的高清视频通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：获取包含目标对象的低分辨率图像；提取所述低分辨率图像中所述目标对象的掩模图像；根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像；利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像；对所述低分辨率图像进行上采样操作，得到上采样图像；融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像，所述上采样图像、所述超分辨率区域图像和所述超分辨率图像具有相同的分辨率。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像包括：对所述低分辨率图像和所述掩模图像进行点积计算，得到所述目标对象的低分辨率区域图像。3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像包括：对所述掩模图像中所述目标对象所在的区域进行外接矩形计算，得到外接矩形掩模图像；对所述低分辨率图像和所述外接矩形掩模图像进行点积计算，得到所述目标对象的低分辨率区域图像。4.根据权利要求3所述的图像超分辨率重建方法，其特征在于，所述利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像时，还包括：对所述超分辨率区域图像进行边缘扩充，边缘扩充后的超分辨率区域图像与所述超分辨率图像具有相同的分辨率。5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像包括：对所述掩模图像进行上采样操作，得到超分辨率掩模图像，所述超分辨率掩模图像与所述超分辨率图像具有相同的分辨率；利用高斯核对所述超分辨率掩模图像进行模糊处理，得到权重图，所述权重图中每个像素对应一个权重值；利用所述权重图融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像...

【专利技术属性】
技术研发人员：邹超洋，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：