含噪声的快速图像增强与超分辨率重建方法技术

本发明专利技术提供了一种含噪声的快速图像增强与超分辨率重建方法，该含噪声的快速图像增强与超分辨率重建方法包括：S1，对采集的图像进行处理，获取模糊带噪声图像和干净增强图像组成训练数据对；S2，根据训练数据对构建并优化训练模型；S3，将带噪声的图像作为优化后训练模型的输入，获取模型输出噪声，与输入作差获得经降噪与图像增强后的图像；将带噪声的图像经上采样处理后作为优化后训练模型的输入，获取模型输出噪声，与输入作差获得经降噪与图像超分辨率重建后的图像。应用本发明专利技术的技术方案，能够解决现有技术中图像降噪、图像增强与超分辨力重建方法中部分细节损失，降噪效果不佳和模型复杂及数据通用性差的技术问题。佳和模型复杂及数据通用性差的技术问题。佳和模型复杂及数据通用性差的技术问题。

【技术实现步骤摘要】
含噪声的快速图像增强与超分辨率重建方法


[0001]本专利技术涉及图像处理
，尤其涉及一种含噪声的快速图像增强与超分辨率重建方法。

技术介绍

[0002]在现实世界中，图像拍摄过程中经常受到各种信号相关或无关噪声的影响，因此，图像质量的下降从阻碍了人和计算机对于真实图像信息的接收。为了解决这一问题，图像去噪作为图像感知的重要步骤，在过去的几十年里得到了广泛的研究。
[0003]虽然近年来，由于相机传感器和图像信号处理流程的持续改进，数码摄影取得了巨大的进步。然而，由于场景条件、光照不足或摄影师技巧等各种因素，部分图像仍然存在低对比度、低亮度、噪声严重等问题。针对这些问题，在过去的几十年里，研究人员提出了许多传统的图像增强和超分辨率重建方法。近年来，随着深度学习的发展，许多基于监督和非监督学习的图像增强与超分辨率重建方法被提出，并取得了良好的效果。虽然大多数方法都能显著提高图像对比度和亮度或着恢复高分辨率图像的自然和真实纹理。然而，这些方法很难直接降低或抑制噪声，甚至可能放大噪声。
[0004]图像去噪的目的是从有噪声的图像中恢复出干净的图像。目前图像降噪方法主要以深度学习为主，深度学习方法使用大量的噪声/干净图像对作为训练数据对，然后在以CNN(Convolutional Neural Networks,CNN)深度学习模型为基础从训练数据中学习到图像的先验和噪声分布进行去噪。虽然大多数现有方法在图像去噪中表现出了优异的性能，但这些方法除了面临着大量参数调优以及复杂的模型外，当遇到一些低光照等噪声较大的情况的下图像处理容易出现模糊，部分细节较差的情况。
[0005]现有的图像增强方法可以大致分为两类：非学习方法和数据驱动方法。传统方法主要包括基于直方图的方法，基于retinex的方法，以及基于去霾等方法。数据驱动方法利用大规模的合成数据集，在性能和速度方面取得了较好的改进。虽然传统方法增强效果相对容易，但这些方法增强后的图像往往存在颜色失真或过增强等伪影，而许多深度学习方法在遇到弱光或着噪声强度过大时，可能出现效果不佳或者容易出现噪声放大的问题。
[0006]超分辨率重建任务从卷积神经网络的方法到最近很有前景的生成对抗网(GAN)的SR方法(例如，SRGAN)等各种深度学习方法已被应用于解决超分辨率任务。随着超分辨率重建效果的不断优化，基于深度学习训练的模型复杂度也逐渐提升，当实际应用对于性能要求比较严格时，硬件条件可能将无法达到要求。并且由于基于深度学习的图像处理方法对于数据的依赖性较强，当针对特定任务的镜头采集数据进行超分辨率重建时，单一的公开数据集可能无法满足需求。

技术实现思路

[0007]本专利技术旨在至少解决现有技术中存在的技术问题之一。
[0008]本专利技术提供了一种含噪声的快速图像增强与超分辨率重建方法，该含噪声的快速
图像增强与超分辨率重建方法包括：S1，对采集的图像进行处理，获取模糊带噪声图像和干净增强图像组成训练数据对；S2，根据训练数据对构建并优化训练模型；S3，将带噪声的图像作为优化后训练模型的输入，获取模型输出噪声，与输入作差获得经降噪与图像增强后的图像；将带噪声的图像经上采样处理后作为优化后训练模型的输入，获取模型输出噪声，与输入作差获得经降噪与图像超分辨率重建后的图像；
[0009]其中，S1具体包括：S11，对采集的图像进行筛选；S12，对筛选后的图像进行裁剪获取初步的噪声图像noisy_patch；S13，对S12得到的噪声图像noisy_patch进行降噪处理以获取干净图像gt_patch；S14，对干净图像gt_patch进行图像增强以获取干净增强图像gt_patch_enhance；S15，对S13得到的干净图像gt_patch进行图像模糊处理以获取模糊图像gt_patch_blur；S16，对S15得到的模糊图像gt_patch_blur叠加噪声以获取模糊噪声图像noisy_patch_new；S17，将S16得到的模糊噪声图像noisy_patch_new与S14得到的干净增强图像gt_patch_enhance组成训练数据对，以用于模型训练。
[0010]进一步地，在S11中，将方差函数作为评价函数对采集的噪声图像进行初步筛选，保留大于预定清晰度值的图像，剔除不符合要求的模糊图像，初步得到噪声图像noisy。
[0011]进一步地，在S13中，采用BM3D算法或NLM非局部均值算法对S12得到的噪声图noisy_patch进行降噪处理得到基础的干净图像gt_patch。
[0012]进一步地，在S14中，对干净图像gt_patch进行拉普拉斯图像增强，得到增强后的干净图像gt_patch_enhance，作为最终训练的干净图像。
[0013]进一步地，在S15中，首先采用高斯模糊方法对干净图像gt_patch进行图像模糊处理，然后采用双线性插值对S15得到的模糊图像gt_patch_blur进行下采样然后上采样恢复原来尺寸，最终得到模糊的图像gt_patch_blur。
[0014]进一步地，在S16中，首先将S12得到的噪声图像noisy_patch与S13得到的干净图像gt_patch作差获得噪声noise_patch，然后噪声noise_patch与S15得到的模糊图像gt_patch_blur叠加得到新的模糊噪声图像noisy_patch_new。
[0015]进一步地，在S17中，将S16得到的模糊噪声图像noisy_patch_new与干净增强图像gt_patch_enhance组成训练数据对。
[0016]进一步地，构建训练模型具体包括：S21，设置训练模型结构；S22，对训练模型进行裁剪；S23，根据S17中的训练数据对设置训练模型的输入和输出，并优化训练模型参数。
[0017]进一步地，在S21中，设置训练模型采用五层的unet结构；在S22中，对训练模型中的bn层进行裁剪。
[0018]进一步地，在S23中，将S17训练数据对中的模糊噪声图像noisy_patch_new作为模型输入，将模型最后的输出作为噪声noise，输出的噪声noise与输入的模糊噪声图像noisy_patch_new作差作为预期的干净图像denoised；对比S17训练数据对中的干净增强图像gt_patch_enhance和预期的干净图像，使用SSIM作为最终的loss函数，优化训练模型参数设置。
[0019]应用本专利技术的技术方案，提供了一种含噪声的快速图像增强与超分辨率重建方法，该方法通过对图像进行相应的处理获取模糊带噪声图像和干净增强图像组成训练数据对，并以此构建并优化训练模型，带噪声的图像或者将带噪声的图像经上采样处理后作为优化后训练模型的输入，获取模型输出噪声，与输入作差即可完成降噪与图像增强或者降
噪与图像超分辨率重建。本专利技术获取训练数据对的处理步骤具有通用性，可以用于不同的图像采集处理；训练模型可以实现降噪+图像增强或者降噪+超分辨率重建的效果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种含噪声的快速图像增强与超分辨率重建方法，其特征在于，所述含噪声的快速图像增强与超分辨率重建方法包括：S1，对采集的图像进行处理，获取模糊带噪声图像和干净增强图像组成训练数据对；S2，根据所述训练数据对构建并优化训练模型；S3，将带噪声的图像作为优化后训练模型的输入，获取模型输出噪声，与输入作差获得经降噪与图像增强后的图像；将带噪声的图像经上采样处理后作为优化后训练模型的输入，获取模型输出噪声，与输入作差获得经降噪与图像超分辨率重建后的图像；其中，S1具体包括：S11，对采集的图像进行筛选；S12，对筛选后的图像进行裁剪获取初步的噪声图像noisy_patch；S13，对S12得到的所述噪声图像noisy_patch进行降噪处理以获取干净图像gt_patch；S14，对所述干净图像gt_patch进行图像增强以获取干净增强图像gt_patch_enhance；S15，对S13得到的所述干净图像gt_patch进行图像模糊处理以获取模糊图像gt_patch_blur；S16，对S15得到的所述模糊图像gt_patch_blur叠加噪声以获取模糊噪声图像noisy_patch_new；S17，将S16得到的所述模糊噪声图像noisy_patch_new与S14得到的所述干净增强图像gt_patch_enhance组成训练数据对，以用于模型训练。2.根据权利要求1所述的含噪声的快速图像增强与超分辨率重建方法，其特征在于，在S11中，将方差函数作为评价函数对采集的噪声图像进行初步筛选，保留大于预定清晰度值的图像，剔除不符合要求的模糊图像，初步得到噪声图像noisy。3.根据权利要求1所述的含噪声的快速图像增强与超分辨率重建方法，其特征在于，在S13中，采用BM3D算法或NLM非局部均值算法对S12得到的所述噪声图noisy_patch进行降噪处理得到基础的干净图像gt_patch。4.根据权利要求1所述的含噪声的快速图像增强与超分辨率重建方法，其特征在于，在S14中，对所述干净图像gt_patch进行拉普拉斯图像增强，得到增强后的干净图像gt_patch_enhance，...

【专利技术属性】
技术研发人员：李绰，王天鹤，周志远，张晨，赵安娜，潘建旋，李硕祉，张云昊，刘鑫，赵帅，姜洪妍，王才喜，
申请(专利权)人：天津津航技术物理研究所，
类型：发明
国别省市：